在import os import cv2 import torch from dv import AedatFile import numpy as np def…
- User
在import os import cv2 import torch from dv import AedatFile import numpy as np
def to_timesurface_numpy(events, sensor_size=[346, 260, 3], tau=10, decay="lin"): timestamp_memory = np.zeros((sensor_size[2], sensor_size[1], sensor_size[0])) timestamp_memory -= tau * 3 + 1 x = events["x"] y = events["y"] timestamp_memory[events["polarity"], y, x] = events["timestamp"] timestamp_context = timestamp_memory - events["timestamp"].mean() timesurface = timestamp_context / (3 * tau) + 1 timesurface[timesurface < 0] = 0 all_surfaces = timesurface return all_surfaces
if name == 'main': device = torch.device("cuda:0") data_path = r"/data2/COESOT/train" # FE108 save_path = data_path video_files = os.listdir(data_path) video_files = [file for file in video_files if file not in ('list.txt', 'val.txt')] dvs_img_interval = 1
for videoID in range(len(video_files)): foldName = video_files[videoID] print("==>> foldName: ", foldName) if foldName not in ['dvSave-2022_03_21_16_11_40']: print("==>> pass it: ", foldName) continue fileLIST = os.listdir(os.path.join(data_path, foldName)) time_surface_path = os.path.join(save_path, foldName, foldName + '_timesurface') if not os.path.exists(time_surface_path): os.mkdir(time_surface_path) else: continue aedat4_file = foldName + '.aedat4' read_path = os.path.join(data_path, foldName, aedat4_file) frame_all = [] frame_exposure_time = [] frame_interval_time = [] use_mode = 'frame_exposure_time' with AedatFile(read_path) as f: for frame in f['frames']: frame_all.append(frame.image) frame_interval_time.append([frame.timestamp_start_of_frame, frame.timestamp_end_of_frame]) frame_exposure_time.append([frame.timestamp_start_of_exposure, frame.timestamp_end_of_exposure]) if use_mode == 'frame_exposure_time': frame_timestamp = frame_exposure_time elif use_mode == 'frame_interval_time': frame_timestamp = frame_interval_time frame_num = len(frame_timestamp) events = np.hstack([packet for packet in f['events'].numpy()]) for frame_no in range(0, int(frame_num / dvs_img_interval) - 1): start_idx = np.where(events['timestamp'] >= frame_timestamp[frame_no][0])[0][0] end_idx = np.where(events['timestamp'] >= frame_timestamp[frame_no][1])[0][0] time_surface_img = to_timesurface_numpy(events[start_idx:end_idx]) cv2.imwrite(os.path.join(time_surface_path, 'frame{:04d}'.format(frame_no)+'.png'), time_surface_img.transpose(1, 2, 0))中,生成了timesurface图,,现在我们将这些图合成了视频,那么当我们加速或者慢放视频时,是否包含的事件数需要增多或者减少?分析一下。 - Assistant
当你将 timesurface 图像合成视频并调整播放速度(加速或慢放)时,每秒显示的图像帧数会发生变化,这决定了观看者感知的事件频率。然而,timesurface 图本身记录的事件信息量并不会因为视频播放速度的变化而改变。以下是具体分析:
-
事件数的本质:
- timesurface 图像记录的是事件的时间特征信息,其包含了在一定时间窗口内传感器上发生的所有事件。这些事件在生成 timesurface 图时已经被固定处理和可视化,单独的 timesurface 图像中包含的事件数目与视频播放速度无关。
-
播放速度的影响:
- 加速播放:每秒钟显示的 timesurface 帧数增加,观看者在单位时间内会看到更多的 timesurface 图像。这不会改变每个 timesurface 图像本身包含的事件数,但会影响观看者的感知,即在单位时间内“看到”更多事件发生。
- 慢放播放:每秒钟显示的 timesurface 帧数减少,意味着相对更长的观察时间。在这个场景下,观看者可能觉得事件发生得慢了。依然,这些图像本身记录的事件数和信息并未发生变化。
-
实际应用中的考虑:
- timesurface 合成视频的目标通常与视频帧的展示速度相关。对于某些应用,加速或减速可能用于强调或更详细地分析某段时间内的事件分布。
- 如果要在不同速度下保持相同的视觉信息密度,你可能需要重新定义 timesurface 图像生成的时间窗口,以适应新的播放速度,但这通常不是通过简单修改视频播放速度实现的。
总之,视频的播放速度改变了视觉体验中的时间压缩或延展,但不改变 timesurface 图像内涵的实际事件信息数量。如果需要在播放速度变化时调整事件的感知数量,可能需要在生成 timesurface 图像时重新调整时间窗口大小和其它参数,以便与预期的播放速度相协调。
-