import os import pdb import csv import numpy as np import cv2 import torch import pandas…
- User
import os import pdb
import csv
import numpy as np import cv2 import torch import pandas as pd from tqdm import tqdm import scipy.io from spconv.pytorch.utils import PointToVoxel from dv import AedatFile import numpy as np import cv2 as cv
if name == 'main':
device = torch.device("cuda:4")
# data_path = r"/home/ioe/xxxxx/EventTracking/COESOT/train"
video_files = os.listdir(data_path)
dvs_img_interval = 1
for videoID in range(len(video_files)):
foldName = video_files[videoID]
print("==>> foldName: ", foldName)
aps_path = os.path.join(data_path, foldName, foldName + '_aps')
dvs_path = os.path.join(data_path, foldName, foldName + '_dvs')
stack_path = os.path.join(data_path, foldName, foldName + '_stack/')
# for i in tqdm(range(len(aps_path))):
frame_list = [frame for frame in os.listdir(aps_path)]
frame_list.sort(key=lambda f: int(f[-8:-4]))
frame_list_event = [frame for frame in os.listdir(dvs_path)]
frame_list_event.sort(key=lambda f: int(f[-8:-4]))
for frame, frame_event in zip(frame_list, frame_list_event):
image = cv.imread(os.path.join(aps_path, frame))
event_image = cv.imread(os.path.join(dvs_path, frame_event))
stack_image = cv.addWeighted(image, 1, event_image, 0.2, 0)
cv.imwrite(stack_path+frame, stack_image)
if name == 'main': device = torch.device("cuda:4") # data_path = r"/home/ioe/xxxxx/EventTracking/COESOT/train" data_path = r"/home/ioe/xxxxx/FE108/train" save_path = r"/home/ioe/xxxxx/FE108/train" video_files = os.listdir(data_path) dvs_img_interval = 1
for videoID in range(len(video_files)): foldName = video_files[videoID] aps_path = os.path.join(data_path, foldName, 'aps') dvs_path = os.path.join(data_path, foldName, 'dvs') stack_path = os.path.join(data_path, foldName, 'stack/') if not os.path.exists(stack_path): os.mkdir(stack_path) else: continue print("==>> foldName: ", foldName) # for i in tqdm(range(len(aps_path))): frame_list = [frame for frame in os.listdir(aps_path)] frame_list.sort(key=lambda f: int(f[-8:-4])) frame_list_event = [frame for frame in os.listdir(dvs_path)] frame_list_event.sort(key=lambda f: int(f[-8:-4])) for frame, frame_event in zip(frame_list, frame_list_event): image = cv.imread(os.path.join(aps_path, frame)) event_image = cv.imread(os.path.join(dvs_path, frame_event)) stack_image = cv.addWeighted(image, 1, event_image, 0.1, 0) cv.imwrite(stack_path+frame, stack_image)中,执行了什么功能? - Assistant
这个代码被设计用于将来自智能传感器(如事件摄像头和普通相机)捕获得到的两种类型的图像数据(APS 和 DVS)进行融合,并将融合后的图像存储在指定的路径中。以下是代码的详细解释:
-
导入必要的库
import os import numpy as np import cv2 as cv import torch from tqdm import tqdm -
主要流程
-
设置设备 (Device):
device = torch.device("cuda:4")将设备设置为
cuda:4,即使用第四块 GPU 进行计算(如有)。 -
设置路径:
data_path = r"/home/ioe/xxxxx/FE108/train" save_path = r"/home/ioe/xxxxx/FE108/train"设置数据和保存路径。
-
获取视频文件夹列表:
video_files = os.listdir(data_path) -
遍历每个视频文件夹:
for videoID in range(len(video_files)): foldName = video_files[videoID] -
设置文件路径:
aps_path = os.path.join(data_path, foldName, 'aps') dvs_path = os.path.join(data_path, foldName, 'dvs') stack_path = os.path.join(data_path, foldName, 'stack/') -
创建保存路径:
if not os.path.exists(stack_path): os.mkdir(stack_path) else: continue创建一个新的目录用于保存融合后的图像。如果目录已经存在,则跳过此目录。
-
读取并排序帧文件名:
frame_list = [frame for frame in os.listdir(aps_path)] frame_list.sort(key=lambda f: int(f[-8:-4])) frame_list_event = [frame for frame in os.listdir(dvs_path)] frame_list_event.sort(key=lambda f: int(f[-8:-4]))将目录中的文件名提取出来并按文件名中的数字部分排序。假设文件名中最后八个字符中包含数字信息。
-
遍历帧并融合图像:
for frame, frame_event in zip(frame_list, frame_list_event): image = cv.imread(os.path.join(aps_path, frame)) event_image = cv.imread(os.path.join(dvs_path, frame_event)) stack_image = cv.addWeighted(image, 1, event_image, 0.1, 0) cv.imwrite(stack_path + frame, stack_image)读取每一对APS和DVS图像,使用加权函数
cv.addWeighted融合图像,并保存到stack_path路径下。具体权重为:APS图像的权重为1,DVS图像的权重为0.1。
-
综上所述,这段代码的功能是在遍历数据目录中的每个视频子文件夹时,将普通相机捕捉的图像(APS)和事件摄像头捕捉的图像(DVS)融合,形成一个新的融合图像并保存到指定的路径。
-
- User
此处的stack目录下的文件是什么?
- Assistant
在代码的上下文中,
stack目录下的文件是经过融合处理后的图像。这些图像是通过结合普通相机捕获的图像(APS 图像)和事件相机捕获的图像(DVS 图像)生成的。具体来说,每对 APS 图像和 DVS 图像被读取并进行加权叠加,然后存储到stack目录中。下面是对
stack目录中文件的概述和生成过程的简要总结:-
APS 图像读取:
image = cv.imread(os.path.join(aps_path, frame))这行代码从 APS 文件路径中读取当前帧的图像。
-
DVS 图像读取:
event_image = cv.imread(os.path.join(dvs_path, frame_event))这行代码从 DVS 文件路径中读取当前帧事件的图像。
-
图像融合:
stack_image = cv.addWeighted(image, 1, event_image, 0.1, 0)这行代码使用 OpenCV 的
cv.addWeighted函数对 APS 图像和 DVS 图像进行加权叠加。具体权重为:APS 图像的权重为1,DVS 图像的权重为0.1。结果图像存储在stack_image变量中。 -
保存融合图像:
cv.imwrite(stack_path + frame, stack_image)这行代码将融合后的图像保存到
stack目录中,文件名与 APS 图像的文件名相同。
因此,
stack目录中包含一系列经过融合处理的图像文件,这些文件保留了 APS 和 DVS 图像的组合信息。这些融合图像可以用于进一步的处理、分析或训练图像处理模型等任务。 -