我有一个c++项目,关于开启相机取流并进行目标检测的项目,现在我有一个问题,我先将主要的代码文件提供给你,你先搞明白,我再将问题发给你。首先是detector.cpp文件代码…
- User
我有一个c++项目,关于开启相机取流并进行目标检测的项目,现在我有一个问题,我先将主要的代码文件提供给你,你先搞明白,我再将问题发给你。首先是detector.cpp文件代码 "Detector::Detector(json &jsonData) : cfg(jsonData) { //检测模型路径名 std::string modelPath = this->cfg["model_path"]; if (!modelPath.find(".onnx")) { LOG(LOG_E, "Model path must end with onnx!"); utils::g_bExitSystem = true; }
//加载模型 this->net = cv::dnn::readNetFromONNX(modelPath); if ((bool)this->cfg["with_cuda"]) { this->net.setPreferableBackend(cv::dnn::DNN_BACKEND_CUDA); this->net.setPreferableTarget(cv::dnn::DNN_TARGET_CUDA_FP16); LOG__(LOG_I, "Use CUDA."); } else { this->net.setPreferableBackend(cv::dnn::DNN_BACKEND_OPENCV); this->net.setPreferableTarget(cv::dnn::DNN_TARGET_CPU); LOG__(LOG_I, "Use CPU."); } //推理图像大小 this->imgSize = {this->cfg["img_size"][0], this->cfg["img_size"][1]}; std::vector<std::string> rtspList = cfg["rtsp_list"]; if(cfg.find("class_name") != cfg.end()){ classNames = cfg["class_name"].get<std::vector<std::string>>(); }else{ LOG__(LOG_E, "Class names not found"); } //运行一次 { LOG__(LOG_I, "Initializing ONNX model ......"); int vid_num = rtspList.size(); cv::Mat input({vid_num, 3, this->imgSize.height, this->imgSize.width}, CV_32F); this->net.setInput(input); std::vector<cv::Mat> outputs; this->net.forward(outputs, this->net.getUnconnectedOutLayersNames()); } //初始化图像合并取流对象 this->multiVideo = std::make_shared<MultiVideo>(rtspList, cfg["deal_span"]); this->multiVideo->registerCallback(this->ImgProcess, (void *)this); //注册回调}
void Detector::start() { if (!this->detectThread) { //打开相机取流 this->multiVideo->start("================= START =================");
//开启线程 this->runFlag = true; this->detectThread = new std::thread(this->detectFun, (void *)this); }}
void Detector::stop() { if (this->detectThread) { //关闭线程 this->runFlag = false; this->detectThread->join(); delete this->detectThread; this->detectThread = nullptr;
//关闭相机取流 this->multiVideo->stop("================= STOP ================="); }}
void Detector::ImgProcess(MultiData *multiData, void *pUser) { Detector *thiz = static_cast<Detector *>(pUser);
//处理原图 multiData->outList.resize(multiData->inList.size()); for (size_t i = 0; i < multiData->inList.size(); i++) { //处理图像 cv::Size new_size(640, 640); cv::resize(multiData->inList[i], multiData->outList[i], new_size); // cv::resize(multiData->inList[i], multiData->outList[i], multiData->inList[i].size() / 2); cv::copyMakeBorder(multiData->outList[i], multiData->outList[i], 2, 2, 0, 0, cv::BORDER_CONSTANT, cv::Scalar(0, 0, 0)); } //生成blob cv::dnn::blobFromImages(multiData->outList, multiData->blobImg, 1 / 255.0, thiz->imgSize, cv::Scalar(0, 0, 0), true, false);}
void *Detector::detectFun(void *args) { Detector *thiz = static_cast<Detector *>(args);
DetData detData; //检测输出数据 std::vector<cv::Mat> model_out; //模型输出 while (thiz->runFlag) { //获取图像 if (!thiz->multiVideo->getData(detData.multiData)) { // std::cout << "iSGetData:" << thiz->multiVideo->getData(detData.multiData) << std::endl; msleep(1); continue; } if (thiz->detectFlag) { //推理 thiz->net.setInput(detData.multiData.blobImg); thiz->net.forward(model_out, thiz->net.getUnconnectedOutLayersNames()); //后处理 getDetResults(model_out[0], thiz->cfg["conf_thresh"], thiz->cfg["nms_thresh"], detData.detRes); //测试一下 for (const auto& res : detData.detRes) { for (size_t i = 0; i < res.boxes.size(); ++i) { LOG__(LOG_I, "Detected " + classNames[res.classes[i]] + " with confidence " + std::to_string(res.confs[i])); } } } else { detData.detRes.clear(); } //保存到队列 thiz->detDataQueue.push(detData); msleep(1); } return nullptr;}"
- Assistant
感谢你提供
detector.cpp文件的代码。让我先帮你梳理和理解这个文件的主要功能和结构,以便更好地协助你解决后续的问题。概述
detector.cpp文件实现了一个名为Detector的类,这个类负责以下几个核心任务:- 加载和配置深度学习模型:使用 OpenCV 的 DNN 模块加载 ONNX 格式的目标检测模型,并根据配置选择使用 CPU 或 CUDA 进行推理。
- 初始化视频流处理:通过
MultiVideo类管理多个 RTSP 流,并注册图像处理的回调函数。 - 启动和停止检测线程:管理一个独立的线程用于持续获取视频流并进行目标检测。
- 图像预处理:对输入的图像进行缩放和边界填充,然后生成适合模型输入的 Blob。
- 目标检测和后处理:执行模型推理,解析检测结果,并将结果保存到队列中。
详细解析
类成员变量
__json &cfg: 配置数据,使用 JSON 格式。cv::dnn::Net net: OpenCV DNN 模型网络。cv::Size imgSize: 模型推理所需的图像尺寸。std::vector<std::string> classNames: 目标类别名称列表。std::shared_ptr<MultiVideo> multiVideo: 管理多个视频流的对象。std::thread* detectThread: 用于目标检测的线程。bool runFlag: 标志位,用于控制线程运行。bool detectFlag: 标志位,用于控制是否进行检测。std::queue<DetData> detDataQueue: 存储检测结果的队列。
构造函数:
Detector::Detector(__json &jsonData)-
配置模型路径:
- 从
cfg["model_path"]获取模型路径,确保其以.onnx结尾,否则记录错误并设置系统退出标志。
- 从
-
加载模型:
- 使用
cv::dnn::readNetFromONNX加载 ONNX 模型。 - 根据
cfg["with_cuda"]的设置,选择使用 CUDA 或 CPU 作为推理后端,并记录日志。
- 使用
-
设置模型推理图像大小:
- 从
cfg["img_size"]获取图像尺寸。
- 从
-
获取 RTSP 流列表:
- 从
cfg["rtsp_list"]获取视频流地址列表。
- 从
-
加载类别名称:
- 从
cfg["class_name"]加载类别名称列表,如果未找到则记录错误。
- 从
-
初始化模型:
- 构造一个输入矩阵进行一次前向推理,以初始化模型。
-
初始化视频流处理对象:
- 创建
MultiVideo对象,并注册图像处理回调函数ImgProcess。
- 创建
启动和停止函数
-
void Detector::start():- 检查是否已有检测线程在运行,如果没有则启动视频流和检测线程。
-
void Detector::stop():- 停止检测线程和视频流,确保线程安全地终止并清理资源。
图像处理回调函数:
void Detector::ImgProcess(MultiData *multiData, void *pUser)-
图像预处理:
- 调整每个输入图像的大小到 640x640。
- 添加边界填充以适应模型输入要求。
-
生成 Blob:
- 使用
cv::dnn::blobFromImages将处理后的图像列表转换为适合模型输入的 Blob。
- 使用
检测线程函数:
void *Detector::detectFun(void *args)-
循环检测:
- 持续运行,直到
runFlag被设置为false。
- 持续运行,直到
-
获取图像数据:
- 从
multiVideo对象中获取预处理后的图像数据,如果获取失败则等待。
- 从
-
执行检测:
- 如果
detectFlag为真,设置模型输入,并执行前向推理。 - 对模型输出进行后处理(例如置信度过滤和非极大值抑制)。
- 记录检测到的目标类别和置信度。
- 如果
-
保存检测结果:
- 将检测结果保存到队列中供后续使用。
日志记录和辅助函数
- 使用
LOG__宏记录不同级别的日志信息,如错误(LOG_E)和信息(LOG_I)。 - 使用
msleep函数进行短暂的线程休眠,以避免过度占用 CPU。
总结
detector.cpp文件主要负责初始化和管理目标检测流程,包括模型加载、视频流获取、图像预处理、模型推理和结果处理。它通过多线程的方式确保视频流的实时处理和检测的高效运行。了解这些细节后,我们可以更有效地解决你在项目中遇到的问题。请继续提供其他相关代码文件或详细描述你遇到的问题,这样我可以进一步协助你。