Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

我有一个c++项目,关于开启相机取流并进行目标检测的项目,现在我有一个问题,我先将主要的代码文件提供给你,你先搞明白,我再将问题发给你。首先是detector.cpp文件代码…

  1. User

    我有一个c++项目,关于开启相机取流并进行目标检测的项目,现在我有一个问题,我先将主要的代码文件提供给你,你先搞明白,我再将问题发给你。首先是detector.cpp文件代码 "Detector::Detector(json &jsonData) : cfg(jsonData) { //检测模型路径名 std::string modelPath = this->cfg["model_path"]; if (!modelPath.find(".onnx")) { LOG(LOG_E, "Model path must end with onnx!"); utils::g_bExitSystem = true; }

    //加载模型
    this->net = cv::dnn::readNetFromONNX(modelPath);
    if ((bool)this->cfg["with_cuda"]) {
        this->net.setPreferableBackend(cv::dnn::DNN_BACKEND_CUDA);
        this->net.setPreferableTarget(cv::dnn::DNN_TARGET_CUDA_FP16);
        LOG__(LOG_I, "Use CUDA.");
    } else {
        this->net.setPreferableBackend(cv::dnn::DNN_BACKEND_OPENCV);
        this->net.setPreferableTarget(cv::dnn::DNN_TARGET_CPU);
        LOG__(LOG_I, "Use CPU.");
    }
    
    //推理图像大小
    this->imgSize = {this->cfg["img_size"][0], this->cfg["img_size"][1]};
    std::vector<std::string> rtspList = cfg["rtsp_list"];
    
    if(cfg.find("class_name") != cfg.end()){
        classNames = cfg["class_name"].get<std::vector<std::string>>();
    }else{
        LOG__(LOG_E, "Class names not found");
    }
    
    //运行一次
    {
    
        LOG__(LOG_I, "Initializing ONNX model ......");
        int vid_num = rtspList.size();
        cv::Mat input({vid_num, 3, this->imgSize.height, this->imgSize.width}, CV_32F);
        this->net.setInput(input);
        std::vector<cv::Mat> outputs;
        this->net.forward(outputs, this->net.getUnconnectedOutLayersNames());
    }
    
    //初始化图像合并取流对象
    this->multiVideo = std::make_shared<MultiVideo>(rtspList, cfg["deal_span"]);
    this->multiVideo->registerCallback(this->ImgProcess, (void *)this); //注册回调
    

    }

    void Detector::start() { if (!this->detectThread) { //打开相机取流 this->multiVideo->start("================= START =================");

        //开启线程
        this->runFlag = true;
        this->detectThread = new std::thread(this->detectFun, (void *)this);
    }
    

    }

    void Detector::stop() { if (this->detectThread) { //关闭线程 this->runFlag = false; this->detectThread->join(); delete this->detectThread; this->detectThread = nullptr;

        //关闭相机取流
        this->multiVideo->stop("================= STOP  =================");
    }
    

    }

    void Detector::ImgProcess(MultiData *multiData, void *pUser) { Detector *thiz = static_cast<Detector *>(pUser);

    //处理原图
    multiData->outList.resize(multiData->inList.size());
    for (size_t i = 0; i < multiData->inList.size(); i++) {
        //处理图像
        cv::Size new_size(640, 640);
        cv::resize(multiData->inList[i], multiData->outList[i], new_size);
        // cv::resize(multiData->inList[i], multiData->outList[i], multiData->inList[i].size() / 2);
        cv::copyMakeBorder(multiData->outList[i], multiData->outList[i], 2, 2, 0, 0, cv::BORDER_CONSTANT, cv::Scalar(0, 0, 0));
    }
    
    //生成blob
    cv::dnn::blobFromImages(multiData->outList, multiData->blobImg, 1 / 255.0, thiz->imgSize, cv::Scalar(0, 0, 0), true, false);
    

    }

    void *Detector::detectFun(void *args) { Detector *thiz = static_cast<Detector *>(args);

    DetData detData;                //检测输出数据
    std::vector<cv::Mat> model_out; //模型输出
    
    while (thiz->runFlag) {
        //获取图像
        if (!thiz->multiVideo->getData(detData.multiData)) {
            // std::cout << "iSGetData:" << thiz->multiVideo->getData(detData.multiData) << std::endl;
            msleep(1);
            continue;
        }
        if (thiz->detectFlag) {
            //推理
    
            thiz->net.setInput(detData.multiData.blobImg);
            thiz->net.forward(model_out, thiz->net.getUnconnectedOutLayersNames());
    
            //后处理
            getDetResults(model_out[0], thiz->cfg["conf_thresh"], thiz->cfg["nms_thresh"], detData.detRes);
            //测试一下
            for (const auto& res : detData.detRes) {
                for (size_t i = 0; i < res.boxes.size(); ++i) {
                    LOG__(LOG_I, "Detected " + classNames[res.classes[i]] + " with confidence " + std::to_string(res.confs[i]));
                }
            }
        
        } else {
            detData.detRes.clear();
        }
    
        //保存到队列
        thiz->detDataQueue.push(detData);
        msleep(1);
    }
    return nullptr;
    

    }"

  2. Assistant

    感谢你提供 detector.cpp 文件的代码。让我先帮你梳理和理解这个文件的主要功能和结构,以便更好地协助你解决后续的问题。

    概述

    detector.cpp 文件实现了一个名为 Detector 的类,这个类负责以下几个核心任务:

    1. 加载和配置深度学习模型:使用 OpenCV 的 DNN 模块加载 ONNX 格式的目标检测模型,并根据配置选择使用 CPU 或 CUDA 进行推理。
    2. 初始化视频流处理:通过 MultiVideo 类管理多个 RTSP 流,并注册图像处理的回调函数。
    3. 启动和停止检测线程:管理一个独立的线程用于持续获取视频流并进行目标检测。
    4. 图像预处理:对输入的图像进行缩放和边界填充,然后生成适合模型输入的 Blob。
    5. 目标检测和后处理:执行模型推理,解析检测结果,并将结果保存到队列中。

    详细解析

    类成员变量

    • __json &cfg: 配置数据,使用 JSON 格式。
    • cv::dnn::Net net: OpenCV DNN 模型网络。
    • cv::Size imgSize: 模型推理所需的图像尺寸。
    • std::vector<std::string> classNames: 目标类别名称列表。
    • std::shared_ptr<MultiVideo> multiVideo: 管理多个视频流的对象。
    • std::thread* detectThread: 用于目标检测的线程。
    • bool runFlag: 标志位,用于控制线程运行。
    • bool detectFlag: 标志位,用于控制是否进行检测。
    • std::queue<DetData> detDataQueue: 存储检测结果的队列。

    构造函数:Detector::Detector(__json &jsonData)

    1. 配置模型路径:

      • 从 cfg["model_path"] 获取模型路径,确保其以 .onnx 结尾,否则记录错误并设置系统退出标志。
    2. 加载模型:

      • 使用 cv::dnn::readNetFromONNX 加载 ONNX 模型。
      • 根据 cfg["with_cuda"] 的设置,选择使用 CUDA 或 CPU 作为推理后端,并记录日志。
    3. 设置模型推理图像大小:

      • 从 cfg["img_size"] 获取图像尺寸。
    4. 获取 RTSP 流列表:

      • 从 cfg["rtsp_list"] 获取视频流地址列表。
    5. 加载类别名称:

      • 从 cfg["class_name"] 加载类别名称列表,如果未找到则记录错误。
    6. 初始化模型:

      • 构造一个输入矩阵进行一次前向推理,以初始化模型。
    7. 初始化视频流处理对象:

      • 创建 MultiVideo 对象,并注册图像处理回调函数 ImgProcess。

    启动和停止函数

    • void Detector::start():

      • 检查是否已有检测线程在运行,如果没有则启动视频流和检测线程。
    • void Detector::stop():

      • 停止检测线程和视频流,确保线程安全地终止并清理资源。

    图像处理回调函数:void Detector::ImgProcess(MultiData *multiData, void *pUser)

    1. 图像预处理:

      • 调整每个输入图像的大小到 640x640。
      • 添加边界填充以适应模型输入要求。
    2. 生成 Blob:

      • 使用 cv::dnn::blobFromImages 将处理后的图像列表转换为适合模型输入的 Blob。

    检测线程函数:void *Detector::detectFun(void *args)

    1. 循环检测:

      • 持续运行,直到 runFlag 被设置为 false。
    2. 获取图像数据:

      • 从 multiVideo 对象中获取预处理后的图像数据,如果获取失败则等待。
    3. 执行检测:

      • 如果 detectFlag 为真,设置模型输入,并执行前向推理。
      • 对模型输出进行后处理(例如置信度过滤和非极大值抑制)。
      • 记录检测到的目标类别和置信度。
    4. 保存检测结果:

      • 将检测结果保存到队列中供后续使用。

    日志记录和辅助函数

    • 使用 LOG__ 宏记录不同级别的日志信息,如错误(LOG_E)和信息(LOG_I)。
    • 使用 msleep 函数进行短暂的线程休眠,以避免过度占用 CPU。

    总结

    detector.cpp 文件主要负责初始化和管理目标检测流程,包括模型加载、视频流获取、图像预处理、模型推理和结果处理。它通过多线程的方式确保视频流的实时处理和检测的高效运行。了解这些细节后,我们可以更有效地解决你在项目中遇到的问题。

    请继续提供其他相关代码文件或详细描述你遇到的问题,这样我可以进一步协助你。