Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

напиши код для запуска нейронной сети yolo8 в формате onnx, загрузки картинки и вывода…

  1. User

    напиши код для запуска нейронной сети yolo8 в формате onnx, загрузки картинки и вывода результатов на си++

  2. Assistant

    Для использования модели YOLO в формате ONNX в C++, вам потребуется несколько библиотек, таких как OpenCV и ONNX Runtime. Ниже приведен пример кода, который демонстрирует, как загрузить изображение и выполнить вывод результатов с использованием модели YOLOv8 в формате ONNX.

    Установка необходимых библиотек

    Убедитесь, что у вас установлены следующие библиотеки:

    1. OpenCV
    2. ONNX Runtime

    Вы можете установить их через пакетные менеджеры, такие как vcpkg или conda, или скачать и собрать их вручную.

    Пример кода на C++

    #include <iostream>
    #include <chrono>
    #include <opencv2/opencv.hpp>
    #include <onnxruntime/core/session/onnxruntime_cxx_api.h>
    
    // Функция для обработки результата детекции
    void processDetections(const std::vector<float>& detections, float confidenceThreshold) {
        for (size_t i = 0; i < detections.size(); i += 6) {
            float confidence = detections[i + 4];
            if (confidence > confidenceThreshold) {
                int classId = static_cast<int>(detections[i + 5]);
                float x = detections[i] * width;      // Координаты x
                float y = detections[i + 1] * height; // Координаты y
                float w = detections[i + 2] * width;  // Ширина
                float h = detections[i + 3] * height; // Высота
                
                std::cout << "Detected class: " << classId << " with confidence: " << confidence
                          << " at position (" << x << ", " << y << ", " << w << ", " << h << ")\n";
            }
        }
    }
    
    int main() {
        // Загружаем модель
        const std::string modelPath = "yolo-v8.onnx"; // Путь к вашей модели YOLOv8
        Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "YOLOv8");
        Ort::SessionOptions sessionOptions;
        Ort::Session session(env, modelPath.c_str(), sessionOptions);
    
        // Загружаем изображение
        std::string imagePath = "image.jpg"; // Путь к изображению
        cv::Mat image = cv::imread(imagePath);
        if (image.empty()) {
            std::cerr << "Could not read the image: " << imagePath << std::endl;
            return 1;
        }
    
        cv::resize(image, image, cv::Size(640, 640)); // Изменяем размер изображения
        float width = image.cols;
        float height = image.rows;
    
        // Подготовка входного тензора
        std::vector<float> inputTensorValues(width * height * 3);
        for (int y = 0; y < height; ++y) {
            for (int x = 0; x < width; ++x) {
                auto pixel = image.at<cv::Vec3b>(y, x);
                inputTensorValues[(y * width + x) * 3 + 0] = pixel[2] / 255.0f; // R
                inputTensorValues[(y * width + x) * 3 + 1] = pixel[1] / 255.0f; // G
                inputTensorValues[(y * width + x) * 3 + 2] = pixel[0] / 255.0f; // B
            }
        }
        
        // Установка размерности входного тензора
        std::array<int64_t, 4> inputShape = {1, 3, height, width}; // Batch size = 1, Channels = 3
        Ort::Value inputTensor = Ort::Value::CreateTensor<float>(env, inputTensorValues.data(), inputTensorValues.size(), inputShape.data(), inputShape.size());
    
        // Запуск модели
        const char* inputNames[] = {"images"};  // Имя входного тензора (в зависимости от вашей модели)
        const char* outputNames[] = {"output"}; // Имя выходного тензора (в зависимости от вашей модели)
    
        std::vector<Ort::Value> outputTensors = session.Run(Ort::RunOptions{nullptr}, inputNames, &inputTensor, 1, outputNames, 1);
        
        // Получение результатов
        float* outputs = outputTensors.front().GetTensorMutableData<float>();
        std::vector<float> detectionResults(outputs, outputs + (640 * 640 * 85)); // Пример длины вывода, зависит от вашей модели
    
        // Обработка результатов детекции
        processDetections(detectionResults, 0.5); // Порог доверия 0.5
    
        return 0;
    }
    

    Объяснение кода:

    1. Инициализация среды ONNX: В этом коде мы создаем среду ONNX и загружаем модель YOLOv8 из файла формата ONNX.

    2. Загрузка и обработка изображения: Загружается изображение, изменяется его размер, а пиксели нормализуются для ввода в модель.

    3. Запуск модели: Используется session.Run для получения результатов, где inputNames и outputNames определяются в зависимости от вашей реализации модели.

    4. Обработка результатов: Обрабатываются результаты детекции, где определяется класс объекта и его уверенность.

    Примечание:

    1. Убедитесь, что имена входных и выходных тензоров совпадают с теми, что используются в вашей модели YOLO.
    2. Для работы с CMake добавьте нужные библиотеки OpenCV и ONNX Runtime в ваш проект.

    Компиляция

    Скомпилируйте проект с помощью g++ или другого компилятора с указанием необходимых библиотек:

    g++ -o yolo_cpp yolo_cpp.cpp `pkg-config --cflags --libs opencv4` -lonnxruntime
    

    Заключение

    Этот код должен дать вам общее представление о том, как работать с моделью YOLO в формате ONNX в C++. Возможно, вам придется настроить его в зависимости от вашей конкретной модели и конфигурации.