напиши код для запуска нейронной сети yolo8 в формате onnx, загрузки картинки и вывода…
- User
напиши код для запуска нейронной сети yolo8 в формате onnx, загрузки картинки и вывода результатов на си++
- Assistant
Для использования модели YOLO в формате ONNX в C++, вам потребуется несколько библиотек, таких как OpenCV и ONNX Runtime. Ниже приведен пример кода, который демонстрирует, как загрузить изображение и выполнить вывод результатов с использованием модели YOLOv8 в формате ONNX.
Установка необходимых библиотек
Убедитесь, что у вас установлены следующие библиотеки:
- OpenCV
- ONNX Runtime
Вы можете установить их через пакетные менеджеры, такие как
vcpkgилиconda, или скачать и собрать их вручную.Пример кода на C++
#include <iostream> #include <chrono> #include <opencv2/opencv.hpp> #include <onnxruntime/core/session/onnxruntime_cxx_api.h> // Функция для обработки результата детекции void processDetections(const std::vector<float>& detections, float confidenceThreshold) { for (size_t i = 0; i < detections.size(); i += 6) { float confidence = detections[i + 4]; if (confidence > confidenceThreshold) { int classId = static_cast<int>(detections[i + 5]); float x = detections[i] * width; // Координаты x float y = detections[i + 1] * height; // Координаты y float w = detections[i + 2] * width; // Ширина float h = detections[i + 3] * height; // Высота std::cout << "Detected class: " << classId << " with confidence: " << confidence << " at position (" << x << ", " << y << ", " << w << ", " << h << ")\n"; } } } int main() { // Загружаем модель const std::string modelPath = "yolo-v8.onnx"; // Путь к вашей модели YOLOv8 Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "YOLOv8"); Ort::SessionOptions sessionOptions; Ort::Session session(env, modelPath.c_str(), sessionOptions); // Загружаем изображение std::string imagePath = "image.jpg"; // Путь к изображению cv::Mat image = cv::imread(imagePath); if (image.empty()) { std::cerr << "Could not read the image: " << imagePath << std::endl; return 1; } cv::resize(image, image, cv::Size(640, 640)); // Изменяем размер изображения float width = image.cols; float height = image.rows; // Подготовка входного тензора std::vector<float> inputTensorValues(width * height * 3); for (int y = 0; y < height; ++y) { for (int x = 0; x < width; ++x) { auto pixel = image.at<cv::Vec3b>(y, x); inputTensorValues[(y * width + x) * 3 + 0] = pixel[2] / 255.0f; // R inputTensorValues[(y * width + x) * 3 + 1] = pixel[1] / 255.0f; // G inputTensorValues[(y * width + x) * 3 + 2] = pixel[0] / 255.0f; // B } } // Установка размерности входного тензора std::array<int64_t, 4> inputShape = {1, 3, height, width}; // Batch size = 1, Channels = 3 Ort::Value inputTensor = Ort::Value::CreateTensor<float>(env, inputTensorValues.data(), inputTensorValues.size(), inputShape.data(), inputShape.size()); // Запуск модели const char* inputNames[] = {"images"}; // Имя входного тензора (в зависимости от вашей модели) const char* outputNames[] = {"output"}; // Имя выходного тензора (в зависимости от вашей модели) std::vector<Ort::Value> outputTensors = session.Run(Ort::RunOptions{nullptr}, inputNames, &inputTensor, 1, outputNames, 1); // Получение результатов float* outputs = outputTensors.front().GetTensorMutableData<float>(); std::vector<float> detectionResults(outputs, outputs + (640 * 640 * 85)); // Пример длины вывода, зависит от вашей модели // Обработка результатов детекции processDetections(detectionResults, 0.5); // Порог доверия 0.5 return 0; }Объяснение кода:
-
Инициализация среды ONNX: В этом коде мы создаем среду ONNX и загружаем модель YOLOv8 из файла формата ONNX.
-
Загрузка и обработка изображения: Загружается изображение, изменяется его размер, а пиксели нормализуются для ввода в модель.
-
Запуск модели: Используется
session.Runдля получения результатов, гдеinputNamesиoutputNamesопределяются в зависимости от вашей реализации модели. -
Обработка результатов: Обрабатываются результаты детекции, где определяется класс объекта и его уверенность.
Примечание:
- Убедитесь, что имена входных и выходных тензоров совпадают с теми, что используются в вашей модели YOLO.
- Для работы с CMake добавьте нужные библиотеки OpenCV и ONNX Runtime в ваш проект.
Компиляция
Скомпилируйте проект с помощью g++ или другого компилятора с указанием необходимых библиотек:
g++ -o yolo_cpp yolo_cpp.cpp `pkg-config --cflags --libs opencv4` -lonnxruntimeЗаключение
Этот код должен дать вам общее представление о том, как работать с моделью YOLO в формате ONNX в C++. Возможно, вам придется настроить его в зависимости от вашей конкретной модели и конфигурации.