Мне нужен полноценный RTSP клиент на СИ без билиотек - задача получать h264 с камеры и…
- User
Мне нужен полноценный RTSP клиент на СИ без билиотек - задача получать h264 с камеры и формировать кадр - jpeg
- Assistant
Создание полноценного RTSP клиента на C без использования сторонних библиотек — сложная задача, особенно если нужно не только получить поток H.264 с камеры, но и декодировать его и преобразовать кадры в JPEG. Это включает в себя обработку RTSP протокола, RTP/RTCP пакетов, декодирование H.264 и кодирование JPEG — каждая из этих частей сама по себе достаточно объемна.
Тем не менее, я могу помочь вам с примером базового RTSP клиента, который:
- Устанавливает RTSP соединение с камерой (simple OPTIONS, DESCRIBE, SETUP, PLAY).
- Получает RTP пакеты с H.264 потоком.
- Собирает NAL юниты из RTP потокa.
Код не будет содержать декодера H.264 или JPEG-энкодера (тут без сторонних библиотек очень сложно), но вы получите основу для захвата H.264 кадров.
Основные этапы RTSP клиента
- Создание TCP соединения с RTSP сервером.
- Отправка RTSP команд: OPTIONS, DESCRIBE, SETUP, PLAY.
- Получение SDP с указанием портов RTP.
- Создание UDP сокета для приема RTP пакетов.
- Сборка H.264 NAL единиц из RTP.
- Декодирование и JPEG конвертацию нужно делать либо интегрируя сторонние кодеки, либо самому реализовать (что очень сложно).
Упрощённый пример RTSP клиента (без поддержки всех случаев)
#include <stdio.h> #include <string.h> #include <stdlib.h> #include <unistd.h> #include <arpa/inet.h> #include <sys/socket.h> #include <sys/types.h> #include <netdb.h> #define SERVER_IP "192.168.1.10" // Адрес камеры #define SERVER_PORT 554 // RTSP порт #define RTP_PORT 5004 // UDP порт для RTP #define RTSP_URL "rtsp://192.168.1.10/stream1" int tcp_connect(const char *host, int port) { struct sockaddr_in addr; int sockfd = socket(AF_INET, SOCK_STREAM, 0); if(sockfd < 0) { perror("socket"); return -1; } addr.sin_family = AF_INET; addr.sin_port = htons(port); if(inet_pton(AF_INET, host, &addr.sin_addr) <= 0) { perror("inet_pton"); close(sockfd); return -1; } if(connect(sockfd, (struct sockaddr*)&addr, sizeof(addr)) < 0) { perror("connect"); close(sockfd); return -1; } return sockfd; } void send_rtsp(int sock, const char *cmd, const char *url, const char *headers, int cseq) { char buf[1024]; int n = snprintf(buf, sizeof(buf), "%s %s RTSP/1.0\r\nCSeq: %d\r\n%s\r\n", cmd, url, cseq, headers ? headers : ""); send(sock, buf, n, 0); printf(">>>> %s", buf); } int recv_rtsp(int sock, char *buf, int size) { int len = recv(sock, buf, size-1, 0); if(len < 0) { perror("recv"); return -1; } buf[len] = 0; printf("<<<< %s\n", buf); return len; } int main() { int rtsp_sock = tcp_connect(SERVER_IP, SERVER_PORT); if(rtsp_sock < 0) { fprintf(stderr, "Failed to connect RTSP\n"); return 1; } char buffer[4096]; int cseq = 1; // 1. OPTIONS send_rtsp(rtsp_sock, "OPTIONS", RTSP_URL, NULL, cseq++); recv_rtsp(rtsp_sock, buffer, sizeof(buffer)); // 2. DESCRIBE send_rtsp(rtsp_sock, "DESCRIBE", RTSP_URL, "Accept: application/sdp\r\n", cseq++); recv_rtsp(rtsp_sock, buffer, sizeof(buffer)); // Здесь нужно распарсить SDP для получения информации о медиа-потоке. // Например получить trackID, payload types, порты // 3. SETUP (упрощенно - берём первый трек и устанавливаем RTP порт) char setup_headers[256]; snprintf(setup_headers, sizeof(setup_headers), "Transport: RTP/AVP;unicast;client_port=%d-%d\r\n", RTP_PORT, RTP_PORT+1); send_rtsp(rtsp_sock, "SETUP", "rtsp://192.168.1.10/trackID=1", setup_headers, cseq++); recv_rtsp(rtsp_sock, buffer, sizeof(buffer)); // 4. PLAY char play_headers[256]; snprintf(play_headers, sizeof(play_headers), "Session: 12345678\r\nRange: npt=0.000-\r\n"); send_rtsp(rtsp_sock, "PLAY", RTSP_URL, play_headers, cseq++); recv_rtsp(rtsp_sock, buffer, sizeof(buffer)); // 5. Создание UDP сокета для RTP int rtp_sock = socket(AF_INET, SOCK_DGRAM, 0); if(rtp_sock < 0) { perror("rtp socket"); close(rtsp_sock); return 1; } struct sockaddr_in rtp_addr; memset(&rtp_addr, 0, sizeof(rtp_addr)); rtp_addr.sin_family = AF_INET; rtp_addr.sin_addr.s_addr = htonl(INADDR_ANY); rtp_addr.sin_port = htons(RTP_PORT); if(bind(rtp_sock, (struct sockaddr*)&rtp_addr, sizeof(rtp_addr)) < 0) { perror("bind"); close(rtp_sock); close(rtsp_sock); return 1; } // 6. Получение RTP пакетов с H264 while (1) { unsigned char rtp_buf[1500]; ssize_t len = recv(rtp_sock, rtp_buf, sizeof(rtp_buf), 0); if(len < 0) { perror("recv RTP"); break; } // RTP заголовок 12 байт if(len < 12) continue; unsigned char payload_type = rtp_buf[1] & 0x7F; // 96 обычно динамический для H264 if(payload_type != 96) continue; // RTP payload начинается с 12 байт unsigned char *payload = rtp_buf + 12; int payload_len = len - 12; // Анализ H264 NAL unit в RTP payload // Рассмотрите форматы NAL (single NAL, Fragmentation Unit и др.) // Для простоты - выводим первый байт NAL printf("NAL unit header: 0x%02X, payload_len=%d\n", payload[0], payload_len); // Здесь можно собрать NAL units в buffer, сохранить в файл, и др. // Декодирование и JPEG преобразование — отдельная задача. } close(rtp_sock); close(rtsp_sock); return 0; }
Что дальше?
-
Для создания JPEG из H264 необходимо:
- Декодировать H264 (примерно, получить raw YUV frame).
- Конвертировать YUV в RGB.
- Закодировать RGB в JPEG.
-
Это сложные алгоритмы, для которых обычно используют:
- libavcodec (FFmpeg)
- OpenH264
- libjpeg
-
Реализация собственных декодеров и энкодеров — очень сложная задача и далеко выходит за пределы простого ответа.
Если вам нужна помощь с обработкой конкретного шага (например разбор RTP H264 пакетов) — могу помочь с примером. Но для полноценного потока с кодированием JPEG рекомендуется использовать готовые библиотеки.
Если обязательно нужно без библиотек — тогда минимальный вариант — просто сохранять собранные NAL-юниты в
.h264файл, а потом обрабатывать их отдельной программой. - User
тогда не так.. есть проект luckfox pico RV1106 там есть компилятор но ffmpeg не собирается
- Assistant
Понятно, у вас проект на платформе RV1106 (вроде бы RISC-V SoC от Rockchip) с компилятором под этот процессор, и на нем не собирается FFmpeg.
FFmpeg — довольно тяжелая кросс-компиляция, требующая множества зависимостей и возможностей, и часто сборка на встраиваемых платформах вызывает сложности.
Что можно сделать?
1. Использовать HW декодер RV1106
RV1106, насколько известно из доступной информации, имеет встроенный аппаратный декодер H264. Использование встроенного HW декодера — оптимальный путь.
Вам нужно напрямую использовать SDK/драйверы для декодера RV1106, чтобы получить raw кадры из H264-стрима.
2. Если HW декодера использовать нельзя — минимальный SW декодер
Реализовать собственный декодер H264 на C — практически невозможно и крайне ресурсоёмко.
В данном случае (платформа RV1106) лучше:
- Использовать либо библиотеку OpenH264, если удастся кросс-компилировать.
- Либо использовать HW декодер.
3. Конвертация в JPEG
Для конвертации raw (YUV) в JPEG можно использовать лёгкие библиотеки, например, tinyjpeg, picojpeg. Или попытаться реализовать своё кодирование JPEG, но это тоже непросто.
Практические рекомендации
- Проверьте SDK RV1106
Rockchip обычно предоставляет SDK с API для:
- RTSP клиента (может быть готовый),
- HW декодера,
- Отрисовки/кодирования.
Используйте их API.
- Пример общего цикла
- RTSP получать поток RTP (можно с вашим кодом выше).
- Передать H264 пакеты HW декодеру.
- Получить из декодера RAW кадры (формат YUV420).
- Передать YUV кадры в JPEG кодировщик (возможно, тоже HW).
- Сохранить JPEG или отправить дальше.
- Кросс-компиляция ffmpeg — обычно проблема с зависимостями
Если хотите, могу помочь посмотреть логи ошибок компиляции ffmpeg на вашем toolchain.
Но проще использовать готовые примеры из SDK RV1106.
Пример использования HW декодера (псевдокод)
// Псевдокод использования HW декодера RV1106 hw_decoder_init(); while (get_rtp_packet(&rtp_buffer, &len)) { if (is_h264_nal(rtp_buffer)) { hw_decoder_send_packet(rtp_buffer, len); } if (hw_decoder_frame_ready()) { yuv_frame = hw_decoder_get_frame(); jpeg_data = jpeg_encode(yuv_frame); save_jpeg(jpeg_data); } } hw_decoder_deinit();
Если хотите, скиньте ошибки сборки FFmpeg — помогу проанализировать.
Если SDK RV1106 есть — предоставьте ссылки или документацию, могу помочь с интеграцией.
Итог
- На RV1106 лучше использовать HW декодер.
- RTSP + RTP получить напрямую (пример выше).
- Использовать SDK RV1106 для декодирования и JPEG кодирования.
- Сборка FFmpeg на RV1106 — сложна, лучше не пробовать без особой необходимости.
Если нужна помощь с примером использования SDK RV1106 (если он у вас есть) — напишите, помогу с реализацией!