Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-mini-2025-04-14· OpenAIAi2 WildChat-4.8M (AI2)

Мне нужен полноценный RTSP клиент на СИ без билиотек - задача получать h264 с камеры и…

  1. User

    Мне нужен полноценный RTSP клиент на СИ без билиотек - задача получать h264 с камеры и формировать кадр - jpeg

  2. Assistant

    Создание полноценного RTSP клиента на C без использования сторонних библиотек — сложная задача, особенно если нужно не только получить поток H.264 с камеры, но и декодировать его и преобразовать кадры в JPEG. Это включает в себя обработку RTSP протокола, RTP/RTCP пакетов, декодирование H.264 и кодирование JPEG — каждая из этих частей сама по себе достаточно объемна.

    Тем не менее, я могу помочь вам с примером базового RTSP клиента, который:

    • Устанавливает RTSP соединение с камерой (simple OPTIONS, DESCRIBE, SETUP, PLAY).
    • Получает RTP пакеты с H.264 потоком.
    • Собирает NAL юниты из RTP потокa.

    Код не будет содержать декодера H.264 или JPEG-энкодера (тут без сторонних библиотек очень сложно), но вы получите основу для захвата H.264 кадров.


    Основные этапы RTSP клиента

    1. Создание TCP соединения с RTSP сервером.
    2. Отправка RTSP команд: OPTIONS, DESCRIBE, SETUP, PLAY.
    3. Получение SDP с указанием портов RTP.
    4. Создание UDP сокета для приема RTP пакетов.
    5. Сборка H.264 NAL единиц из RTP.
    6. Декодирование и JPEG конвертацию нужно делать либо интегрируя сторонние кодеки, либо самому реализовать (что очень сложно).

    Упрощённый пример RTSP клиента (без поддержки всех случаев)

    #include <stdio.h>
    #include <string.h>
    #include <stdlib.h>
    #include <unistd.h>
    #include <arpa/inet.h>
    #include <sys/socket.h>
    #include <sys/types.h>
    #include <netdb.h>
    
    #define SERVER_IP "192.168.1.10"    // Адрес камеры
    #define SERVER_PORT 554             // RTSP порт
    #define RTP_PORT 5004               // UDP порт для RTP
    #define RTSP_URL "rtsp://192.168.1.10/stream1"
    
    int tcp_connect(const char *host, int port) {
        struct sockaddr_in addr;
        int sockfd = socket(AF_INET, SOCK_STREAM, 0);
        if(sockfd < 0) {
            perror("socket");
            return -1;
        }
        addr.sin_family = AF_INET;
        addr.sin_port = htons(port);
        if(inet_pton(AF_INET, host, &addr.sin_addr) <= 0) {
            perror("inet_pton");
            close(sockfd);
            return -1;
        }
        if(connect(sockfd, (struct sockaddr*)&addr, sizeof(addr)) < 0) {
            perror("connect");
            close(sockfd);
            return -1;
        }
        return sockfd;
    }
    
    void send_rtsp(int sock, const char *cmd, const char *url, const char *headers, int cseq) {
        char buf[1024];
        int n = snprintf(buf, sizeof(buf),
                         "%s %s RTSP/1.0\r\nCSeq: %d\r\n%s\r\n",
                         cmd, url, cseq, headers ? headers : "");
        send(sock, buf, n, 0);
        printf(">>>> %s", buf);
    }
    
    int recv_rtsp(int sock, char *buf, int size) {
        int len = recv(sock, buf, size-1, 0);
        if(len < 0) {
            perror("recv");
            return -1;
        }
        buf[len] = 0;
        printf("<<<< %s\n", buf);
        return len;
    }
    
    int main() {
        int rtsp_sock = tcp_connect(SERVER_IP, SERVER_PORT);
        if(rtsp_sock < 0) {
            fprintf(stderr, "Failed to connect RTSP\n");
            return 1;
        }
        char buffer[4096];
        int cseq = 1;
    
        // 1. OPTIONS
        send_rtsp(rtsp_sock, "OPTIONS", RTSP_URL, NULL, cseq++);
        recv_rtsp(rtsp_sock, buffer, sizeof(buffer));
    
        // 2. DESCRIBE
        send_rtsp(rtsp_sock, "DESCRIBE", RTSP_URL,
                  "Accept: application/sdp\r\n", cseq++);
        recv_rtsp(rtsp_sock, buffer, sizeof(buffer));
    
        // Здесь нужно распарсить SDP для получения информации о медиа-потоке.
        // Например получить trackID, payload types, порты
    
        // 3. SETUP (упрощенно - берём первый трек и устанавливаем RTP порт)
        char setup_headers[256];
        snprintf(setup_headers, sizeof(setup_headers),
                 "Transport: RTP/AVP;unicast;client_port=%d-%d\r\n",
                 RTP_PORT, RTP_PORT+1);
        send_rtsp(rtsp_sock, "SETUP", "rtsp://192.168.1.10/trackID=1", setup_headers, cseq++);
        recv_rtsp(rtsp_sock, buffer, sizeof(buffer));
    
        // 4. PLAY
        char play_headers[256];
        snprintf(play_headers, sizeof(play_headers),
                 "Session: 12345678\r\nRange: npt=0.000-\r\n");
        send_rtsp(rtsp_sock, "PLAY", RTSP_URL, play_headers, cseq++);
        recv_rtsp(rtsp_sock, buffer, sizeof(buffer));
    
        // 5. Создание UDP сокета для RTP
        int rtp_sock = socket(AF_INET, SOCK_DGRAM, 0);
        if(rtp_sock < 0) {
            perror("rtp socket");
            close(rtsp_sock);
            return 1;
        }
    
        struct sockaddr_in rtp_addr;
        memset(&rtp_addr, 0, sizeof(rtp_addr));
        rtp_addr.sin_family = AF_INET;
        rtp_addr.sin_addr.s_addr = htonl(INADDR_ANY);
        rtp_addr.sin_port = htons(RTP_PORT);
    
        if(bind(rtp_sock, (struct sockaddr*)&rtp_addr, sizeof(rtp_addr)) < 0) {
            perror("bind");
            close(rtp_sock);
            close(rtsp_sock);
            return 1;
        }
    
        // 6. Получение RTP пакетов с H264
        while (1) {
            unsigned char rtp_buf[1500];
            ssize_t len = recv(rtp_sock, rtp_buf, sizeof(rtp_buf), 0);
            if(len < 0) {
                perror("recv RTP");
                break;
            }
            // RTP заголовок 12 байт
            if(len < 12) continue;
    
            unsigned char payload_type = rtp_buf[1] & 0x7F;
            // 96 обычно динамический для H264
            if(payload_type != 96) continue;
    
            // RTP payload начинается с 12 байт
            unsigned char *payload = rtp_buf + 12;
            int payload_len = len - 12;
    
            // Анализ H264 NAL unit в RTP payload
            // Рассмотрите форматы NAL (single NAL, Fragmentation Unit и др.)
    
            // Для простоты - выводим первый байт NAL
            printf("NAL unit header: 0x%02X, payload_len=%d\n", payload[0], payload_len);
    
            // Здесь можно собрать NAL units в buffer, сохранить в файл, и др.
            // Декодирование и JPEG преобразование — отдельная задача.
        }
    
        close(rtp_sock);
        close(rtsp_sock);
    
        return 0;
    }
    

    Что дальше?

    • Для создания JPEG из H264 необходимо:

      • Декодировать H264 (примерно, получить raw YUV frame).
      • Конвертировать YUV в RGB.
      • Закодировать RGB в JPEG.
    • Это сложные алгоритмы, для которых обычно используют:

      • libavcodec (FFmpeg)
      • OpenH264
      • libjpeg
    • Реализация собственных декодеров и энкодеров — очень сложная задача и далеко выходит за пределы простого ответа.


    Если вам нужна помощь с обработкой конкретного шага (например разбор RTP H264 пакетов) — могу помочь с примером. Но для полноценного потока с кодированием JPEG рекомендуется использовать готовые библиотеки.


    Если обязательно нужно без библиотек — тогда минимальный вариант — просто сохранять собранные NAL-юниты в .h264 файл, а потом обрабатывать их отдельной программой.

  3. User

    тогда не так.. есть проект luckfox pico RV1106 там есть компилятор но ffmpeg не собирается

  4. Assistant

    Понятно, у вас проект на платформе RV1106 (вроде бы RISC-V SoC от Rockchip) с компилятором под этот процессор, и на нем не собирается FFmpeg.

    FFmpeg — довольно тяжелая кросс-компиляция, требующая множества зависимостей и возможностей, и часто сборка на встраиваемых платформах вызывает сложности.


    Что можно сделать?

    1. Использовать HW декодер RV1106

    RV1106, насколько известно из доступной информации, имеет встроенный аппаратный декодер H264. Использование встроенного HW декодера — оптимальный путь.

    Вам нужно напрямую использовать SDK/драйверы для декодера RV1106, чтобы получить raw кадры из H264-стрима.

    2. Если HW декодера использовать нельзя — минимальный SW декодер

    Реализовать собственный декодер H264 на C — практически невозможно и крайне ресурсоёмко.

    В данном случае (платформа RV1106) лучше:

    • Использовать либо библиотеку OpenH264, если удастся кросс-компилировать.
    • Либо использовать HW декодер.

    3. Конвертация в JPEG

    Для конвертации raw (YUV) в JPEG можно использовать лёгкие библиотеки, например, tinyjpeg, picojpeg. Или попытаться реализовать своё кодирование JPEG, но это тоже непросто.


    Практические рекомендации

    1. Проверьте SDK RV1106

    Rockchip обычно предоставляет SDK с API для:

    • RTSP клиента (может быть готовый),
    • HW декодера,
    • Отрисовки/кодирования.

    Используйте их API.

    1. Пример общего цикла
    • RTSP получать поток RTP (можно с вашим кодом выше).
    • Передать H264 пакеты HW декодеру.
    • Получить из декодера RAW кадры (формат YUV420).
    • Передать YUV кадры в JPEG кодировщик (возможно, тоже HW).
    • Сохранить JPEG или отправить дальше.
    1. Кросс-компиляция ffmpeg — обычно проблема с зависимостями

    Если хотите, могу помочь посмотреть логи ошибок компиляции ffmpeg на вашем toolchain.

    Но проще использовать готовые примеры из SDK RV1106.


    Пример использования HW декодера (псевдокод)

    // Псевдокод использования HW декодера RV1106
    hw_decoder_init();
    
    while (get_rtp_packet(&rtp_buffer, &len)) {
        if (is_h264_nal(rtp_buffer)) {
            hw_decoder_send_packet(rtp_buffer, len);
        }
    
        if (hw_decoder_frame_ready()) {
            yuv_frame = hw_decoder_get_frame();
    
            jpeg_data = jpeg_encode(yuv_frame);
            save_jpeg(jpeg_data);
        }
    }
    
    hw_decoder_deinit();
    

    Если хотите, скиньте ошибки сборки FFmpeg — помогу проанализировать.

    Если SDK RV1106 есть — предоставьте ссылки или документацию, могу помочь с интеграцией.


    Итог

    • На RV1106 лучше использовать HW декодер.
    • RTSP + RTP получить напрямую (пример выше).
    • Использовать SDK RV1106 для декодирования и JPEG кодирования.
    • Сборка FFmpeg на RV1106 — сложна, лучше не пробовать без особой необходимости.

    Если нужна помощь с примером использования SDK RV1106 (если он у вас есть) — напишите, помогу с реализацией!