ffmpeg-4.4 --enable-cross-compile…
- User
ffmpeg-4.4
--enable-cross-compile --cross-prefix=/home/pico/luckfox-pico/sysdrv/source/buildroot/buildroot-2023.02.6/output/host/bin/arm-rockchip830-linux-uclibcgnueabihf- --sysroot=/home/pico/luckfox-pico/sysdrv/source/buildroot/buildroot-2023.02.6/output/host/arm-buildroot-linux-uclibcgnueabihf/sysroot --host-cc=/usr/bin/gcc --arch=arm --target-os=linux --disable-stripping --pkg-config=/home/pico/luckfox-pico/sysdrv/source/buildroot/buildroot-2023.02.6/output/host/bin/pkg-config --disable-static --enable-shared --prefix=/usr --enable-avfilter --disable-version3 --enable-logging --enable-optimizations --disable-extra-warnings --enable-avdevice --enable-avcodec --enable-avformat --enable-network --disable-gray --enable-swscale-alpha --disable-small --enable-dct --enable-fft --enable-mdct --enable-rdft --disable-crystalhd --disable-dxva2 --enable-runtime-cpudetect --disable-hardcoded-tables --disable-mipsdsp --disable-mipsdspr2 --disable-msa --enable-hwaccels --disable-cuda --disable-cuvid --disable-nvenc --disable-avisynth --disable-frei0r --disable-libopencore-amrnb --disable-libopencore-amrwb --disable-libdc1394 --disable-libgsm --disable-libilbc --disable-libvo-amrwbenc --disable-symver --disable-doc --disable-gpl --disable-nonfree --enable-ffmpeg --enable-ffplay --enable-libv4l2 --enable-avresample --enable-ffprobe --disable-libxcb --disable-postproc --enable-swscale --enable-indevs --enable-alsa --enable-outdevs --enable-pthreads --enable-zlib --disable-bzlib --disable-libfdk-aac --disable-libcdio --enable-gnutls --disable-openssl --enable-libdrm --disable-libopenh264 --disable-vaapi --disable-vdpau --disable-mmal --disable-omx --disable-omx-rpi --disable-libopencv --disable-libopus --disable-libvpx --enable-libass --disable-libbluray --disable-libmfx --disable-librtmp --disable-libmp3lame --disable-libmodplug --disable-libspeex --disable-libtheora --enable-iconv --disable-libfreetype --disable-fontconfig --disable-libopenjpeg --disable-libx264 --disable-libx265 --disable-libdav1d --disable-x86asm --disable-mmx --disable-sse --disable-sse2 --disable-sse3 --disable-ssse3 --disable-sse4 --disable-sse42 --disable-avx --disable-avx2 --enable-armv6 --enable-vfp --enable-neon --disable-altivec --extra-libs=-latomic --enable-pic --cpu=cortex-a7
Небходим пример на чистом СИ для получения и декодирования кадров с rtsp://192.168.1.11/live/0/MAIN
- Assistant
Ниже приведён минимальный пример на чистом C с использованием FFmpeg 4.4 для подключения к RTSP потоку, декодирования видео и получения необработанных кадров (RGB24). Пример охватывает базовый pipeline: инициализация, открытие входа, поиск видеодекодера, декодирование, конвертацию в RGB и вывод информации о кадрах.
Обратите внимание:
- Пример не содержит полноценной обработки ошибок и ресурсов для упрощения.
- Ваша сборка FFmpeg должна включать необходимые компоненты (libavformat, libavcodec, libswscale).
- Пример не выводит видео, только демонстрирует получение кадров.
- Для использования
.hфайлов FFmpeg укажите в Makefile или компиляции правильно ваши пути (согласно вашему sysroot и cross-compile).
Пример (
ffmpeg_rtsp_decode.c):#include <stdio.h> #include <stdlib.h> #include <libavformat/avformat.h> #include <libavcodec/avcodec.h> #include <libswscale/swscale.h> // Функция для вывода ошибки static void print_error(const char *msg, int errnum) { char errbuf[128]; av_strerror(errnum, errbuf, sizeof(errbuf)); fprintf(stderr, "%s: %s\n", msg, errbuf); } int main(int argc, char *argv[]) { const char *input_url = "rtsp://192.168.1.11/live/0/MAIN"; AVFormatContext *fmt_ctx = NULL; int ret; // Инициализация libavformat и сетевого компонента avformat_network_init(); // Открыть входной RTSP поток ret = avformat_open_input(&fmt_ctx, input_url, NULL, NULL); if (ret < 0) { print_error("Failed to open input", ret); return -1; } // Получить информацию о потоке ret = avformat_find_stream_info(fmt_ctx, NULL); if (ret < 0) { print_error("Failed to find stream info", ret); avformat_close_input(&fmt_ctx); return -1; } // Найти видео поток int video_stream_index = -1; for (unsigned i = 0; i < fmt_ctx->nb_streams; i++) { if (fmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { video_stream_index = i; break; } } if (video_stream_index == -1) { fprintf(stderr, "No video stream found\n"); avformat_close_input(&fmt_ctx); return -1; } AVStream *video_stream = fmt_ctx->streams[video_stream_index]; // Найти декодер для видео AVCodec *codec = avcodec_find_decoder(video_stream->codecpar->codec_id); if (!codec) { fprintf(stderr, "Failed to find codec\n"); avformat_close_input(&fmt_ctx); return -1; } // Создать AVCodecContext AVCodecContext *codec_ctx = avcodec_alloc_context3(codec); if (!codec_ctx) { fprintf(stderr, "Failed to allocate codec context\n"); avformat_close_input(&fmt_ctx); return -1; } ret = avcodec_parameters_to_context(codec_ctx, video_stream->codecpar); if (ret < 0) { print_error("Failed to copy codec parameters to context", ret); avcodec_free_context(&codec_ctx); avformat_close_input(&fmt_ctx); return -1; } ret = avcodec_open2(codec_ctx, codec, NULL); if (ret < 0) { print_error("Failed to open codec", ret); avcodec_free_context(&codec_ctx); avformat_close_input(&fmt_ctx); return -1; } // Выделим структуры для пакетов и кадров AVPacket *packet = av_packet_alloc(); AVFrame *frame = av_frame_alloc(); AVFrame *frame_rgb = av_frame_alloc(); if (!packet || !frame || !frame_rgb) { fprintf(stderr, "Failed to allocate packet or frame\n"); av_packet_free(&packet); av_frame_free(&frame); av_frame_free(&frame_rgb); avcodec_free_context(&codec_ctx); avformat_close_input(&fmt_ctx); return -1; } // Подготовка для конвертации в RGB24 struct SwsContext *sws_ctx = sws_getContext( codec_ctx->width, codec_ctx->height, codec_ctx->pix_fmt, codec_ctx->width, codec_ctx->height, AV_PIX_FMT_RGB24, SWS_BILINEAR, NULL, NULL, NULL); if (!sws_ctx) { fprintf(stderr, "Failed to initialize sws scaling context\n"); goto end; } // Выделяем буфер для RGB картинки int num_bytes = av_image_get_buffer_size(AV_PIX_FMT_RGB24, codec_ctx->width, codec_ctx->height, 1); uint8_t *rgb_buffer = (uint8_t *)av_malloc(num_bytes * sizeof(uint8_t)); if (!rgb_buffer) { fprintf(stderr, "Failed to allocate RGB buffer\n"); goto end; } av_image_fill_arrays(frame_rgb->data, frame_rgb->linesize, rgb_buffer, AV_PIX_FMT_RGB24, codec_ctx->width, codec_ctx->height, 1); // Чтение пакетов и декодирование кадров while (av_read_frame(fmt_ctx, packet) >= 0) { if (packet->stream_index == video_stream_index) { // Послать пакет в декодер ret = avcodec_send_packet(codec_ctx, packet); if (ret < 0) { print_error("Error sending packet to decoder", ret); break; } // Получить все доступные кадры while (ret >= 0) { ret = avcodec_receive_frame(codec_ctx, frame); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) break; else if (ret < 0) { print_error("Error during decoding", ret); goto end; } // Конвертация из формата кадра в RGB24 sws_scale(sws_ctx, (const uint8_t * const *)frame->data, frame->linesize, 0, codec_ctx->height, frame_rgb->data, frame_rgb->linesize); printf("Decoded frame %d (width=%d, height=%d, format=%d)\n", codec_ctx->frame_number, codec_ctx->width, codec_ctx->height, codec_ctx->pix_fmt); // Здесь можно обработать frame_rgb->data — RGB-пиксели кадра // Например, сохранить в файл, обработать и т.п. } } av_packet_unref(packet); } // Отправляем NULL пакет чтобы очистить декодер avcodec_send_packet(codec_ctx, NULL); while (avcodec_receive_frame(codec_ctx, frame) == 0) { sws_scale(sws_ctx, (const uint8_t * const *)frame->data, frame->linesize, 0, codec_ctx->height, frame_rgb->data, frame_rgb->linesize); printf("Decoded flush frame %d\n", codec_ctx->frame_number); // Обработка кадра frame_rgb } end: av_free(rgb_buffer); sws_freeContext(sws_ctx); av_packet_free(&packet); av_frame_free(&frame); av_frame_free(&frame_rgb); avcodec_free_context(&codec_ctx); avformat_close_input(&fmt_ctx); avformat_network_deinit(); return 0; }
Компиляция (пример для кросс-компиляции ARM, подстройте под ваши пути):
arm-rockchip830-linux-uclibcgnueabihf-gcc ffmpeg_rtsp_decode.c -o ffmpeg_rtsp_decode \ $(pkg-config --cflags --libs libavformat libavcodec libswscale libavutil)Если
pkg-configне подходит, укажите вручную include и lib пути.
Краткое описание:
avformat_open_input()открывает RTSP поток.- В цикле
av_read_frame()читаются пакеты. - Пакеты с индексом видеопотока декодируются.
- Декодированные кадры конвертируются в RGB24 с помощью
libswscaleдля удобства обработки. - В примере выводится только информация о кадре, но можно сохранить или обработать данные из
frame_rgb->data.
Если нужно вывести кадр в файл BMP или другой формат, могу подсказать как дописать.
Если вам нужно полностью готовую сборку под ваш кросс-компилятор или помощь с Makefile — уточните пожалуйста.
- User
: In function 'main': app.c:56:22: warning: initialization discards 'const' qualifier from pointer target type [-Wdiscarded-qualifiers] AVCodec *codec = avcodec_find_decoder(video_stream->codecpar->codec_id); ^~~~~~~~~~~~~~~~~~~~ app.c:114:21: warning: implicit declaration of function 'av_image_get_buffer_size'; did you mean 'av_samples_get_buffer_size'? [-Wimplicit-function-declaration] int num_bytes = av_image_get_buffer_size(AV_PIX_FMT_RGB24, codec_ctx->width, ^~~~~~~~~~~~~~~~~~~~~~~~ av_samples_get_buffer_size app.c:122:5: warning: implicit declaration of function 'av_image_fill_arrays'; did you mean 'av_samples_fill_arrays'? [-Wimplicit-function-declaration] av_image_fill_arrays(frame_rgb->data, frame_rgb->linesize, rgb_buffer, ^~~~~~~~~~~~~~~~~~~~ av_samples_fill_arrays app.c:150:36: error: 'AVCodecContext' {aka 'struct AVCodecContext'} has no member named 'frame_number'; did you mean 'frame_num'? codec_ctx->frame_number, codec_ctx->width, codec_ctx->height, codec_ctx->pix_fmt); ^~~~~~~~~~~~ frame_num app.c:164:55: error: 'AVCodecContext' {aka 'struct AVCodecContext'} has no member named 'frame_number'; did you mean 'frame_num'? printf("Decoded flush frame %d\n", codec_ctx->frame_number); ^~~~~~~~~~~~ frame_num make: *** [Makefile:45: app] Error 1
- Assistant
Ошибки и предупреждения, которые вы получаете, связаны с некоторыми моментами в API FFmpeg 4.4:
avcodec_find_decoder()возвращаетconst AVCodec *, а вы пытаетесь поместить вAVCodec *— нужно объявитьconst AVCodec *codec.- Функции
av_image_get_buffer_size()иav_image_fill_arrays()могут быть не объявлены, если не подключён правильный заголовок. Они находятся вlibavutil/imgutils.h. - Поля
frame_numberвAVCodecContextнет — лучше замените наframe_num. - Неявное объявление функций означает, что нужные заголовочные файлы не подключены.
Исправленный и доработанный вариант:
#include <stdio.h> #include <stdlib.h> #include <libavformat/avformat.h> #include <libavcodec/avcodec.h> #include <libswscale/swscale.h> #include <libavutil/imgutils.h> // <-- сюда добавьте, для av_image_get_buffer_size и av_image_fill_arrays // Функция для вывода ошибки static void print_error(const char *msg, int errnum) { char errbuf[128]; av_strerror(errnum, errbuf, sizeof(errbuf)); fprintf(stderr, "%s: %s\n", msg, errbuf); } int main(int argc, char *argv[]) { const char *input_url = "rtsp://192.168.1.11/live/0/MAIN"; AVFormatContext *fmt_ctx = NULL; int ret; avformat_network_init(); ret = avformat_open_input(&fmt_ctx, input_url, NULL, NULL); if (ret < 0) { print_error("Failed to open input", ret); return -1; } ret = avformat_find_stream_info(fmt_ctx, NULL); if (ret < 0) { print_error("Failed to find stream info", ret); avformat_close_input(&fmt_ctx); return -1; } int video_stream_index = -1; for (unsigned i = 0; i < fmt_ctx->nb_streams; i++) { if (fmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { video_stream_index = i; break; } } if (video_stream_index == -1) { fprintf(stderr, "No video stream found\n"); avformat_close_input(&fmt_ctx); return -1; } AVStream *video_stream = fmt_ctx->streams[video_stream_index]; // Сделать const const AVCodec *codec = avcodec_find_decoder(video_stream->codecpar->codec_id); if (!codec) { fprintf(stderr, "Failed to find codec\n"); avformat_close_input(&fmt_ctx); return -1; } AVCodecContext *codec_ctx = avcodec_alloc_context3(codec); if (!codec_ctx) { fprintf(stderr, "Failed to allocate codec context\n"); avformat_close_input(&fmt_ctx); return -1; } ret = avcodec_parameters_to_context(codec_ctx, video_stream->codecpar); if (ret < 0) { print_error("Failed to copy codec parameters to context", ret); avcodec_free_context(&codec_ctx); avformat_close_input(&fmt_ctx); return -1; } ret = avcodec_open2(codec_ctx, codec, NULL); if (ret < 0) { print_error("Failed to open codec", ret); avcodec_free_context(&codec_ctx); avformat_close_input(&fmt_ctx); return -1; } AVPacket *packet = av_packet_alloc(); AVFrame *frame = av_frame_alloc(); AVFrame *frame_rgb = av_frame_alloc(); if (!packet || !frame || !frame_rgb) { fprintf(stderr, "Failed to allocate packet or frame\n"); av_packet_free(&packet); av_frame_free(&frame); av_frame_free(&frame_rgb); avcodec_free_context(&codec_ctx); avformat_close_input(&fmt_ctx); return -1; } struct SwsContext *sws_ctx = sws_getContext( codec_ctx->width, codec_ctx->height, codec_ctx->pix_fmt, codec_ctx->width, codec_ctx->height, AV_PIX_FMT_RGB24, SWS_BILINEAR, NULL, NULL, NULL); if (!sws_ctx) { fprintf(stderr, "Failed to initialize sws scaling context\n"); goto end; } // Здесь исправлено: int num_bytes = av_image_get_buffer_size(AV_PIX_FMT_RGB24, codec_ctx->width, codec_ctx->height, 1); uint8_t *rgb_buffer = (uint8_t *)av_malloc(num_bytes * sizeof(uint8_t)); if (!rgb_buffer) { fprintf(stderr, "Failed to allocate RGB buffer\n"); goto end; } av_image_fill_arrays(frame_rgb->data, frame_rgb->linesize, rgb_buffer, AV_PIX_FMT_RGB24, codec_ctx->width, codec_ctx->height, 1); while (av_read_frame(fmt_ctx, packet) >= 0) { if (packet->stream_index == video_stream_index) { ret = avcodec_send_packet(codec_ctx, packet); if (ret < 0) { print_error("Error sending packet to decoder", ret); break; } while (ret >= 0) { ret = avcodec_receive_frame(codec_ctx, frame); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) break; else if (ret < 0) { print_error("Error during decoding", ret); goto end; } sws_scale(sws_ctx, (const uint8_t * const *)frame->data, frame->linesize, 0, codec_ctx->height, frame_rgb->data, frame_rgb->linesize); // Используем frame_num вместо frame_number printf("Decoded frame %d (width=%d, height=%d, format=%d)\n", codec_ctx->frame_num, codec_ctx->width, codec_ctx->height, codec_ctx->pix_fmt); } } av_packet_unref(packet); } avcodec_send_packet(codec_ctx, NULL); while (avcodec_receive_frame(codec_ctx, frame) == 0) { sws_scale(sws_ctx, (const uint8_t * const *)frame->data, frame->linesize, 0, codec_ctx->height, frame_rgb->data, frame_rgb->linesize); printf("Decoded flush frame %d\n", codec_ctx->frame_num); } end: av_free(rgb_buffer); sws_freeContext(sws_ctx); av_packet_free(&packet); av_frame_free(&frame); av_frame_free(&frame_rgb); avcodec_free_context(&codec_ctx); avformat_close_input(&fmt_ctx); avformat_network_deinit(); return 0; }
Основные моменты:
- Добавлен
#include <libavutil/imgutils.h> const AVCodec *codec = avcodec_find_decoder(...)- Замена
frame_number→frame_num - Компилируйте с флагами на предупреждения, чтобы ловить подобные ошибки:
gcc -W -Wall -Wextra -o app app.c -lavformat -lavcodec -lavutil -lswscale
Если используете сборку FFmpeg на базе Buildroot и cross-compile, не забудьте включить нужные компоненты (libavformat, libavcodec, libswscale, libavutil).
Если после этих исправлений останутся вопросы — пишите!