Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· OpenAIAi2 WildChat-4.8M (AI2)

Как передать через кафку файл (видео) используя библиотеку python-kafak

  1. User

    Как передать через кафку файл (видео) используя библиотеку python-kafak

  2. Assistant

    Для передачи файла через Apache Kafka с помощью библиотеки python-kafka можно воспользоваться следующим кодом:

    1. Устанавливаем библиотеку python-kafka с помощью команды: pip install kafka-python

    2. Импортируем необходимые модули:

    from kafka import KafkaProducer
    import io
    
    1. Инициализируем KafkaProducer, указывая адрес и порт сервера Kafka:
    producer = KafkaProducer(bootstrap_servers='localhost:9092')
    
    1. Открываем файл с видео для чтения в бинарном режиме:
    with io.FileIO('video.mp4', mode='rb') as file:
        video = file.read()
    
    1. Отправляем файл через Kafka с помощью метода send, указывая имя топика и данные (в данном случае видео):
    future = producer.send('video-topic', video)
    
    1. Дожидаемся завершения отправки сообщения:
    result = future.get()
    

    Вот полный пример кода:

    from kafka import KafkaProducer
    import io
    
    producer = KafkaProducer(bootstrap_servers='localhost:9092')
    
    with io.FileIO('video.mp4', mode='rb') as file:
        video = file.read()
    
    future = producer.send('video-topic', video)
    result = future.get()
    
    print(result)
    

    Перед запуском этого кода необходимо убедиться, что у вас уже установлен и настроен сервер Apache Kafka, а также создан топик 'video-topic'.

  3. User

    Изначально у меня файл вообще вот так получается, от запроса: file = request.files.get("file"), как мне его преобразовать, чтобы в kafka отправить, а потом consumer считает (декодирует как-то)

  4. Assistant

    Если у вас файл уже получен через запрос и доступен в переменной file, то вам необходимо преобразовать его в бинарный формат для отправки через Kafka.

    Вот как можно это сделать:

    1. Импортируйте модуль kafka:
    from kafka import KafkaProducer
    
    1. Инициализируйте KafkaProducer, указав адрес и порт сервера Kafka:
    producer = KafkaProducer(bootstrap_servers='localhost:9092')
    
    1. Прочтите файл и получите его содержимое в виде байтов:
    file_bytes = file.read()
    
    1. Отправьте содержимое файла через Kafka с помощью метода send, указав имя топика и данные (содержимое файла):
    future = producer.send('video-topic', file_bytes)
    
    1. Дождитесь завершения отправки сообщения:
    result = future.get()
    

    Вот полный пример кода:

    from kafka import KafkaProducer
    
    producer = KafkaProducer(bootstrap_servers='localhost:9092')
    
    file = request.files.get("file")
    file_bytes = file.read()
    
    future = producer.send('video-topic', file_bytes)
    result = future.get()
    
    print(result)
    

    Затем вы можете настроить Kafka Consumer для чтения сообщений из топика 'video-topic' и обработки файлов по необходимости.

  5. User

    ТОГДА я получаю ошибку TypeError: Object of type bytes is not JSON serializable

  6. Assistant

    Если вы получаете ошибку TypeError: Object of type bytes is not JSON serializable при попытке передать содержимое файла (тип bytes) через Kafka, это может быть связано с тем, что вы пытаетесь сериализовать содержимое файла в JSON, вместо того, чтобы отправить его в бинарном формате.

    Чтобы отправить содержимое файла без сериализации в JSON, вы можете использовать value_serializer для указания, что данные не должны сериализоваться. Вы также можете указать свой собственный сериализатор, если необходимо настроить способ сериализации.

    Вот пример, как настроить KafkaProducer с несериализацией данных в JSON:

    from kafka import KafkaProducer
    
    producer = KafkaProducer(
        bootstrap_servers='localhost:9092',
        value_serializer=lambda x: x  # Не сериализовать данные
    )
    
    file = request.files.get("file")
    file_bytes = file.read()
    
    future = producer.send('video-topic', file_bytes)
    result = future.get()
    
    print(result)
    

    В этом примере мы передаем функцию lambda x: x в качестве value_serializer. Это означает, что данные не будут сериализованы и будут отправлены в бинарном формате.

  7. User

    Вот мой консюмер для загрузки видео: import json import logging from concurrent.futures import ThreadPoolExecutor

    from kafka import KafkaConsumer from kafka.errors import CommitFailedError

    from app.api.helpers.helpers import upload_file_to_s3 from settings import KAFKA_BROKER, NUM_MAX_THREADS

    @@@ zasun kudanibud

    root_logger = logging.getLogger() root_logger.setLevel(logging.INFO)

    handler = logging.StreamHandler() handler.setLevel(logging.INFO)

    formatter = logging.Formatter( "%(asctime)s - %(name)s - %(levelname)s - %(message)s") handler.setFormatter(formatter)

    root_logger.addHandler(handler)

    class Consumer: logger = logging.getLogger(name) logger.setLevel(logging.INFO)

    def __init__(
            self, topic, broker=KAFKA_BROKER,
            clear_messages=False, threads=8):
        self.consumer = None
        self.topic = topic
        self.broker = broker
        self.group_id = "group"
        self.clear_messages = clear_messages
        self.max_workers = threads
    
        if threads > NUM_MAX_THREADS:
            self.logger.warning(f"Sorry, max threads: {NUM_MAX_THREADS}")
            self.max_workers = NUM_MAX_THREADS
    
        self.pool = ThreadPoolExecutor(max_workers=self.max_workers)
        self.connect()
    
    def activate_listener(self):
        try:
            self.subscribe_topic()
            for message in self.consumer:
                try:
                    if not self.clear_messages:
                        self.pool.submit(self.process, message)
                    else:
                        self.logger.info("Ack")
                    self.consumer.commit()
                except Exception as e:
                    self.logger.error(f"Unexpected error: {e}")
        except CommitFailedError:
            self.logger.error("Commit error, please reconnect to kafka group")
            self._reconnect()
        except Exception as e:
            self.logger.error(f"Unexpected error: {e}")
    
    def _reconnect(self):
        if self.consumer:
            self.consumer.close()
            self.consumer = None
        self.connect()
        self.activate_listener()
    
    def stop(self):
        self.consumer.close()
        self.logger.info("Consumer is closed")
    
    def subscribe_topic(self):
        self.consumer.subscribe([self.topic])
        self.logger.info("Consumer is listening")
    
    def connect(self):
        self.consumer = KafkaConsumer(
            bootstrap_servers=self.broker,
            group_id=self.group_id,
            auto_offset_reset="latest",
            enable_auto_commit=False,
            api_version=(2, 1, 0),
            value_deserializer=lambda m: json.loads(m.decode("ascii"))
        )
    
    def process(self, message):
        result = self.on_message(message)
        if result:
            self.logger.info("ack")
        else:
            self.logger.info("reject")
    
    def on_message(self, message):
        pass
    

    class VideoUploadConsumer(Consumer): """ A child consumer to get messages about uploaded videos from kafka. Uploads video to s3 service, creates db row. """ def on_message(self, message): """ Uploads video to s3 service, creates db row. Args: message (dict): message from kafka publisher

        Returns:
            bool: True if identify user done else False
        """
        try:
            self.logger.info(f"id: {message.value['id']}")
            self.logger.info(f"id: {message.value['file']}")
            file = message.value["file"]
            file_extension, file_path, bucket_name, object_key = upload_file_to_s3(file, file.filename, "b")
            self.logger.info(f"tuple: {(file_extension, file_path, bucket_name, object_key)}")
            return True
        except AssertionError as e:
            self.logger.error(f"Assertion error: {e}")
            return False
    

    Вот паблишер: import json

    from kafka import KafkaProducer

    class KafkaPublisher: def init(self): self.producer = None self.connect()

    def send_message(self, topic, **kwargs):
        if self.producer:
            future = self.producer.send(topic, kwargs)
            future.get(timeout=60)
            self.producer.flush()
        else:
            self.connect()
    
    def connect(self):
        self.producer = KafkaProducer(
            bootstrap_servers="kafka:9092",
            value_serializer=lambda v: json.dumps(v).encode("utf-8"),
            acks=0,
            retries=3,
            api_version=(2, 1, 0)
        )
    
    def _reconnect(self):
        if self.producer:
            self.producer.close()
            self.producer = None
        self.connect()
    
    def close(self):
        if self.producer:
            self.producer.close()
            self.producer = None
    

    Вот метод, который отрпавляет сообщение в кафку: def send_kafka_message(topic, message): """ Sends message to kafka service. Args: topic (str): kafka topic message (dict): message with information about file.

    Returns:
        None:
    """
    publisher = KafkaPublisher()
    publisher.send_message(topic, **message)
    

    Вот метод, который собирает словарь для отправки: def form_kafka_message_to_upload(file): """ Forms message to kafka with uuid (name) of file. Args: file (FileStorage)

    Returns:
        dict: dict with uuid
    """
    return {
        "id": str(uuid.uuid4()),
        "file": file.read()
    }
    

    Как мне в таком случае исправить код, чтобы я не получал ошибку о том, что bytes is not json serializable?

  8. Assistant

    Ошибка "bytes is not JSON serializable" возникает потому, что стандартный сериализатор JSON не может обработать данные типа bytes.

    Чтобы исправить эту ошибку, вам нужно использовать свой собственный сериализатор для обработки данных типа bytes перед отправкой через Kafka. В вашем случае вы можете использовать lambda-функцию для сериализации данных в JSON с использованием base64.

    Вот как вы можете изменить код, чтобы сериализовать данные типа bytes с использованием base64:

    1. Импортируйте модуль base64:
    import base64
    
    1. Измените метод _reconnect класса VideoUploadConsumer, заменив сериализатор значения для value_deserializer следующим образом:
    value_deserializer=lambda m: json.loads(base64.b64decode(m).decode("utf-8"))
    
    1. В методе form_kafka_message_to_upload измените значение для ключа file, чтобы его сериализовать в кодировке base64:
    return {
        "id": str(uuid.uuid4()),
        "file": base64.b64encode(file.read()).decode("utf-8")
    }
    

    После внесения этих изменений ваш код должен правильно сериализовывать и отправлять данные типа bytes через Kafka без ошибки сериализации JSON.

  9. User

    Тогда вот такая ошибка File "/usr/local/lib/python3.9/site-packages/flask/app.py", line 1484, in full_dispatch_request 2023-08-22T12:08:38.311008005Z rv = self.dispatch_request() 2023-08-22T12:08:38.311026573Z File "/usr/local/lib/python3.9/site-packages/flask/app.py", line 1469, in dispatch_request 2023-08-22T12:08:38.311035104Z return self.ensure_sync(self.view_functions[rule.endpoint])(**view_args) 2023-08-22T12:08:38.311042338Z File "/app/api/videos/views.py", line 57, in upload_video 2023-08-22T12:08:38.311049687Z send_kafka_message(VIDEO_UPLOAD_TOPIC, message) 2023-08-22T12:08:38.311057088Z File "/app/api/helpers/helpers.py", line 22, in send_kafka_message 2023-08-22T12:08:38.311254923Z publisher.send_message(topic, **message) 2023-08-22T12:08:38.311336887Z File "/libs/transport/publisher/kafka_publisher.py", line 13, in send_message 2023-08-22T12:08:38.311395586Z future = self.producer.send(topic, kwargs) 2023-08-22T12:08:38.311481972Z File "/usr/local/lib/python3.9/site-packages/kafka/producer/kafka.py", line 585, in send 2023-08-22T12:08:38.311545355Z assert type(value_bytes) in (bytes, bytearray, memoryview, type(None)) 2023-08-22T12:08:38.311620521Z AssertionError

  10. Assistant

    Ошибка AssertionError возникает на этапе отправки сообщения через Kafka. Она указывает на то, что тип данных value_bytes, которые вы отправляете, не является ожидаемым типом.

    Возможно, ошибка связана с изменениями, которые были внесены для сериализации данных типа bytes с использованием base64. Вместо кодирования в base64 перед отправкой сообщения, вам необходимо преобразовать данные в байтовый формат, чтобы они могли быть корректно обработаны.

    Измените метод _reconnect класса VideoUploadConsumer обратно на исходный вид, используя json.loads без base64:

    value_deserializer=lambda m: json.loads(m.decode("utf-8"))
    

    Измените метод form_kafka_message_to_upload обратно на исходный вид, просто читая содержимое файла в виде данных типа bytes:

    return {
        "id": str(uuid.uuid4()),
        "file": file.read()
    }
    

    После внесения этих изменений попробуйте отправить сообщение в Kafka снова. Проверьте также, что тип данных передаваемого файла соответствует ожидаемому.

  11. User

    А можно ли видео просто в строку преобразовать?

  12. Assistant

    Да, вы можете преобразовать видео в строку, чтобы отправить его через Kafka. Однако стоит отметить, что преобразование видео в строку может занять большой объем памяти и может быть неэффективным для больших видеофайлов. Если видеофайлы, с которыми вы работаете, слишком большие, рекомендуется передавать их в бинарном формате.

    Вот пример, как преобразовать видео в строку:

    with open('video.mp4', 'rb') as file:
        video_bytes = file.read()
        video_str = video_bytes.decode('latin-1')
    

    В этом примере мы считываем видеофайл в бинарном режиме ('rb') и затем декодируем байты в строку с использованием кодировки latin-1.

    Однако, когда вы преобразуете видео в строку, помните, что размер строки будет увеличиваться по сравнению с исходным бинарным видеофайлом. Это может привести к увеличению потребления памяти и производительности вашего приложения. В зависимости от размещения видео, размера файлов и требований вашего приложения, может быть лучше использовать передачу и обработку видео в бинарном формате.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.