Как передать через кафку файл (видео) используя библиотеку python-kafak
- User
Как передать через кафку файл (видео) используя библиотеку python-kafak
- Assistant
Для передачи файла через Apache Kafka с помощью библиотеки
python-kafkaможно воспользоваться следующим кодом:-
Устанавливаем библиотеку
python-kafkaс помощью команды:pip install kafka-python -
Импортируем необходимые модули:
from kafka import KafkaProducer import io- Инициализируем
KafkaProducer, указывая адрес и порт сервера Kafka:
producer = KafkaProducer(bootstrap_servers='localhost:9092')- Открываем файл с видео для чтения в бинарном режиме:
with io.FileIO('video.mp4', mode='rb') as file: video = file.read()- Отправляем файл через Kafka с помощью метода
send, указывая имя топика и данные (в данном случае видео):
future = producer.send('video-topic', video)- Дожидаемся завершения отправки сообщения:
result = future.get()Вот полный пример кода:
from kafka import KafkaProducer import io producer = KafkaProducer(bootstrap_servers='localhost:9092') with io.FileIO('video.mp4', mode='rb') as file: video = file.read() future = producer.send('video-topic', video) result = future.get() print(result)Перед запуском этого кода необходимо убедиться, что у вас уже установлен и настроен сервер Apache Kafka, а также создан топик 'video-topic'.
-
- User
Изначально у меня файл вообще вот так получается, от запроса: file = request.files.get("file"), как мне его преобразовать, чтобы в kafka отправить, а потом consumer считает (декодирует как-то)
- Assistant
Если у вас файл уже получен через запрос и доступен в переменной
file, то вам необходимо преобразовать его в бинарный формат для отправки через Kafka.Вот как можно это сделать:
- Импортируйте модуль
kafka:
from kafka import KafkaProducer- Инициализируйте
KafkaProducer, указав адрес и порт сервера Kafka:
producer = KafkaProducer(bootstrap_servers='localhost:9092')- Прочтите файл и получите его содержимое в виде байтов:
file_bytes = file.read()- Отправьте содержимое файла через Kafka с помощью метода
send, указав имя топика и данные (содержимое файла):
future = producer.send('video-topic', file_bytes)- Дождитесь завершения отправки сообщения:
result = future.get()Вот полный пример кода:
from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers='localhost:9092') file = request.files.get("file") file_bytes = file.read() future = producer.send('video-topic', file_bytes) result = future.get() print(result)Затем вы можете настроить Kafka Consumer для чтения сообщений из топика 'video-topic' и обработки файлов по необходимости.
- Импортируйте модуль
- User
ТОГДА я получаю ошибку TypeError: Object of type bytes is not JSON serializable
- Assistant
Если вы получаете ошибку
TypeError: Object of type bytes is not JSON serializableпри попытке передать содержимое файла (типbytes) через Kafka, это может быть связано с тем, что вы пытаетесь сериализовать содержимое файла в JSON, вместо того, чтобы отправить его в бинарном формате.Чтобы отправить содержимое файла без сериализации в JSON, вы можете использовать
value_serializerдля указания, что данные не должны сериализоваться. Вы также можете указать свой собственный сериализатор, если необходимо настроить способ сериализации.Вот пример, как настроить
KafkaProducerс несериализацией данных в JSON:from kafka import KafkaProducer producer = KafkaProducer( bootstrap_servers='localhost:9092', value_serializer=lambda x: x # Не сериализовать данные ) file = request.files.get("file") file_bytes = file.read() future = producer.send('video-topic', file_bytes) result = future.get() print(result)В этом примере мы передаем функцию
lambda x: xв качествеvalue_serializer. Это означает, что данные не будут сериализованы и будут отправлены в бинарном формате. - User
Вот мой консюмер для загрузки видео: import json import logging from concurrent.futures import ThreadPoolExecutor
from kafka import KafkaConsumer from kafka.errors import CommitFailedError
from app.api.helpers.helpers import upload_file_to_s3 from settings import KAFKA_BROKER, NUM_MAX_THREADS
@@@ zasun kudanibud
root_logger = logging.getLogger() root_logger.setLevel(logging.INFO)
handler = logging.StreamHandler() handler.setLevel(logging.INFO)
formatter = logging.Formatter( "%(asctime)s - %(name)s - %(levelname)s - %(message)s") handler.setFormatter(formatter)
root_logger.addHandler(handler)
class Consumer: logger = logging.getLogger(name) logger.setLevel(logging.INFO)
def __init__( self, topic, broker=KAFKA_BROKER, clear_messages=False, threads=8): self.consumer = None self.topic = topic self.broker = broker self.group_id = "group" self.clear_messages = clear_messages self.max_workers = threads if threads > NUM_MAX_THREADS: self.logger.warning(f"Sorry, max threads: {NUM_MAX_THREADS}") self.max_workers = NUM_MAX_THREADS self.pool = ThreadPoolExecutor(max_workers=self.max_workers) self.connect() def activate_listener(self): try: self.subscribe_topic() for message in self.consumer: try: if not self.clear_messages: self.pool.submit(self.process, message) else: self.logger.info("Ack") self.consumer.commit() except Exception as e: self.logger.error(f"Unexpected error: {e}") except CommitFailedError: self.logger.error("Commit error, please reconnect to kafka group") self._reconnect() except Exception as e: self.logger.error(f"Unexpected error: {e}") def _reconnect(self): if self.consumer: self.consumer.close() self.consumer = None self.connect() self.activate_listener() def stop(self): self.consumer.close() self.logger.info("Consumer is closed") def subscribe_topic(self): self.consumer.subscribe([self.topic]) self.logger.info("Consumer is listening") def connect(self): self.consumer = KafkaConsumer( bootstrap_servers=self.broker, group_id=self.group_id, auto_offset_reset="latest", enable_auto_commit=False, api_version=(2, 1, 0), value_deserializer=lambda m: json.loads(m.decode("ascii")) ) def process(self, message): result = self.on_message(message) if result: self.logger.info("ack") else: self.logger.info("reject") def on_message(self, message): passclass VideoUploadConsumer(Consumer): """ A child consumer to get messages about uploaded videos from kafka. Uploads video to s3 service, creates db row. """ def on_message(self, message): """ Uploads video to s3 service, creates db row. Args: message (dict): message from kafka publisher
Returns: bool: True if identify user done else False """ try: self.logger.info(f"id: {message.value['id']}") self.logger.info(f"id: {message.value['file']}") file = message.value["file"] file_extension, file_path, bucket_name, object_key = upload_file_to_s3(file, file.filename, "b") self.logger.info(f"tuple: {(file_extension, file_path, bucket_name, object_key)}") return True except AssertionError as e: self.logger.error(f"Assertion error: {e}") return FalseВот паблишер: import json
from kafka import KafkaProducer
class KafkaPublisher: def init(self): self.producer = None self.connect()
def send_message(self, topic, **kwargs): if self.producer: future = self.producer.send(topic, kwargs) future.get(timeout=60) self.producer.flush() else: self.connect() def connect(self): self.producer = KafkaProducer( bootstrap_servers="kafka:9092", value_serializer=lambda v: json.dumps(v).encode("utf-8"), acks=0, retries=3, api_version=(2, 1, 0) ) def _reconnect(self): if self.producer: self.producer.close() self.producer = None self.connect() def close(self): if self.producer: self.producer.close() self.producer = NoneВот метод, который отрпавляет сообщение в кафку: def send_kafka_message(topic, message): """ Sends message to kafka service. Args: topic (str): kafka topic message (dict): message with information about file.
Returns: None: """ publisher = KafkaPublisher() publisher.send_message(topic, **message)Вот метод, который собирает словарь для отправки: def form_kafka_message_to_upload(file): """ Forms message to kafka with uuid (name) of file. Args: file (FileStorage)
Returns: dict: dict with uuid """ return { "id": str(uuid.uuid4()), "file": file.read() }Как мне в таком случае исправить код, чтобы я не получал ошибку о том, что bytes is not json serializable?
- Assistant
Ошибка "bytes is not JSON serializable" возникает потому, что стандартный сериализатор JSON не может обработать данные типа
bytes.Чтобы исправить эту ошибку, вам нужно использовать свой собственный сериализатор для обработки данных типа
bytesперед отправкой через Kafka. В вашем случае вы можете использовать lambda-функцию для сериализации данных в JSON с использованиемbase64.Вот как вы можете изменить код, чтобы сериализовать данные типа
bytesс использованиемbase64:- Импортируйте модуль
base64:
import base64- Измените метод
_reconnectклассаVideoUploadConsumer, заменив сериализатор значения дляvalue_deserializerследующим образом:
value_deserializer=lambda m: json.loads(base64.b64decode(m).decode("utf-8"))- В методе
form_kafka_message_to_uploadизмените значение для ключаfile, чтобы его сериализовать в кодировкеbase64:
return { "id": str(uuid.uuid4()), "file": base64.b64encode(file.read()).decode("utf-8") }После внесения этих изменений ваш код должен правильно сериализовывать и отправлять данные типа
bytesчерез Kafka без ошибки сериализации JSON. - Импортируйте модуль
- User
Тогда вот такая ошибка File "/usr/local/lib/python3.9/site-packages/flask/app.py", line 1484, in full_dispatch_request 2023-08-22T12:08:38.311008005Z rv = self.dispatch_request() 2023-08-22T12:08:38.311026573Z File "/usr/local/lib/python3.9/site-packages/flask/app.py", line 1469, in dispatch_request 2023-08-22T12:08:38.311035104Z return self.ensure_sync(self.view_functions[rule.endpoint])(**view_args) 2023-08-22T12:08:38.311042338Z File "/app/api/videos/views.py", line 57, in upload_video 2023-08-22T12:08:38.311049687Z send_kafka_message(VIDEO_UPLOAD_TOPIC, message) 2023-08-22T12:08:38.311057088Z File "/app/api/helpers/helpers.py", line 22, in send_kafka_message 2023-08-22T12:08:38.311254923Z publisher.send_message(topic, **message) 2023-08-22T12:08:38.311336887Z File "/libs/transport/publisher/kafka_publisher.py", line 13, in send_message 2023-08-22T12:08:38.311395586Z future = self.producer.send(topic, kwargs) 2023-08-22T12:08:38.311481972Z File "/usr/local/lib/python3.9/site-packages/kafka/producer/kafka.py", line 585, in send 2023-08-22T12:08:38.311545355Z assert type(value_bytes) in (bytes, bytearray, memoryview, type(None)) 2023-08-22T12:08:38.311620521Z AssertionError
- Assistant
Ошибка
AssertionErrorвозникает на этапе отправки сообщения через Kafka. Она указывает на то, что тип данныхvalue_bytes, которые вы отправляете, не является ожидаемым типом.Возможно, ошибка связана с изменениями, которые были внесены для сериализации данных типа
bytesс использованиемbase64. Вместо кодирования вbase64перед отправкой сообщения, вам необходимо преобразовать данные в байтовый формат, чтобы они могли быть корректно обработаны.Измените метод
_reconnectклассаVideoUploadConsumerобратно на исходный вид, используяjson.loadsбезbase64:value_deserializer=lambda m: json.loads(m.decode("utf-8"))Измените метод
form_kafka_message_to_uploadобратно на исходный вид, просто читая содержимое файла в виде данных типаbytes:return { "id": str(uuid.uuid4()), "file": file.read() }После внесения этих изменений попробуйте отправить сообщение в Kafka снова. Проверьте также, что тип данных передаваемого файла соответствует ожидаемому.
- User
А можно ли видео просто в строку преобразовать?
- Assistant
Да, вы можете преобразовать видео в строку, чтобы отправить его через Kafka. Однако стоит отметить, что преобразование видео в строку может занять большой объем памяти и может быть неэффективным для больших видеофайлов. Если видеофайлы, с которыми вы работаете, слишком большие, рекомендуется передавать их в бинарном формате.
Вот пример, как преобразовать видео в строку:
with open('video.mp4', 'rb') as file: video_bytes = file.read() video_str = video_bytes.decode('latin-1')В этом примере мы считываем видеофайл в бинарном режиме (
'rb') и затем декодируем байты в строку с использованием кодировкиlatin-1.Однако, когда вы преобразуете видео в строку, помните, что размер строки будет увеличиваться по сравнению с исходным бинарным видеофайлом. Это может привести к увеличению потребления памяти и производительности вашего приложения. В зависимости от размещения видео, размера файлов и требований вашего приложения, может быть лучше использовать передачу и обработку видео в бинарном формате.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.