Напиши кафка паблишер и консюмер, надо, чтобы паблишер отправлял словарь в кафку,…
- User
Напиши кафка паблишер и консюмер, надо, чтобы паблишер отправлял словарь в кафку, написать на питоне, а консюмер печатал этот словарь в консоль. Сделать паблишер и консюмер надо в классах, в отдельных файлах
- Assistant
Конечно! Ниже приведены примеры кода для кафка-паблишера (producer) и кафка-консьюмера (consumer) на языке Python, реализованных в виде классов.
main.py (контрольный файл, который объединяет паблишера и консьюмера):
from kafka_producer import KafkaPublisher from kafka_consumer import KafkaConsumer if __name__ == "__main__": # Создаем экземпляры классов паблишера и консьюмера publisher = KafkaPublisher() consumer = KafkaConsumer() # Отправляем словарь из паблишера message = {"key": "value"} publisher.publish(message) # Читаем и выводим словарь в консоль в консьюмере consumer.consume()kafka_producer.py (файл с классом паблишера):
from kafka import KafkaProducer from json import dumps class KafkaPublisher: def __init__(self): # Инициализация объекта KafkaProducer с указанием параметров подключения к Kafka self.producer = KafkaProducer(bootstrap_servers='localhost:9092', value_serializer=lambda x: dumps(x).encode('utf-8')) def publish(self, message): # Отправка сообщения в Kafka self.producer.send('test-topic', value=message) self.producer.flush()kafka_consumer.py (файл с классом консьюмера):
from kafka import KafkaConsumer from json import loads class KafkaConsumer: def __init__(self): # Инициализация объекта KafkaConsumer с указанием параметров подключения к Kafka self.consumer = KafkaConsumer('test-topic', bootstrap_servers='localhost:9092', value_deserializer=lambda x: loads(x.decode('utf-8'))) def consume(self): # Чтение и вывод сообщений из Kafka for message in self.consumer: print(message.value)В этом примере мы используем библиотеку kafka-python для взаимодействия с Apache Kafka. Укажите правильные значения для параметров подключения, такие как
bootstrap_servers(адрес и порт Kafka-сервера) иtopic(имя топика).После запуска скрипта main.py словарь будет отправлен в Kafka-топик
test-topicи затем будет прочитан и выведен в консоль кафка-консьюмером. - User
SyntaxError: invalid syntax 2023-08-21T14:46:55.132250723Z Traceback (most recent call last): 2023-08-21T14:46:55.132329054Z File "//manage.py", line 1, in 2023-08-21T14:46:55.132345585Z from app import app 2023-08-21T14:46:55.132352227Z File "/app/init.py", line 30, in 2023-08-21T14:46:55.132483854Z from app.api.videos.views import bp as bp__videos # noqa: F401 2023-08-21T14:46:55.132502875Z File "/app/api/videos/views.py", line 7, in 2023-08-21T14:46:55.132675376Z from libs.transport.publisher.kafka_publisher import KafkaPublisher 2023-08-21T14:46:55.132700734Z File "/libs/transport/publisher/kafka_publisher.py", line 3, in 2023-08-21T14:46:55.132816838Z from kafka import KafkaProducer 2023-08-21T14:46:55.132833242Z File "/usr/local/lib/python3.9/site-packages/kafka/init.py", line 23, in 2023-08-21T14:46:55.133064962Z from kafka.producer import KafkaProducer 2023-08-21T14:46:55.133097049Z File "/usr/local/lib/python3.9/site-packages/kafka/producer/init.py", line 4, in 2023-08-21T14:46:55.133168950Z from .simple import SimpleProducer 2023-08-21T14:46:55.133182991Z File "/usr/local/lib/python3.9/site-packages/kafka/producer/simple.py", line 54 2023-08-21T14:46:55.133192556Z return '' % self.async
Что за ошибка? Вот мой паблишер: from json import dumps
from kafka import KafkaProducer
class KafkaPublisher: def init(self): self.producer = KafkaProducer( bootstrap_servers="kafka:9092", value_serializer=lambda x: dumps(x).encode("utf-8"))
def publish(self, message): self.producer.send("test-topic", value=message) self.producer.flush() - Assistant
Ошибка, которую вы видите, возникает из-за неверного синтаксиса в файле карты памяти KafkaProducer.
В строке
return '<SimpleProducer batch=%s>' % self.asyncв файле "simple.py" из модуля kafka.producer происходит попытка форматировать строку, используя"%"оператор, который считается устаревшим в Python 3. Вместо этого мы можем использовать метод форматирования строк.format()или преобразовать его в f-строку.Вам нужно изменить эту строку в файле "simple.py" следующим образом:
return '<SimpleProducer batch={}>'.format(self.async)или
return f'<SimpleProducer batch={self.async}>'Внесите эту изменение в соответствующий файл, перезапустите свое приложение, и ошибка больше не должна возникать.
- User
Я не могу поменять файл simple.py, это ведь в библиотеке
- Assistant
Если вы не можете изменить файл simple.py в самой библиотеке, вам следует проверить, соответствуют ли версии библиотеки kafka-python и Kafka-сервера, который вы используете.
Возможно, у вас есть несовместимость версий между kafka-python и Kafka-сервером. Попробуйте обновить версию kafka-python с помощью pip:
pip install --upgrade kafka-pythonЕсли обновление не помогло, попробуйте использовать более старую версию kafka-python, которая должна быть совместима с вашим Kafka-сервером. Вы можете указать версию kafka-python в вашем файле requirements.txt или установить конкретную версию с помощью команды pip:
pip install kafka-python==0.9.5Если ни одна из этих опций не работает, вам придется рассмотреть альтернативные способы работы с Kafka в вашем приложении, такие как использование другой библиотеки Kafka, например confluent-kafka, или реализация собственной логики паблишера и консьюмера для работы с Kafka.
- User
Почему нет логов в контейнере, хотя я пишу принт в коде питон?
- Assistant
Отсутствие логов в контейнере может быть вызвано несколькими причинами. Вот некоторые из них:
-
Неправильный уровень логирования: Убедитесь, что уровень логирования установлен на достаточно низкий уровень, чтобы вы могли видеть вывод
printв логах. Уровень можно настроить в файле конфигурации логгера вашего приложения. -
Необходимая настройка логирования контейнера: Некоторые контейнеры или оркестраторы могут устанавливать специальные настройки для логирования контейнеров. Вы должны проверить документацию вашей платформы контейнеризации (например, Docker или Kubernetes) и убедиться, что логи правильно настроены, чтобы вывод
printв вашем коде попадал в лог-файлы или консоль. -
Место вывода логов: Ваш контейнер может настроен таким образом, что вывод
printнаправляется не в стандартный вывод (stdout), а в другое место, такое как файл или удаленный журнал. В этом случае вам нужно знать, куда направляются логи и как получить доступ к ним. -
Проблемы доступа: Убедитесь, что учетная запись или пользователя, запускающего ваш контейнер, имеет права на запись в журналы или доступ к консоли вывода. Если учетная запись или пользователя нет необходимых разрешений, то вывод
printможет быть блокирован.
Проверьте эти пункты и убедитесь, что ваши логи правильно настроены, чтобы видеть вывод
printв своем контейнере. -
- User
Как их проверить то?
- Assistant
Вот некоторые шаги для проверки и решения проблемы с отсутствием логов в контейнере:
-
Проверьте уровень логирования: Убедитесь, что в вашем приложении уровень логирования установлен на достаточно низкий уровень, чтобы вывод
printбыл зафиксирован. Например, вы можете установить уровень логирования наDEBUGилиINFO. Проверьте файл настройки логирования в вашем приложении и убедитесь, что уровень правильно настроен. -
Проверьте конфигурацию логирования контейнера или оркестратора: Если вы работаете с контейнерами или оркестраторами, такими как Docker или Kubernetes, убедитесь, что настройки логирования правильны. Возможно, необходимо настроить конфигурацию логирования, чтобы вывод
printвашего контейнера был видим. Обратитесь к документации вашей платформы контейнеризации и оркестрации и убедитесь, что настройки логирования корректны. -
Проверьте место вывода логов: Узнайте, куда направляются логи вашего контейнера. Некоторые контейнеры выводят логи в файлы, которые можно просмотреть и контролировать. Проверьте документацию вашей платформы контейнеризации и оркестрации, чтобы узнать, где находятся логи вашего контейнера, и как получить к ним доступ.
-
Проверьте доступ и разрешения: Убедитесь, что у пользователя или учетной записи, запускающей ваш контейнер, есть права на запись в лог-файлы или доступ к консоли вывода. Если у пользователя или учетной записи нет необходимых разрешений, значит, вывод
printвашего кода может быть заблокирован.
При проверке конфигурации логирования и доступа важно руководствоваться специфическими инструкциями для вашей платформы контейнеризации и оркестрации.
-