Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· OpenAIAi2 WildChat-4.8M (AI2)

Напиши кафка паблишер и консюмер, надо, чтобы паблишер отправлял словарь в кафку,…

  1. User

    Напиши кафка паблишер и консюмер, надо, чтобы паблишер отправлял словарь в кафку, написать на питоне, а консюмер печатал этот словарь в консоль. Сделать паблишер и консюмер надо в классах, в отдельных файлах

  2. Assistant

    Конечно! Ниже приведены примеры кода для кафка-паблишера (producer) и кафка-консьюмера (consumer) на языке Python, реализованных в виде классов.

    main.py (контрольный файл, который объединяет паблишера и консьюмера):

    from kafka_producer import KafkaPublisher
    from kafka_consumer import KafkaConsumer
    
    if __name__ == "__main__":
        # Создаем экземпляры классов паблишера и консьюмера
        publisher = KafkaPublisher()
        consumer = KafkaConsumer()
    
        # Отправляем словарь из паблишера
        message = {"key": "value"}
        publisher.publish(message)
    
        # Читаем и выводим словарь в консоль в консьюмере
        consumer.consume()
    

    kafka_producer.py (файл с классом паблишера):

    from kafka import KafkaProducer
    from json import dumps
    
    class KafkaPublisher:
        def __init__(self):
            # Инициализация объекта KafkaProducer с указанием параметров подключения к Kafka
            self.producer = KafkaProducer(bootstrap_servers='localhost:9092',
                                          value_serializer=lambda x: dumps(x).encode('utf-8'))
    
        def publish(self, message):
            # Отправка сообщения в Kafka
            self.producer.send('test-topic', value=message)
            self.producer.flush()
    

    kafka_consumer.py (файл с классом консьюмера):

    from kafka import KafkaConsumer
    from json import loads
    
    class KafkaConsumer:
        def __init__(self):
            # Инициализация объекта KafkaConsumer с указанием параметров подключения к Kafka
            self.consumer = KafkaConsumer('test-topic',
                                          bootstrap_servers='localhost:9092',
                                          value_deserializer=lambda x: loads(x.decode('utf-8')))
    
        def consume(self):
            # Чтение и вывод сообщений из Kafka
            for message in self.consumer:
                print(message.value)
    

    В этом примере мы используем библиотеку kafka-python для взаимодействия с Apache Kafka. Укажите правильные значения для параметров подключения, такие как bootstrap_servers (адрес и порт Kafka-сервера) и topic (имя топика).

    После запуска скрипта main.py словарь будет отправлен в Kafka-топик test-topic и затем будет прочитан и выведен в консоль кафка-консьюмером.

  3. User

    SyntaxError: invalid syntax 2023-08-21T14:46:55.132250723Z Traceback (most recent call last): 2023-08-21T14:46:55.132329054Z File "//manage.py", line 1, in 2023-08-21T14:46:55.132345585Z from app import app 2023-08-21T14:46:55.132352227Z File "/app/init.py", line 30, in 2023-08-21T14:46:55.132483854Z from app.api.videos.views import bp as bp__videos # noqa: F401 2023-08-21T14:46:55.132502875Z File "/app/api/videos/views.py", line 7, in 2023-08-21T14:46:55.132675376Z from libs.transport.publisher.kafka_publisher import KafkaPublisher 2023-08-21T14:46:55.132700734Z File "/libs/transport/publisher/kafka_publisher.py", line 3, in 2023-08-21T14:46:55.132816838Z from kafka import KafkaProducer 2023-08-21T14:46:55.132833242Z File "/usr/local/lib/python3.9/site-packages/kafka/init.py", line 23, in 2023-08-21T14:46:55.133064962Z from kafka.producer import KafkaProducer 2023-08-21T14:46:55.133097049Z File "/usr/local/lib/python3.9/site-packages/kafka/producer/init.py", line 4, in 2023-08-21T14:46:55.133168950Z from .simple import SimpleProducer 2023-08-21T14:46:55.133182991Z File "/usr/local/lib/python3.9/site-packages/kafka/producer/simple.py", line 54 2023-08-21T14:46:55.133192556Z return '' % self.async

    Что за ошибка? Вот мой паблишер: from json import dumps

    from kafka import KafkaProducer

    class KafkaPublisher: def init(self): self.producer = KafkaProducer( bootstrap_servers="kafka:9092", value_serializer=lambda x: dumps(x).encode("utf-8"))

    def publish(self, message):
        self.producer.send("test-topic", value=message)
        self.producer.flush()
    
  4. Assistant

    Ошибка, которую вы видите, возникает из-за неверного синтаксиса в файле карты памяти KafkaProducer.

    В строке return '<SimpleProducer batch=%s>' % self.async в файле "simple.py" из модуля kafka.producer происходит попытка форматировать строку, используя "%" оператор, который считается устаревшим в Python 3. Вместо этого мы можем использовать метод форматирования строк .format() или преобразовать его в f-строку.

    Вам нужно изменить эту строку в файле "simple.py" следующим образом:

    return '<SimpleProducer batch={}>'.format(self.async)
    

    или

    return f'<SimpleProducer batch={self.async}>'
    

    Внесите эту изменение в соответствующий файл, перезапустите свое приложение, и ошибка больше не должна возникать.

  5. User

    Я не могу поменять файл simple.py, это ведь в библиотеке

  6. Assistant

    Если вы не можете изменить файл simple.py в самой библиотеке, вам следует проверить, соответствуют ли версии библиотеки kafka-python и Kafka-сервера, который вы используете.

    Возможно, у вас есть несовместимость версий между kafka-python и Kafka-сервером. Попробуйте обновить версию kafka-python с помощью pip:

    pip install --upgrade kafka-python
    

    Если обновление не помогло, попробуйте использовать более старую версию kafka-python, которая должна быть совместима с вашим Kafka-сервером. Вы можете указать версию kafka-python в вашем файле requirements.txt или установить конкретную версию с помощью команды pip:

    pip install kafka-python==0.9.5
    

    Если ни одна из этих опций не работает, вам придется рассмотреть альтернативные способы работы с Kafka в вашем приложении, такие как использование другой библиотеки Kafka, например confluent-kafka, или реализация собственной логики паблишера и консьюмера для работы с Kafka.

  7. User

    Почему нет логов в контейнере, хотя я пишу принт в коде питон?

  8. Assistant

    Отсутствие логов в контейнере может быть вызвано несколькими причинами. Вот некоторые из них:

    1. Неправильный уровень логирования: Убедитесь, что уровень логирования установлен на достаточно низкий уровень, чтобы вы могли видеть вывод print в логах. Уровень можно настроить в файле конфигурации логгера вашего приложения.

    2. Необходимая настройка логирования контейнера: Некоторые контейнеры или оркестраторы могут устанавливать специальные настройки для логирования контейнеров. Вы должны проверить документацию вашей платформы контейнеризации (например, Docker или Kubernetes) и убедиться, что логи правильно настроены, чтобы вывод print в вашем коде попадал в лог-файлы или консоль.

    3. Место вывода логов: Ваш контейнер может настроен таким образом, что вывод print направляется не в стандартный вывод (stdout), а в другое место, такое как файл или удаленный журнал. В этом случае вам нужно знать, куда направляются логи и как получить доступ к ним.

    4. Проблемы доступа: Убедитесь, что учетная запись или пользователя, запускающего ваш контейнер, имеет права на запись в журналы или доступ к консоли вывода. Если учетная запись или пользователя нет необходимых разрешений, то вывод print может быть блокирован.

    Проверьте эти пункты и убедитесь, что ваши логи правильно настроены, чтобы видеть вывод print в своем контейнере.

  9. User

    Как их проверить то?

  10. Assistant

    Вот некоторые шаги для проверки и решения проблемы с отсутствием логов в контейнере:

    1. Проверьте уровень логирования: Убедитесь, что в вашем приложении уровень логирования установлен на достаточно низкий уровень, чтобы вывод print был зафиксирован. Например, вы можете установить уровень логирования на DEBUG или INFO. Проверьте файл настройки логирования в вашем приложении и убедитесь, что уровень правильно настроен.

    2. Проверьте конфигурацию логирования контейнера или оркестратора: Если вы работаете с контейнерами или оркестраторами, такими как Docker или Kubernetes, убедитесь, что настройки логирования правильны. Возможно, необходимо настроить конфигурацию логирования, чтобы вывод print вашего контейнера был видим. Обратитесь к документации вашей платформы контейнеризации и оркестрации и убедитесь, что настройки логирования корректны.

    3. Проверьте место вывода логов: Узнайте, куда направляются логи вашего контейнера. Некоторые контейнеры выводят логи в файлы, которые можно просмотреть и контролировать. Проверьте документацию вашей платформы контейнеризации и оркестрации, чтобы узнать, где находятся логи вашего контейнера, и как получить к ним доступ.

    4. Проверьте доступ и разрешения: Убедитесь, что у пользователя или учетной записи, запускающей ваш контейнер, есть права на запись в лог-файлы или доступ к консоли вывода. Если у пользователя или учетной записи нет необходимых разрешений, значит, вывод print вашего кода может быть заблокирован.

    При проверке конфигурации логирования и доступа важно руководствоваться специфическими инструкциями для вашей платформы контейнеризации и оркестрации.