Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

создай докер композ файл для тестирования кафка продьюсера и консумера

  1. User

    создай докер композ файл для тестирования кафка продьюсера и консумера

  2. Assistant

    Конечно! Ниже представлен пример docker-compose.yml, который позволяет настроить среду для тестирования Kafka-продюсера и консюмера. Этот файл включает ZooKeeper, Kafka-брокер, а также сервисы для продюсера и консюмера, которые отправляют и получают сообщения из Kafka.

    docker-compose.yml

    version: '3.8'
    
    services:
      zookeeper:
        image: confluentinc/cp-zookeeper:7.5.0
        environment:
          ZOOKEEPER_CLIENT_PORT: 2181
          ZOOKEEPER_TICK_TIME: 2000
        ports:
          - "2181:2181"
    
      kafka:
        image: confluentinc/cp-kafka:7.5.0
        depends_on:
          - zookeeper
        ports:
          - "9092:9092"
        environment:
          KAFKA_BROKER_ID: 1
          KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
          KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
          KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    
      producer:
        image: confluentinc/cp-kafka:7.5.0
        depends_on:
          - kafka
        entrypoint: >
          bash -c "
          echo 'Отправка сообщений в топик test';
          echo 'Привет, Kafka!' | kafka-console-producer --broker-list kafka:9092 --topic test
          "
    
      consumer:
        image: confluentinc/cp-kafka:7.5.0
        depends_on:
          - kafka
        entrypoint: >
          bash -c "
          echo 'Прослушивание топика test';
          kafka-console-consumer --bootstrap-server kafka:9092 --topic test --from-beginning --max-messages 1
          "
    

    Описание сервисов

    1. zookeeper:

      • Образ: confluentinc/cp-zookeeper:7.5.0
      • Переменные окружения:
        • ZOOKEEPER_CLIENT_PORT: порт для подключения клиентов (по умолчанию 2181).
        • ZOOKEEPER_TICK_TIME: базовый временной интервал для ZooKeeper.
      • Порты:
        • Пробрасывает порт 2181 на хост-машину.
    2. kafka:

      • Образ: confluentinc/cp-kafka:7.5.0
      • Зависимость: ожидает запуска сервиса zookeeper.
      • Переменные окружения:
        • KAFKA_BROKER_ID: уникальный идентификатор брокера.
        • KAFKA_ZOOKEEPER_CONNECT: ссылка на ZooKeeper.
        • KAFKA_ADVERTISED_LISTENERS: адрес, по которому брокер будет доступен для клиентов.
        • KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: фактор репликации для топика с оффсетами.
      • Порты:
        • Пробрасывает порт 9092 на хост-машину.
    3. producer:

      • Образ: confluentinc/cp-kafka:7.5.0
      • Зависимость: ожидает запуска сервиса kafka.
      • Команда запуска:
        • Отправляет сообщение "Привет, Kafka!" в топик test с помощью kafka-console-producer.
    4. consumer:

      • Образ: confluentinc/cp-kafka:7.5.0
      • Зависимость: ожидает запуска сервиса kafka.
      • Команда запуска:
        • Прослушивает топик test и выводит одно сообщение с помощью kafka-console-consumer.

    Инструкции по использованию

    1. Создайте файл docker-compose.yml:

      • Скопируйте приведённый выше содержимое и сохраните его в файл с именем docker-compose.yml.
    2. Запустите Docker Compose:

      docker-compose up
      

      Эта команда создаст и запустит все описанные сервисы. В терминале вы увидите логи от каждого сервиса.

    3. Проверка работы:

      • Продюсер отправит сообщение "Привет, Kafka!" в топик test.
      • Консюмер должен получить и вывести это сообщение в консоль.
    4. Остановка сервисов: Для остановки и удаления всех запущенных контейнеров используйте:

      docker-compose down
      

    Дополнительные рекомендации

    • Порты: Убедитесь, что порты 2181 и 9092 не заняты другими службами на вашей машине.

    • Изменение сообщений: Вы можете изменить сообщение, отправляемое продюсером, изменив строку echo 'Привет, Kafka!' на нужное вам.

    • Добавление дополнительных продюсеров/консюмеров: Для параллельного тестирования можно добавить больше сервисов producer и consumer или использовать интерактивные контейнеры.

      Например, чтобы добавить второй продюсер:

      producer2:
        image: confluentinc/cp-kafka:7.5.0
        depends_on:
          - kafka
        entrypoint: >
          bash -c "
          echo 'Еще одно сообщение от producer2';
          echo 'Еще одно приветствие!' | kafka-console-producer --broker-list kafka:9092 --topic test
          "
      
    • Постоянное прослушивание топика: Если вы хотите, чтобы консюмер постоянно слушал топик, удалите параметр --max-messages 1 из команды запуска consumer.

    Примечания

    • Версии образов: В примере используются версии образов 7.5.0. Вы можете проверить доступные версии и выбрать актуальную при необходимости.
    • Безопасность: Данный пример предназначен для локального тестирования и не включает настройки безопасности. Для использования в продакшене рекомендуется настроить аутентификацию и авторизацию.
    • Использование KRaft: Новые версии Kafka поддерживают режим без ZooKeeper (KRaft). Данный пример использует традиционную архитектуру с ZooKeeper для большей совместимости.

    Надеюсь, этот пример поможет вам настроить среду для тестирования Kafka-продюсера и консюмера. Если у вас возникнут дополнительные вопросы, не стесняйтесь обращаться!