создай докер композ файл для тестирования кафка продьюсера и консумера
- User
создай докер композ файл для тестирования кафка продьюсера и консумера
- Assistant
Конечно! Ниже представлен пример
docker-compose.yml, который позволяет настроить среду для тестирования Kafka-продюсера и консюмера. Этот файл включает ZooKeeper, Kafka-брокер, а также сервисы для продюсера и консюмера, которые отправляют и получают сообщения из Kafka.docker-compose.ymlversion: '3.8' services: zookeeper: image: confluentinc/cp-zookeeper:7.5.0 environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 ports: - "2181:2181" kafka: image: confluentinc/cp-kafka:7.5.0 depends_on: - zookeeper ports: - "9092:9092" environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 producer: image: confluentinc/cp-kafka:7.5.0 depends_on: - kafka entrypoint: > bash -c " echo 'Отправка сообщений в топик test'; echo 'Привет, Kafka!' | kafka-console-producer --broker-list kafka:9092 --topic test " consumer: image: confluentinc/cp-kafka:7.5.0 depends_on: - kafka entrypoint: > bash -c " echo 'Прослушивание топика test'; kafka-console-consumer --bootstrap-server kafka:9092 --topic test --from-beginning --max-messages 1 "Описание сервисов
-
zookeeper:
- Образ:
confluentinc/cp-zookeeper:7.5.0 - Переменные окружения:
ZOOKEEPER_CLIENT_PORT: порт для подключения клиентов (по умолчанию 2181).ZOOKEEPER_TICK_TIME: базовый временной интервал для ZooKeeper.
- Порты:
- Пробрасывает порт
2181на хост-машину.
- Пробрасывает порт
- Образ:
-
kafka:
- Образ:
confluentinc/cp-kafka:7.5.0 - Зависимость: ожидает запуска сервиса
zookeeper. - Переменные окружения:
KAFKA_BROKER_ID: уникальный идентификатор брокера.KAFKA_ZOOKEEPER_CONNECT: ссылка на ZooKeeper.KAFKA_ADVERTISED_LISTENERS: адрес, по которому брокер будет доступен для клиентов.KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: фактор репликации для топика с оффсетами.
- Порты:
- Пробрасывает порт
9092на хост-машину.
- Пробрасывает порт
- Образ:
-
producer:
- Образ:
confluentinc/cp-kafka:7.5.0 - Зависимость: ожидает запуска сервиса
kafka. - Команда запуска:
- Отправляет сообщение
"Привет, Kafka!"в топикtestс помощьюkafka-console-producer.
- Отправляет сообщение
- Образ:
-
consumer:
- Образ:
confluentinc/cp-kafka:7.5.0 - Зависимость: ожидает запуска сервиса
kafka. - Команда запуска:
- Прослушивает топик
testи выводит одно сообщение с помощьюkafka-console-consumer.
- Прослушивает топик
- Образ:
Инструкции по использованию
-
Создайте файл
docker-compose.yml:- Скопируйте приведённый выше содержимое и сохраните его в файл с именем
docker-compose.yml.
- Скопируйте приведённый выше содержимое и сохраните его в файл с именем
-
Запустите Docker Compose:
docker-compose upЭта команда создаст и запустит все описанные сервисы. В терминале вы увидите логи от каждого сервиса.
-
Проверка работы:
- Продюсер отправит сообщение
"Привет, Kafka!"в топикtest. - Консюмер должен получить и вывести это сообщение в консоль.
- Продюсер отправит сообщение
-
Остановка сервисов: Для остановки и удаления всех запущенных контейнеров используйте:
docker-compose down
Дополнительные рекомендации
-
Порты: Убедитесь, что порты
2181и9092не заняты другими службами на вашей машине. -
Изменение сообщений: Вы можете изменить сообщение, отправляемое продюсером, изменив строку
echo 'Привет, Kafka!'на нужное вам. -
Добавление дополнительных продюсеров/консюмеров: Для параллельного тестирования можно добавить больше сервисов
producerиconsumerили использовать интерактивные контейнеры.Например, чтобы добавить второй продюсер:
producer2: image: confluentinc/cp-kafka:7.5.0 depends_on: - kafka entrypoint: > bash -c " echo 'Еще одно сообщение от producer2'; echo 'Еще одно приветствие!' | kafka-console-producer --broker-list kafka:9092 --topic test " -
Постоянное прослушивание топика: Если вы хотите, чтобы консюмер постоянно слушал топик, удалите параметр
--max-messages 1из команды запускаconsumer.
Примечания
- Версии образов: В примере используются версии образов
7.5.0. Вы можете проверить доступные версии и выбрать актуальную при необходимости. - Безопасность: Данный пример предназначен для локального тестирования и не включает настройки безопасности. Для использования в продакшене рекомендуется настроить аутентификацию и авторизацию.
- Использование KRaft: Новые версии Kafka поддерживают режим без ZooKeeper (KRaft). Данный пример использует традиционную архитектуру с ZooKeeper для большей совместимости.
Надеюсь, этот пример поможет вам настроить среду для тестирования Kafka-продюсера и консюмера. Если у вас возникнут дополнительные вопросы, не стесняйтесь обращаться!
-