Как сделать так, чтобы в логи контейнера выводились print() команды питона?
- User
Как сделать так, чтобы в логи контейнера выводились print() команды питона?
- Assistant
Чтобы выводить строки из функции
print()в логи контейнера, можно использовать стандартный выводsys.stdout. Вот пример:import sys def log(message): print(message) # Выводим сообщение на стандартный вывод sys.stdout.flush() # Очищаем буфер вывода # Используем функцию log() для вывода log("Пример сообщения")В контейнере выведенные строки будут доступны в логах, их можно просмотреть с помощью команды
docker logsили эквивалентной команды для вашего контейнера. - User
Если через logging делать, то будет в контейнера логи попадать информация?
- Assistant
Да, если использовать модуль
loggingвместоprint()для вывода сообщений, то логи будут попадать в вывод контейнера.Вот пример использования модуля
logging:import logging # Настройка логгера logger = logging.getLogger(__name__) logger.setLevel(logging.INFO) # Настройка обработчика, который выводит логи в стандартный вывод handler = logging.StreamHandler() handler.setLevel(logging.INFO) # Настройка форматирования логов formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') handler.setFormatter(formatter) # Добавление обработчика к логгеру logger.addHandler(handler) # Использование логгера для вывода сообщений logger.info('Пример сообщения')Когда вы запустите контейнер с этим кодом, вы увидите логи в выводе контейнера. Вы также можете настроить логирование в файл или в другие места через соответствующие обработчики модуля
logging. - User
import json import logging from concurrent.futures import ThreadPoolExecutor
from kafka import KafkaConsumer
from kafka.errors import CommitFailedError
class Consumer: logger = logging.getLogger(name)
def __init__( self, topic, broker="kafka:9092", clear_messages=False, threads=1): self.consumer = None self.topic = topic self.broker = broker self.group_id = "group" self.clear_messages = clear_messages self.max_workers = threads if threads > 6: self.logger.warning(f"Sorry, max threads: {6}") self.max_workers = 6 self.pool = ThreadPoolExecutor(max_workers=self.max_workers) self.connect() def activate_listener(self): try: self.subscribe_topic() for message in self.consumer: try: if not self.clear_messages: self.pool.submit(self.process, message) else: self.logger.info("Ack") self.consumer.commit() except Exception as e: self.logger.error(f"1Unexpected error: {e}") except CommitFailedError: self.logger.error(f"Commit error, please reconnect to kafka group") self._reconnect() except Exception as e: self.logger.error(f"2Unexpected error: {e}") def _reconnect(self): if self.consumer: self.consumer.close() self.consumer = None self.connect() self.activate_listener() def stop(self): self.consumer.close() self.logger.info("Consumer is closed") def subscribe_topic(self): self.consumer.subscribe([self.topic]) self.logger.info("Consumer is listening") def connect(self): self.consumer = KafkaConsumer( bootstrap_servers=self.broker, group_id=self.group_id, auto_offset_reset="latest", enable_auto_commit=False, api_version=(2, 1, 0), value_deserializer=lambda m: json.loads(m.decode("ascii")) ) def process(self, message): result = self.on_message(message) if result: self.logger.info("ack") else: self.logger.info("reject") def on_message(self, message): passclass VideoUploadConsumer(Consumer): """ A child consumer to get messages about uploaded videos from kafka. Uploads video to s3 service, creates db row. """ def on_message(self, message): """ Uploads video to s3 service, creates db row. Args: message (dict): message from kafka publisher
Returns: bool: True if identify user done else False """ try: self.logger.info(f"id: {message.value['test']}") return True except AssertionError as e: self.logger.error(f"Assertion error: {e}") return FalseПочему в логах контейнера нет никаких записей?????
- Assistant
В вашем коде отсутствуют настройки для вывода логов в контейнер.
Для настройки логирования в контейнере Docker вам нужно добавить обработчик
StreamHandlerк корневому логгеру и настроить форматирование логов. Вот пример, как это можно сделать:import logging # Настройка логгера root_logger = logging.getLogger() root_logger.setLevel(logging.INFO) # Настройка обработчика, который выводит логи в стандартный вывод handler = logging.StreamHandler() handler.setLevel(logging.INFO) # Настройка форматирования логов formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') handler.setFormatter(formatter) # Добавление обработчика к логгеру root_logger.addHandler(handler)Вы можете добавить этот код в начало вашего файла или в другое место, где инициализируется код при запуске контейнера. Затем, логи должны начать выводиться в контейнер.
Убедитесь также, что уровень логирования установлен правильно для корневого логгера или для логгера класса
Consumer. В вашем коде, уровень логирования можно задать следующим образом:class Consumer: logger = logging.getLogger(__name__) logger.setLevel(logging.INFO) ...После этих изменений, вы должны увидеть логи в выводе контейнера.
- User
s3: container_name: s3 image: minio/minio volumes: - ./data:/data environment: - MINIO_ACCESS_KEY=access-key - MINIO_SECRET_KEY=secret-key ports: - "9000:9000"
Есть вот такой контейнер с s3, как я могу через питон загружать туда файлы и скачивать их? Напиши примеры такого кожа
- Assistant
Чтобы загрузить файл в контейнер S3 и скачать его обратно с помощью Python, вам понадобится использовать библиотеку boto3, которая предоставляет API для работы с сервисом хранения данных Amazon S3.
Вот примеры загрузки файла в S3 и скачивания его обратно:
Загрузка файла в S3:
import boto3 # Создаем клиент для работы с S3 s3_client = boto3.client('s3', endpoint_url='http://localhost:9000', aws_access_key_id='access-key', aws_secret_access_key='secret-key') # Указываем имя бакета и ключ (путь) к файлу в S3 bucket_name = 'my-bucket' object_key = 'path/to/file.txt' # Загружаем файл в S3 s3_client.upload_file('path/to/local/file.txt', bucket_name, object_key)Скачивание файла из S3:
import boto3 # Создаем клиент для работы с S3 s3_client = boto3.client('s3', endpoint_url='http://localhost:9000', aws_access_key_id='access-key', aws_secret_access_key='secret-key') # Указываем имя бакета и ключ (путь) к файлу в S3 bucket_name = 'my-bucket' object_key = 'path/to/file.txt' # Скачиваем файл из S3 s3_client.download_file(bucket_name, object_key, 'path/to/local/file.txt')В обоих примерах вам нужно заменить
endpoint_url,aws_access_key_id,aws_secret_access_key,bucket_name,object_keyна соответствующие значения для вашего контейнера S3. Убедитесь, что у вас установлена библиотека boto3 (можно установить с помощью командыpip install boto3).