Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· OpenAIAi2 WildChat-4.8M (AI2)

Как сделать так, чтобы в логи контейнера выводились print() команды питона?

  1. User

    Как сделать так, чтобы в логи контейнера выводились print() команды питона?

  2. Assistant

    Чтобы выводить строки из функции print() в логи контейнера, можно использовать стандартный вывод sys.stdout. Вот пример:

    import sys
    
    def log(message):
        print(message)  # Выводим сообщение на стандартный вывод
        sys.stdout.flush()  # Очищаем буфер вывода
    
    # Используем функцию log() для вывода
    log("Пример сообщения")
    

    В контейнере выведенные строки будут доступны в логах, их можно просмотреть с помощью команды docker logs или эквивалентной команды для вашего контейнера.

  3. User

    Если через logging делать, то будет в контейнера логи попадать информация?

  4. Assistant

    Да, если использовать модуль logging вместо print() для вывода сообщений, то логи будут попадать в вывод контейнера.

    Вот пример использования модуля logging:

    import logging
    
    # Настройка логгера
    logger = logging.getLogger(__name__)
    logger.setLevel(logging.INFO)
    
    # Настройка обработчика, который выводит логи в стандартный вывод
    handler = logging.StreamHandler()
    handler.setLevel(logging.INFO)
    
    # Настройка форматирования логов
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    handler.setFormatter(formatter)
    
    # Добавление обработчика к логгеру
    logger.addHandler(handler)
    
    # Использование логгера для вывода сообщений
    logger.info('Пример сообщения')
    

    Когда вы запустите контейнер с этим кодом, вы увидите логи в выводе контейнера. Вы также можете настроить логирование в файл или в другие места через соответствующие обработчики модуля logging.

  5. User

    import json import logging from concurrent.futures import ThreadPoolExecutor

    from kafka import KafkaConsumer

    from kafka.errors import CommitFailedError

    class Consumer: logger = logging.getLogger(name)

    def __init__(
            self, topic, broker="kafka:9092",
            clear_messages=False, threads=1):
        self.consumer = None
        self.topic = topic
        self.broker = broker
        self.group_id = "group"
        self.clear_messages = clear_messages
        self.max_workers = threads
    
        if threads > 6:
            self.logger.warning(f"Sorry, max threads: {6}")
            self.max_workers = 6
    
        self.pool = ThreadPoolExecutor(max_workers=self.max_workers)
        self.connect()
    
    def activate_listener(self):
        try:
            self.subscribe_topic()
            for message in self.consumer:
                try:
                    if not self.clear_messages:
                        self.pool.submit(self.process, message)
                    else:
                        self.logger.info("Ack")
                    self.consumer.commit()
                except Exception as e:
                    self.logger.error(f"1Unexpected error: {e}")
        except CommitFailedError:
            self.logger.error(f"Commit error, please reconnect to kafka group")
            self._reconnect()
        except Exception as e:
            self.logger.error(f"2Unexpected error: {e}")
    
    def _reconnect(self):
        if self.consumer:
            self.consumer.close()
            self.consumer = None
        self.connect()
        self.activate_listener()
    
    def stop(self):
        self.consumer.close()
        self.logger.info("Consumer is closed")
    
    def subscribe_topic(self):
        self.consumer.subscribe([self.topic])
        self.logger.info("Consumer is listening")
    
    def connect(self):
        self.consumer = KafkaConsumer(
            bootstrap_servers=self.broker,
            group_id=self.group_id,
            auto_offset_reset="latest",
            enable_auto_commit=False,
            api_version=(2, 1, 0),
            value_deserializer=lambda m: json.loads(m.decode("ascii"))
        )
    
    def process(self, message):
        result = self.on_message(message)
        if result:
            self.logger.info("ack")
        else:
            self.logger.info("reject")
    
    def on_message(self, message):
        pass
    

    class VideoUploadConsumer(Consumer): """ A child consumer to get messages about uploaded videos from kafka. Uploads video to s3 service, creates db row. """ def on_message(self, message): """ Uploads video to s3 service, creates db row. Args: message (dict): message from kafka publisher

        Returns:
            bool: True if identify user done else False
        """
        try:
            self.logger.info(f"id: {message.value['test']}")
            return True
        except AssertionError as e:
            self.logger.error(f"Assertion error: {e}")
            return False
    

    Почему в логах контейнера нет никаких записей?????

  6. Assistant

    В вашем коде отсутствуют настройки для вывода логов в контейнер.

    Для настройки логирования в контейнере Docker вам нужно добавить обработчик StreamHandler к корневому логгеру и настроить форматирование логов. Вот пример, как это можно сделать:

    import logging
    
    # Настройка логгера
    root_logger = logging.getLogger()
    root_logger.setLevel(logging.INFO)
    
    # Настройка обработчика, который выводит логи в стандартный вывод
    handler = logging.StreamHandler()
    handler.setLevel(logging.INFO)
    
    # Настройка форматирования логов
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    handler.setFormatter(formatter)
    
    # Добавление обработчика к логгеру
    root_logger.addHandler(handler)
    

    Вы можете добавить этот код в начало вашего файла или в другое место, где инициализируется код при запуске контейнера. Затем, логи должны начать выводиться в контейнер.

    Убедитесь также, что уровень логирования установлен правильно для корневого логгера или для логгера класса Consumer. В вашем коде, уровень логирования можно задать следующим образом:

    class Consumer:
        logger = logging.getLogger(__name__)
        logger.setLevel(logging.INFO)
        ...
    

    После этих изменений, вы должны увидеть логи в выводе контейнера.

  7. User

    s3: container_name: s3 image: minio/minio volumes: - ./data:/data environment: - MINIO_ACCESS_KEY=access-key - MINIO_SECRET_KEY=secret-key ports: - "9000:9000"

    Есть вот такой контейнер с s3, как я могу через питон загружать туда файлы и скачивать их? Напиши примеры такого кожа

  8. Assistant

    Чтобы загрузить файл в контейнер S3 и скачать его обратно с помощью Python, вам понадобится использовать библиотеку boto3, которая предоставляет API для работы с сервисом хранения данных Amazon S3.

    Вот примеры загрузки файла в S3 и скачивания его обратно:

    Загрузка файла в S3:

    import boto3
    
    # Создаем клиент для работы с S3
    s3_client = boto3.client('s3',
                             endpoint_url='http://localhost:9000',
                             aws_access_key_id='access-key',
                             aws_secret_access_key='secret-key')
    
    # Указываем имя бакета и ключ (путь) к файлу в S3
    bucket_name = 'my-bucket'
    object_key = 'path/to/file.txt'
    
    # Загружаем файл в S3
    s3_client.upload_file('path/to/local/file.txt', bucket_name, object_key)
    

    Скачивание файла из S3:

    import boto3
    
    # Создаем клиент для работы с S3
    s3_client = boto3.client('s3',
                             endpoint_url='http://localhost:9000',
                             aws_access_key_id='access-key',
                             aws_secret_access_key='secret-key')
    
    # Указываем имя бакета и ключ (путь) к файлу в S3
    bucket_name = 'my-bucket'
    object_key = 'path/to/file.txt'
    
    # Скачиваем файл из S3
    s3_client.download_file(bucket_name, object_key, 'path/to/local/file.txt')
    

    В обоих примерах вам нужно заменить endpoint_url, aws_access_key_id, aws_secret_access_key, bucket_name, object_key на соответствующие значения для вашего контейнера S3. Убедитесь, что у вас установлена библиотека boto3 (можно установить с помощью команды pip install boto3).