Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· OpenAIAi2 WildChat-4.8M (AI2)

import logging import uuid from concurrent.futures import ThreadPoolExecutor import cv2…

  1. User

    import logging import uuid from concurrent.futures import ThreadPoolExecutor

    import cv2

    from libs.face_recognition import ALG

    import numpy as np

    from settings import NUM_MAX_THREADS, BASE_DIR

    class FaceRecognition: """Service for using face recognition.""" def init(self, video_path, threshold=80): """ Sets model's parameters. Args: video_path (str): path to video threshold (int): model's threshold """ self.face_cascade_path = cv2.data.haarcascades + ALG self.face_cascade = cv2.CascadeClassifier(self.face_cascade_path) self.faces_list = [] self.names_list = [] self.threshold = 80 self.video_path = video_path self.video = cv2.VideoCapture(self.video_path)

    def process(self):
        """
        Process of recognition faces in video by frames.
        Writes id as uuid4.
        Returns:
            tuple: with list of faces and list of names
        """
        pool = ThreadPoolExecutor(max_workers=NUM_MAX_THREADS)
    
        frame_num = 1
        while True:
            ret, frame = self.video.read()
            logging.info(
                f"\n---------\n"
                f"Frame: {frame_num}\n"
                f"Video: {self.video_path}\n"
                "----------"
            )
            if not ret:
                break
    
            frame_num += 1
            pool.submit(self._process_frame, frame)
    
        pool.shutdown()
        self._close()
        logging.info(f"Video with path {self.video_path} ready!")
        return self.faces_list, self.names_list
    
    def _process_frame(self, frame):
        """
        Frame processing.
        Args:
            frame (cv2.typing.MatLike): cv2 frame
    
        Returns:
            None:
        """
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        faces = self.face_cascade.detectMultiScale(
            gray, scaleFactor=1.1, minNeighbors=5, minSize=(100, 100))
    
        for (x, y, w, h) in faces:
            cur_face = gray[y:y + h, x:x + w]
            rec = cv2.face.LBPHFaceRecognizer.create()
            rec.train([cur_face], np.array(0))
            f = True
            for face in self.faces_list:
                _, confidence = rec.predict(face)
                if confidence < self.threshold:
                    f = False
    
            if f:
                label = uuid.uuid4()
                self.faces_list.append(cur_face)
                self.names_list.append(label)
    
    def _close(self):
        """
        Closes video and destroys all windows.
        Returns:
            None:
        """
        self.video.release()
        cv2.destroyAllWindows()
    

    Есть такой код для обработки видеороликов, а есть консюминг процесс из кафки:

    class FaceRecognitionConsumer(Consumer): """ A child consumer to get messages about videos which needed to processing of recognition from kafka. """ def on_message(self, message): """ Starts process of recognition. Args: message (dict): message from kafka publisher

        Returns:
            bool: True if file has been uploaded to s3,
                db row has been created else False
        """
        try:
            filepath = message.value.get("filepath")
            face_recognition = FaceRecognition(filepath)
            faces_list, names_list = face_recognition.process()
            logging.info(f"faces_list: {faces_list}")
            logging.info(f"names_list: {names_list}")
            return True
        except AssertionError as e:
            self.logger.error(f"Assertion error: {e}")
            return False
    

    Как мне сделать такие эндпоинты, чтобы я мог остановить процесс обработки видео, запомнить кадр, а потом, допустим, продолжить с того же места?

  2. Assistant

    Для реализации возможности остановки и возобновления процесса обработки видео, а также запоминания последнего обработанного кадра, можно внести следующие изменения в код:

    1. Создайте переменную self.current_frame в классе FaceRecognition. Инициализируйте ее значением 0 в методе __init__.
    self.current_frame = 0
    
    1. Измените метод _process_frame класса FaceRecognition, чтобы он принимал дополнительный аргумент frame_num:
    def _process_frame(self, frame_num, frame):
    
    1. Внутри метода _process_frame передвигайте указатель видео на нужный кадр, если frame_num меньше self.current_frame. Для этого используйте метод self.video.set(cv2.CAP_PROP_POS_FRAMES, frame_num).
    def _process_frame(self, frame_num, frame):
        if frame_num < self.current_frame:
            self.video.set(cv2.CAP_PROP_POS_FRAMES, frame_num)
            self.current_frame = frame_num
        ...
    
    1. В конструкторе класса FaceRecognitionConsumer добавьте переменную self.frame_to_resume и инициализируйте ее значением None.
    def __init__(self):
        super().__init__()
        self.frame_to_resume = None
    
    1. В методе on_message класса FaceRecognitionConsumer добавьте проверку, если self.frame_to_resume не равно None, то передайте это значение в метод process класса FaceRecognition.
    def on_message(self, message):
        filepath = message.value.get("filepath")
        face_recognition = FaceRecognition(filepath)
    
        if self.frame_to_resume is not None:
            face_recognition.current_frame = self.frame_to_resume
    
        faces_list, names_list = face_recognition.process()
        logging.info(f"faces_list: {faces_list}")
        logging.info(f"names_list: {names_list}")
    
        self.frame_to_resume = face_recognition.current_frame
        return True
    

    Теперь, чтобы остановить обработку видео и запомнить последний обработанный кадр, нужно установить значение self.frame_to_resume в месте, где вы хотите остановить, например, при возникновении некоторого события. Затем, когда будет запущена обработка видео снова, она будет продолжена с нужного места.

  3. User

    А как должен выглядеть эндпоинт, который останавливает консюминг и заносит в бд запись о последнем кадре?

  4. Assistant

    Для реализации эндпоинта, который останавливает консьюминг и заносит в базу данных запись о последнем обработанном кадре, вам понадобится использовать фреймворк для создания веб-сервисов, например, Flask.

    Вот пример реализации такого эндпоинта используя Flask:

    from flask import Flask, request
    
    app = Flask(__name__)
    
    # Создаем переменную для хранения состояния консьюмера
    consumer_state = {
        'is_running': False,
        'frame_to_resume': None
    }
    
    
    @app.route('/stop_consumer', methods=['POST'])
    def stop_consumer():
        # Проверяем, является ли консьюмер активным
        if not consumer_state['is_running']:
            return 'Consumer is not running'
    
        # Останавливаем консьюмер
        consumer_state['is_running'] = False
    
        # Заносим в базу данных запись о последнем обработанном кадре
        frame_to_resume = consumer_state['frame_to_resume']
        # Здесь выполняйте логику сохранения записи в базу данных
    
        return 'Consumer stopped successfully'
    
    
    @app.route('/start_consumer', methods=['POST'])
    def start_consumer():
        # Проверяем, является ли консьюмер уже активным
        if consumer_state['is_running']:
            return 'Consumer is already running'
    
        # Получаем значение frame_to_resume из запроса
        frame_to_resume = int(request.form['frame_to_resume'])
    
        # Запускаем консьюмер, передаем ему значение frame_to_resume
        consumer_state['is_running'] = True
        consumer_state['frame_to_resume'] = frame_to_resume
    
        return 'Consumer started successfully'
    
    
    if __name__ == '__main__':
        app.run()
    

    В этом примере представлено два эндпоинта: /stop_consumer и /start_consumer. При вызове эндпоинта /stop_consumer, консьюмер будет остановлен, и значение frame_to_resume будет сохранено в базе данных. При вызове эндпоинта /start_consumer консьюмер будет запущен с указанным значением frame_to_resume.

    Примечание: В этом примере я использовал POST методы для безопасности и передачи значения frame_to_resume. Вы можете настроить это в соответствии с вашими потребностями.