Skip to content
TheChatArchiveThe Chat Archive
Mistralmistral-medium-2505· Mistral AIHugging Face LMArena Human Preference 140K

проанализируй причину ошибки передачи данных triton серверу ошибка Response:…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with o4-mini-2025-04-16’s answer.
  1. User

    проанализируй причину ошибки передачи данных triton серверу

    ошибка Response: {"detail":"Error [<class 'TypeError'>] processing request: array([[[105, 10 22]],\n\n [[ 35, 27, 31],\n [ 40, 32, 35],\n [ 40, 32, 35],\n ...,\n [ 28, 21, 22],\n [ 28, 21, 22],\n [ 28, 21, 22]]], dtype=uint8) has type <class 'numpy.ndarray'>, but expected one of: (<class 'bytes'>,)"}

    код для предобработки

    def preprocess(self, body: Union[bytes, dict], state: dict, collect_custom_statistics_fn):
            try:
                if isinstance(body, bytes):
                    return np.array([body], dtype="object").reshape((-1, 1))
    
                if isinstance(body, dict):
                    if 'videoUrl' in body:
                        self.video_url = body['videoUrl']
                        video_bytes = self.video_url.encode('utf-8')
                        
                    elif 'video' in body:
                        video_bytes = base64.b64decode(body['video'])
                    else:
                        raise Exception('Video url not found in request')
    
                    face_conf_search = body.get('face_conf_search_thr', 0.75)
                    face_conf_reference = body.get('face_conf_reference_thr', 0.6)
                    num_neighbors = body.get('num_neighbors', 5)
    
                    self.ids_user_actors = {}
    
                    actors_photo = []
                    actor_ids = []
                    if 'actor_faces' in body:
                        for i, (actor_id, actor_images) in enumerate(body['actor_faces'].items()):
                            actor_images = [self.base64_to_cv2(im) for im in  actor_images]
                            actors_photo.extend(actor_images)
                            actor_ids.extend([i] * len(actor_images))
                            
                            self.ids_user_actors[i] = actor_id
    
                    if len(actors_photo) == 0:
                        raise Exception('Please provide at least one actor image to reference')
    
                    return [np.array([video_bytes], dtype="object").reshape((-1, 1)),
                            np.array([face_conf_search, face_conf_reference, num_neighbors], dtype="float32").reshape((-1, 1)),
                            np.array(actor_ids, dtype="int32").reshape((-1, 1)),
                            np.array(actors_photo, dtype='object')
                            ]
    

    команда для поднятия модели clearml-serving --id 5a6ad59194af4413a9435d30677f2396 model add --engine triton --endpoint "face_search" --model-id 93aa2c0f575a4a34ab9fcbdcb22ad4b7 --preprocess "C:\Users\vlad\work\ml_serving\src\preprocessing\preprocess_face_search.py" --input-size "[-1, 1]" "[-1, 1]" "[-1, 1]" "[-1]" --input-name "video_url" "alg_params" "actor_ids" "actors_photo" --input-type object float32 int32 object --output-size "[-1, -1]" "[-1, -1]" --output-name "detects" "metadata" --output-type float16 float32

  2. Mistral Assistant

    Ошибка в вашем коде связана с несоответствием типов данных при передаче массива numpy в Triton сервер. Давайте разберём проблему и предложим решение.

    Причина ошибки:

    1. В ошибке указано, что Triton сервер ожидает данные типа bytes, но получает numpy.ndarray.
    2. В вашем коде вы возвращаете список numpy массивов, но Triton сервер ожидает, что входные данные будут в формате, который он может обработать (обычно это байты или другие сериализованные форматы).

    Проблемы в коде:

    1. В функции preprocess вы возвращаете список numpy массивов, но не преобразуете их в формат, который ожидает Triton.
    2. Для входных данных типа object в Triton обычно требуется передавать их как байты или в другом сериализованном формате.

    Решение:

    1. Вам нужно преобразовать numpy массивы в формат, который ожидает Triton. Для типа object это обычно байты.
    2. Для массивов изображений (actors_photo) нужно убедиться, что они правильно сериализованы.

    Вот исправленная версия функции preprocess:

    def preprocess(self, body: Union[bytes, dict], state: dict, collect_custom_statistics_fn):
        try:
            if isinstance(body, bytes):
                return np.array([body], dtype="object").reshape((-1, 1))
    
            if isinstance(body, dict):
                if 'videoUrl' in body:
                    self.video_url = body['videoUrl']
                    video_bytes = self.video_url.encode('utf-8')
    
                elif 'video' in body:
                    video_bytes = base64.b64decode(body['video'])
                else:
                    raise Exception('Video url not found in request')
    
                face_conf_search = body.get('face_conf_search_thr', 0.75)
                face_conf_reference = body.get('face_conf_reference_thr', 0.6)
                num_neighbors = body.get('num_neighbors', 5)
    
                self.ids_user_actors = {}
    
                actors_photo = []
                actor_ids = []
                if 'actor_faces' in body:
                    for i, (actor_id, actor_images) in enumerate(body['actor_faces'].items()):
                        actor_images = [self.base64_to_cv2(im) for im in actor_images]
                        # Преобразуем изображения в байты
                        actors_photo.extend([im.tobytes() for im in actor_images])
                        actor_ids.extend([i] * len(actor_images))
    
                        self.ids_user_actors[i] = actor_id
    
                if len(actors_photo) == 0:
                    raise Exception('Please provide at least one actor image to reference')
    
                # Возвращаем данные в формате, который ожидает Triton
                return [
                    np.array([video_bytes], dtype="object").reshape((-1, 1)),
                    np.array([face_conf_search, face_conf_reference, num_neighbors], dtype="float32").reshape((-1, 1)),
                    np.array(actor_ids, dtype="int32").reshape((-1, 1)),
                    np.array(actors_photo, dtype='object').reshape((-1, 1))  # Добавляем reshape для соответствия input-size
                ]
    

    Дополнительные рекомендации:

    1. Убедитесь, что функция base64_to_cv2 возвращает изображения в правильном формате.
    2. Проверьте, что размерности выходных данных соответствуют ожиданиям модели (в команде указаны input-size).
    3. Для типа object в Triton часто требуется дополнительная обработка, поэтому убедитесь, что ваша модель на стороне Triton может правильно десериализовать эти данные.
    4. Рассмотрите возможность использования pickle для сериализации сложных объектов, если это поддерживается вашей моделью.

    Если проблема сохраняется, вам может потребоваться:

    • Проверить документацию вашей модели в Triton на предмет ожидаемых форматов входных данных.
    • Убедиться, что версия Triton сервера поддерживает передачу данных типа object.
    • Рассмотреть возможность изменения типа входных данных в команде запуска модели, если это возможно.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.