проанализируй причину ошибки передачи данных triton серверу ошибка Response:…
- User
проанализируй причину ошибки передачи данных triton серверу
ошибка Response: {"detail":"Error [<class 'TypeError'>] processing request: array([[[105, 10 22]],\n\n [[ 35, 27, 31],\n [ 40, 32, 35],\n [ 40, 32, 35],\n ...,\n [ 28, 21, 22],\n [ 28, 21, 22],\n [ 28, 21, 22]]], dtype=uint8) has type <class 'numpy.ndarray'>, but expected one of: (<class 'bytes'>,)"}
код для предобработки
def preprocess(self, body: Union[bytes, dict], state: dict, collect_custom_statistics_fn): try: if isinstance(body, bytes): return np.array([body], dtype="object").reshape((-1, 1)) if isinstance(body, dict): if 'videoUrl' in body: self.video_url = body['videoUrl'] video_bytes = self.video_url.encode('utf-8') elif 'video' in body: video_bytes = base64.b64decode(body['video']) else: raise Exception('Video url not found in request') face_conf_search = body.get('face_conf_search_thr', 0.75) face_conf_reference = body.get('face_conf_reference_thr', 0.6) num_neighbors = body.get('num_neighbors', 5) self.ids_user_actors = {} actors_photo = [] actor_ids = [] if 'actor_faces' in body: for i, (actor_id, actor_images) in enumerate(body['actor_faces'].items()): actor_images = [self.base64_to_cv2(im) for im in actor_images] actors_photo.extend(actor_images) actor_ids.extend([i] * len(actor_images)) self.ids_user_actors[i] = actor_id if len(actors_photo) == 0: raise Exception('Please provide at least one actor image to reference') return [np.array([video_bytes], dtype="object").reshape((-1, 1)), np.array([face_conf_search, face_conf_reference, num_neighbors], dtype="float32").reshape((-1, 1)), np.array(actor_ids, dtype="int32").reshape((-1, 1)), np.array(actors_photo, dtype='object') ]команда для поднятия модели clearml-serving --id 5a6ad59194af4413a9435d30677f2396 model add --engine triton --endpoint "face_search" --model-id 93aa2c0f575a4a34ab9fcbdcb22ad4b7 --preprocess "C:\Users\vlad\work\ml_serving\src\preprocessing\preprocess_face_search.py" --input-size "[-1, 1]" "[-1, 1]" "[-1, 1]" "[-1]" --input-name "video_url" "alg_params" "actor_ids" "actors_photo" --input-type object float32 int32 object --output-size "[-1, -1]" "[-1, -1]" --output-name "detects" "metadata" --output-type float16 float32
Assistant
Ошибка в вашем коде связана с несоответствием типов данных при передаче массива numpy в Triton сервер. Давайте разберём проблему и предложим решение.
Причина ошибки:
- В ошибке указано, что Triton сервер ожидает данные типа
bytes, но получаетnumpy.ndarray. - В вашем коде вы возвращаете список numpy массивов, но Triton сервер ожидает, что входные данные будут в формате, который он может обработать (обычно это байты или другие сериализованные форматы).
Проблемы в коде:
- В функции
preprocessвы возвращаете список numpy массивов, но не преобразуете их в формат, который ожидает Triton. - Для входных данных типа
objectв Triton обычно требуется передавать их как байты или в другом сериализованном формате.
Решение:
- Вам нужно преобразовать numpy массивы в формат, который ожидает Triton. Для типа
objectэто обычно байты. - Для массивов изображений (
actors_photo) нужно убедиться, что они правильно сериализованы.
Вот исправленная версия функции
preprocess:def preprocess(self, body: Union[bytes, dict], state: dict, collect_custom_statistics_fn): try: if isinstance(body, bytes): return np.array([body], dtype="object").reshape((-1, 1)) if isinstance(body, dict): if 'videoUrl' in body: self.video_url = body['videoUrl'] video_bytes = self.video_url.encode('utf-8') elif 'video' in body: video_bytes = base64.b64decode(body['video']) else: raise Exception('Video url not found in request') face_conf_search = body.get('face_conf_search_thr', 0.75) face_conf_reference = body.get('face_conf_reference_thr', 0.6) num_neighbors = body.get('num_neighbors', 5) self.ids_user_actors = {} actors_photo = [] actor_ids = [] if 'actor_faces' in body: for i, (actor_id, actor_images) in enumerate(body['actor_faces'].items()): actor_images = [self.base64_to_cv2(im) for im in actor_images] # Преобразуем изображения в байты actors_photo.extend([im.tobytes() for im in actor_images]) actor_ids.extend([i] * len(actor_images)) self.ids_user_actors[i] = actor_id if len(actors_photo) == 0: raise Exception('Please provide at least one actor image to reference') # Возвращаем данные в формате, который ожидает Triton return [ np.array([video_bytes], dtype="object").reshape((-1, 1)), np.array([face_conf_search, face_conf_reference, num_neighbors], dtype="float32").reshape((-1, 1)), np.array(actor_ids, dtype="int32").reshape((-1, 1)), np.array(actors_photo, dtype='object').reshape((-1, 1)) # Добавляем reshape для соответствия input-size ]Дополнительные рекомендации:
- Убедитесь, что функция
base64_to_cv2возвращает изображения в правильном формате. - Проверьте, что размерности выходных данных соответствуют ожиданиям модели (в команде указаны
input-size). - Для типа
objectв Triton часто требуется дополнительная обработка, поэтому убедитесь, что ваша модель на стороне Triton может правильно десериализовать эти данные. - Рассмотрите возможность использования
pickleдля сериализации сложных объектов, если это поддерживается вашей моделью.
Если проблема сохраняется, вам может потребоваться:
- Проверить документацию вашей модели в Triton на предмет ожидаемых форматов входных данных.
- Убедиться, что версия Triton сервера поддерживает передачу данных типа
object. - Рассмотреть возможность изменения типа входных данных в команде запуска модели, если это возможно.
- В ошибке указано, что Triton сервер ожидает данные типа
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.