пофикси баг 2024-10-22 22:15:34,967 ERROR:Ошибка парсинга результатов батча 3:…
- User
пофикси баг 2024-10-22 22:15:34,967 ERROR:Ошибка парсинга результатов батча 3: 'cached_tokens' def parse_results(result_content): results = [] for line in result_content.decode('utf-8').splitlines(): result = json.loads(line) # Извлекаем содержание и использование токенов, если они есть response_content = result.get('response', {}).get('body', {}) choices = response_content.get('choices', []) usage = response_content.get('usage', {})
if choices: content = choices[0].get('message', {}).get('content', '') else: content = '' result_dict = { 'custom_id': result.get('custom_id', ''), 'content': content, 'prompt_tokens': usage.get('prompt_tokens', 0), 'completion_tokens': usage.get('completion_tokens', 0), 'cached_tokens': usage['prompt_tokens_details']['cached_tokens'], 'total_tokens': usage.get('total_tokens', 0) } results.append(result_dict) return results - Assistant
Ошибка, упомянутая в вашем лог-сообщении, вероятно, происходит из-за использования ключа
'cached_tokens'в словаре, который отсутствует в данных. Чтобы исправить эту ошибку, нужно убедиться, что'cached_tokens'существует вusage['prompt_tokens_details'], прежде чем пытаться получить его значение.Вот исправленный код:
import json # Убедитесь, что модуль json импортирован def parse_results(result_content): results = [] for line in result_content.decode('utf-8').splitlines(): result = json.loads(line) # Извлекаем содержание и использование токенов, если они есть response_content = result.get('response', {}).get('body', {}) choices = response_content.get('choices', []) usage = response_content.get('usage', {}) if choices: content = choices[0].get('message', {}).get('content', '') else: content = '' # Проверяем, существует ли 'prompt_tokens_details' и 'cached_tokens' prompt_tokens_details = usage.get('prompt_tokens_details', {}) cached_tokens = prompt_tokens_details.get('cached_tokens', 0) result_dict = { 'custom_id': result.get('custom_id', ''), 'content': content, 'prompt_tokens': usage.get('prompt_tokens', 0), 'completion_tokens': usage.get('completion_tokens', 0), 'cached_tokens': cached_tokens, 'total_tokens': usage.get('total_tokens', 0) } results.append(result_dict) return resultsВ этом обновлении мы добавили проверку существования
'prompt_tokens_details'и'cached_tokens'. Если'cached_tokens'отсутствует, мы задаем ему значение по умолчанию0. Это предотвратит возникновение ошибкиKeyErrorв случае отсутствия данных.