Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

пофикси баг 2024-10-22 22:15:34,967 ERROR:Ошибка парсинга результатов батча 3:…

  1. User

    пофикси баг 2024-10-22 22:15:34,967 ERROR:Ошибка парсинга результатов батча 3: 'cached_tokens' def parse_results(result_content): results = [] for line in result_content.decode('utf-8').splitlines(): result = json.loads(line) # Извлекаем содержание и использование токенов, если они есть response_content = result.get('response', {}).get('body', {}) choices = response_content.get('choices', []) usage = response_content.get('usage', {})

        if choices:
            content = choices[0].get('message', {}).get('content', '')
        else:
            content = ''
    
        result_dict = {
            'custom_id': result.get('custom_id', ''),
            'content': content,
            'prompt_tokens': usage.get('prompt_tokens', 0),
            'completion_tokens': usage.get('completion_tokens', 0),
            'cached_tokens': usage['prompt_tokens_details']['cached_tokens'],      
            'total_tokens': usage.get('total_tokens', 0)
        }
        results.append(result_dict)
    return results
    
  2. Assistant

    Ошибка, упомянутая в вашем лог-сообщении, вероятно, происходит из-за использования ключа 'cached_tokens' в словаре, который отсутствует в данных. Чтобы исправить эту ошибку, нужно убедиться, что 'cached_tokens' существует в usage['prompt_tokens_details'], прежде чем пытаться получить его значение.

    Вот исправленный код:

    import json  # Убедитесь, что модуль json импортирован
    
    def parse_results(result_content):
        results = []
        for line in result_content.decode('utf-8').splitlines():
            result = json.loads(line)
            # Извлекаем содержание и использование токенов, если они есть
            response_content = result.get('response', {}).get('body', {})
            choices = response_content.get('choices', [])
            usage = response_content.get('usage', {})
    
            if choices:
                content = choices[0].get('message', {}).get('content', '')
            else:
                content = ''
    
            # Проверяем, существует ли 'prompt_tokens_details' и 'cached_tokens'
            prompt_tokens_details = usage.get('prompt_tokens_details', {})
            cached_tokens = prompt_tokens_details.get('cached_tokens', 0)
    
            result_dict = {
                'custom_id': result.get('custom_id', ''),
                'content': content,
                'prompt_tokens': usage.get('prompt_tokens', 0),
                'completion_tokens': usage.get('completion_tokens', 0),
                'cached_tokens': cached_tokens,
                'total_tokens': usage.get('total_tokens', 0)
            }
            results.append(result_dict)
        return results
    

    В этом обновлении мы добавили проверку существования 'prompt_tokens_details' и 'cached_tokens'. Если 'cached_tokens' отсутствует, мы задаем ему значение по умолчанию 0. Это предотвратит возникновение ошибки KeyError в случае отсутствия данных.