Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

(Внесите в код возможность сохранять в отдельном файле количество сообщений,…

  1. User

    (Внесите в код возможность сохранять в отдельном файле количество сообщений, отправленных каждым пользователем. Таким образом, будет создано два дополнительных файла: 1. с очищенными данными и 2. со статистикой.)

    -- coding: utf-8 --

    import json import os

    def clean_messages(input_file_path, output_file_path): # Проверяем, существует ли входной файл if not os.path.exists(input_file_path): print(f"Входной файл '{input_file_path}' не найден.") return

    try:
        # Открываем и загружаем исходный JSON-файл
        with open(input_file_path, 'r', encoding='utf-8') as infile:
            data = json.load(infile)
    except json.JSONDecodeError as e:
        print(f"Ошибка декодирования JSON: {e}")
        return
    
    cleaned_messages = []
    
    # Проходим по всем сообщениям
    for message in data.get('messages', []):
        # Создаем словарь с необходимыми полями
        cleaned_message = {
            'id': message.get('id'),
            'date': message.get('date'),
            'from': message.get('from'),
            'text': ''
        }
    
        # Обрабатываем поле 'text', объединяя все текстовые элементы
        text_content = message.get('text', '')
        cleaned_message['text'] = extract_text(text_content)
    
        # Добавляем очищенное сообщение в список
        cleaned_messages.append(cleaned_message)
    
    # Сохраняем очищенные данные в новый файл
    try:
        with open(output_file_path, 'w', encoding='utf-8') as outfile:
            json.dump({'messages': cleaned_messages}, outfile, ensure_ascii=False, indent=2)
        print(f"Очищенные данные успешно сохранены в '{output_file_path}'.")
    except Exception as e:
        print(f"Ошибка при сохранении файла: {e}")
    

    def extract_text(text_content): """ Извлекает текст из поля 'text', которое может быть строкой, списком или словарем. """ if isinstance(text_content, str): return text_content elif isinstance(text_content, list): text_parts = [] for item in text_content: if isinstance(item, str): text_parts.append(item) elif isinstance(item, dict) and 'text' in item: text_parts.append(item['text']) return ''.join(text_parts) elif isinstance(text_content, dict) and 'text' in text_content: return text_content['text'] else: return ''

    if name == "main": input_file = r"C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-22\result.json" output_file = r'C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-22\cleaned_result.json' clean_messages(input_file, output_file)

  2. Assistant

    Здравствуйте!

    Я внес необходимые изменения в ваш код, чтобы он сохранял в отдельном файле количество сообщений, отправленных каждым пользователем. Теперь при запуске скрипта будут созданы два дополнительных файла: один с очищенными данными, другой — со статистикой.

    Вот обновленный код:

    # -*- coding: utf-8 -*-
    
    import json
    import os
    
    def clean_messages(input_file_path, output_file_path, stats_file_path):
        # Проверяем, существует ли входной файл
        if not os.path.exists(input_file_path):
            print(f"Входной файл '{input_file_path}' не найден.")
            return
    
        try:
            # Открываем и загружаем исходный JSON-файл
            with open(input_file_path, 'r', encoding='utf-8') as infile:
                data = json.load(infile)
        except json.JSONDecodeError as e:
            print(f"Ошибка декодирования JSON: {e}")
            return
    
        cleaned_messages = []
        user_message_counts = {}
    
        # Проходим по всем сообщениям
        for message in data.get('messages', []):
            # Получаем имя пользователя из поля 'from'
            user = message.get('from', 'Неизвестный пользователь')
    
            # Обновляем счетчик сообщений для пользователя
            if user in user_message_counts:
                user_message_counts[user] += 1
            else:
                user_message_counts[user] = 1
    
            # Создаем словарь с необходимыми полями
            cleaned_message = {
                'id': message.get('id'),
                'date': message.get('date'),
                'from': user,
                'text': ''
            }
    
            # Обрабатываем поле 'text', объединяя все текстовые элементы
            text_content = message.get('text', '')
            cleaned_message['text'] = extract_text(text_content)
    
            # Добавляем очищенное сообщение в список
            cleaned_messages.append(cleaned_message)
    
        # Сохраняем очищенные данные в новый файл
        try:
            with open(output_file_path, 'w', encoding='utf-8') as outfile:
                json.dump({'messages': cleaned_messages}, outfile, ensure_ascii=False, indent=2)
            print(f"Очищенные данные успешно сохранены в '{output_file_path}'.")
        except Exception as e:
            print(f"Ошибка при сохранении файла: {e}")
    
        # Сохраняем статистику в отдельный файл
        try:
            with open(stats_file_path, 'w', encoding='utf-8') as stats_file:
                json.dump(user_message_counts, stats_file, ensure_ascii=False, indent=2)
            print(f"Статистика успешно сохранена в '{stats_file_path}'.")
        except Exception as e:
            print(f"Ошибка при сохранении файла статистики: {e}")
    
    def extract_text(text_content):
        """
        Извлекает текст из поля 'text', которое может быть строкой, списком или словарем.
        """
        if isinstance(text_content, str):
            return text_content
        elif isinstance(text_content, list):
            text_parts = []
            for item in text_content:
                if isinstance(item, str):
                    text_parts.append(item)
                elif isinstance(item, dict) and 'text' in item:
                    text_parts.append(item['text'])
            return ''.join(text_parts)
        elif isinstance(text_content, dict) and 'text' in text_content:
            return text_content['text']
        else:
            return ''
    
    if __name__ == "__main__":
        input_file = r"C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-22\result.json"
        output_file = r'C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-22\cleaned_result.json'
        stats_file = r'C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-22\user_statistics.json'
        clean_messages(input_file, output_file, stats_file)
    

    Пояснения к изменениям:

    1. Добавлен новый параметр stats_file_path в функцию clean_messages, который указывает путь к файлу со статистикой сообщений.

    2. Создан словарь user_message_counts для подсчета сообщений пользователей.

      • При обработке каждого сообщения мы получаем имя пользователя из поля 'from'.
      • Если пользователь уже есть в словаре, увеличиваем счетчик на 1.
      • Если нет, добавляем пользователя в словарь с начальным значением 1.
    3. После очистки данных сохраняем статистику в отдельный файл:

      • Открываем файл по пути stats_file_path для записи.
      • Используем json.dump для сохранения словаря user_message_counts в формате JSON.
      • Добавлено информативное сообщение об успешном сохранении или ошибке.
    4. В блоке if __name__ == "__main__": добавлен путь к файлу статистики stats_file, который передается в функцию clean_messages.

    В результате выполнения скрипта будут созданы два дополнительных файла:

    1. cleaned_result.json — файл с очищенными данными сообщений.
    2. user_statistics.json — файл со статистикой количества сообщений, отправленных каждым пользователем.

    Пример содержимого файла user_statistics.json:

    {
      "Иван Иванов": 120,
      "Петр Петров": 85,
      "Неизвестный пользователь": 5
    }
    

    Важно: Если в сообщении отсутствует поле 'from', пользователю будет присвоено имя 'Неизвестный пользователь'.

    Примечание: Убедитесь, что указанные пути к файлам существуют и у вас есть необходимые права на запись в эти директории.

    Надеюсь, это поможет! Если у вас возникнут дополнительные вопросы или проблемы, пожалуйста, дайте мне знать.