import json import os import string import re from collections import defaultdict,…
- User
import json import os import string import re from collections import defaultdict, Counter from datetime import datetime
def load_json(file_path): if not os.path.exists(file_path): print(f"Входной файл '{file_path}' не найден.") return None try: with open(file_path, 'r', encoding='utf-8') as infile: return json.load(infile) except json.JSONDecodeError as e: print(f"Ошибка декодирования JSON: {e}") return None
def save_json(data, file_path): try: with open(file_path, 'w', encoding='utf-8') as outfile: json.dump(data, outfile, ensure_ascii=False, indent=2) print(f"Данные успешно сохранены в '{file_path}'.") except Exception as e: print(f"Ошибка при сохранении файла: {e}")
def save_html(content, file_path): try: with open(file_path, 'w', encoding='utf-8') as html_file: html_file.write(content) print(f"HTML отчет успешно сохранен в '{file_path}'.") except Exception as e: print(f"Ошибка при сохранении HTML файла: {e}")
def extract_text(text_content): if isinstance(text_content, str): return text_content elif isinstance(text_content, list): text_parts = [] for item in text_content: if isinstance(item, str): text_parts.append(item) elif isinstance(item, dict) and 'text' in item: text_parts.append(item['text']) return ''.join(text_parts) elif isinstance(text_content, dict) and 'text' in text_content: return text_content['text'] else: return ''
def tokenize_text(text): text = text.lower() text = text.translate(str.maketrans('', '', string.punctuation)) words = text.split() return words
def get_time_of_day(hour): if 6 <= hour < 12: return 'Утро' elif 12 <= hour < 18: return 'День' elif 18 <= hour < 24: return 'Вечер' else: return 'Ночь'
def analyze_data(data): cleaned_messages = [] user_message_counts = {} user_message_lengths = defaultdict(list) activity_by_hour = defaultdict(int) activity_by_weekday = defaultdict(int) activity_by_month = defaultdict(int) activity_by_time_of_day = defaultdict(int) word_counter = Counter() user_interactions = defaultdict(lambda: defaultdict(int)) duplicate_messages = defaultdict(int) forwarded_messages_count = 0 media_counts = defaultdict(int) user_media_counts = defaultdict(lambda: defaultdict(int)) mutual_mentions = defaultdict(Counter)
russian_stopwords = set([ 'и', 'в', 'во', 'не', 'что', 'он', 'на', 'я', 'с', 'со', 'как', 'а', 'то', 'все', 'она', 'так', 'его', 'но', 'да', 'ты', 'к', 'у', 'же', 'вы', 'за', 'бы', 'по', 'только', 'ее', 'мне', 'было', 'вот', 'от', 'меня', 'еще', 'нет', 'о', 'из', 'ему', 'теперь', 'когда', 'даже', 'ну', 'вдруг', 'ли', 'если', 'уже', 'или', 'ни', 'быть', 'был', 'него', 'до', 'вас', 'нибудь', 'опять', 'уж', 'вам', 'ведь', 'там', 'потом', 'себя', 'ничего', 'ей', 'может', 'они', 'тут', 'где', 'есть', 'надо', 'ней', 'для', 'мы', 'тебя', 'их', 'чем', 'была', 'сам', 'чтобы', 'без', 'будто', 'чего', 'раз', 'тоже', 'себе', 'под', 'будет', 'ж', 'тогда', 'кто', 'этот', 'того', 'потому', 'этого', 'какой', 'совсем', 'ним', 'здесь', 'этом', 'один', 'почти', 'мой', 'тем', 'чтобы', 'нее', 'кажется', 'сюда', 'туда', 'этой' ])
media_type_translations = { 'voice_message': 'голосовое сообщение', 'sticker': 'стикер', 'video_file': 'видео файл', 'video_message': 'видео сообщение', 'audio_file': 'аудио файл', 'photo': 'фотография', 'animation': 'анимация', 'document': 'документ', 'location': 'локация', 'contact': 'контакт', 'poll': 'опрос', 'game': 'игра', 'invoice': 'счёт', 'contact_registered': 'контакт зарегистрирован', }
users = set()
for message in data.get('messages', []): user = message.get('from', 'Неизвестный пользователь')
users.add(user) user_message_counts[user] = user_message_counts.get(user, 0) + 1 cleaned_message = { 'id': message.get('id'), 'date': message.get('date'), 'from': user, 'text': '', 'media_type': message.get('media_type', None) } text_content = message.get('text', '') cleaned_text = extract_text(text_content) cleaned_message['text'] = cleaned_text cleaned_messages.append(cleaned_message) # Анализ дублирующихся сообщений (только если текст не пустой) if cleaned_text.strip(): duplicate_key = (user, cleaned_text) duplicate_messages[duplicate_key] += 1 # Анализ пересланных сообщений if 'forwarded_from' in message: forwarded_messages_count += 1 # Анализ медиа сообщений media_type = message.get('media_type') if media_type: media_type_translated = media_type_translations.get(media_type, media_type) media_counts[media_type_translated] += 1 user_media_counts[user][media_type_translated] += 1 # Подсчет длины сообщений message_length = len(cleaned_text) user_message_lengths[user].append(message_length) # Анализ времени активности message_date_str = message.get('date') try: message_date = datetime.fromisoformat(message_date_str) hour = message_date.hour weekday = message_date.weekday() # Понедельник = 0 month = message_date.month # Январь = 1 time_of_day = get_time_of_day(hour) activity_by_hour[hour] += 1 activity_by_weekday[weekday] += 1 activity_by_month[month] += 1 activity_by_time_of_day[time_of_day] += 1 except (ValueError, TypeError): pass # Пропустить сообщения с некорректными датами # Анализ частотности слов words = tokenize_text(cleaned_text) words = [word for word in words if word.lower() not in russian_stopwords] word_counter.update(words) # Анализ упоминаний пользователей mentions = re.findall(r'@(\w+)', cleaned_text) for mention in mentions: mutual_mentions[user][mention] += 1 # Анализ взаимодействий между пользователями if 'reply_to_message_id' in message: reply_message_id = message['reply_to_message_id'] reply_message = next((m for m in data['messages'] if m['id'] == reply_message_id), None) if reply_message: reply_user = reply_message.get('from', 'Неизвестный пользователь') user_interactions[user][reply_user] += 1Обрезка дублирующихся сообщений
duplicates = {k: v for k, v in duplicate_messages.items() if v > 1}
return { 'cleaned_messages': cleaned_messages, 'user_message_counts': user_message_counts, 'user_message_lengths': user_message_lengths, 'activity_by_hour': dict(sorted(activity_by_hour.items())), 'activity_by_weekday': dict(sorted(activity_by_weekday.items())), 'activity_by_month': dict(sorted(activity_by_month.items())), 'activity_by_time_of_day': dict(sorted(activity_by_time_of_day.items())), 'word_counter': word_counter, 'user_interactions': user_interactions, 'duplicate_messages': duplicates, 'forwarded_messages_count': forwarded_messages_count, 'media_counts': media_counts, 'user_media_counts': user_media_counts, 'mutual_mentions': mutual_mentions, } def escape_html(text): replacements = { "&": "&", "<": "<", ">": ">", '"': """, "'": "'" } return ''.join(replacements.get(c, c) for c in text)
def generate_html(data): total_messages = len(data['cleaned_messages']) total_media_messages = sum(data['media_counts'].values()) user_average_lengths = {user: round(sum(lengths) / len(lengths), 2) if lengths else 0 for user, lengths in data['user_message_lengths'].items()} most_common_words = data['word_counter'].most_common(50) duplicate_count = sum(data['duplicate_messages'].values()) - len(data['duplicate_messages']) forwarded_messages = data['forwarded_messages_count'] media_counts = data['media_counts'] user_media_counts = data['user_media_counts'] mutual_mentions = data['mutual_mentions']
Для построения графиков
hours = list(data['activity_by_hour'].keys()) messages_per_hour = list(data['activity_by_hour'].values())
Для дней недели
weekdays = list(data['activity_by_weekday'].keys()) messages_per_weekday = list(data['activity_by_weekday'].values()) weekdays, messages_per_weekday = zip(*sorted(zip(weekdays, messages_per_weekday))) weekday_labels = ['Понедельник', 'Вторник', 'Среда', 'Четверг', 'Пятница', 'Суббота', 'Воскресенье'] weekdays = [weekday_labels[wd] for wd in weekdays]
Для месяцев
months = list(data['activity_by_month'].keys()) messages_per_month = list(data['activity_by_month'].values()) months, messages_per_month = zip(*sorted(zip(months, messages_per_month))) month_labels = ['Январь', 'Февраль', 'Март', 'Апрель', 'Май', 'Июнь', 'Июль', 'Август', 'Сентябрь', 'Октябрь', 'Ноябрь', 'Декабрь'] months = [month_labels[month - 1] for month in months]
time_of_day = list(data['activity_by_time_of_day'].keys()) messages_per_time_of_day = list(data['activity_by_time_of_day'].values())
Собираем все возможные типы медиа
all_media_types = set() for user_media in user_media_counts.values(): all_media_types.update(user_media.keys()) all_media_types = sorted(all_media_types)
html = f"""
<div class="summary"> <p><strong>Общее количество сообщений:</strong> {total_messages}</p> <p><strong>Общее количество медиа сообщений:</strong> {total_media_messages}</p> <p><strong>Количество дублирующихся сообщений:</strong> {duplicate_count}</p> <p><strong>Количество пересланных сообщений:</strong> {forwarded_messages}</p> </div> <h2>Количество Сообщений на Пользователя</h2> <table id="userMessagesTable" class="display"> <thead> <tr> <th>Пользователь</th> <th>Количество Сообщений</th> </tr> </thead> <tbody>"""
for user, count in sorted(data['user_message_counts'].items(), key=lambda x: x[1], reverse=True): html += f""" {escape_html(user)} {count} """ html += """
<h2>Анализ Медиа Сообщений</h2> <table id="mediaMessagesTable" class="display"> <thead> <tr> <th>Пользователь</th>"""
for media_type in all_media_types: html += f"{media_type}"
html += """ """
for user in data['user_message_counts'].keys(): html += f"{escape_html(user)}" user_media = user_media_counts.get(user, {}) for media_type in all_media_types: count = user_media.get(media_type, 0) html += f"{count}" html += ""
html += """
<h2>Средняя Длина Сообщений на Пользователя</h2> <table id="userAverageLengthsTable" class="display"> <thead> <tr> <th>Пользователь</th> <th>Средняя Длина Сообщения</th> </tr> </thead> <tbody>"""
for user, avg_len in sorted(user_average_lengths.items(), key=lambda x: x[1], reverse=True): html += f""" {escape_html(user)} {avg_len} """ html += """
<h2>Активность Пользователей</h2> <div class="chart-container"> <canvas id="activityByHourChart"></canvas> </div> <div class="chart-container"> <canvas id="activityByWeekdayChart"></canvas> </div> <div class="chart-container"> <canvas id="activityByMonthChart"></canvas> </div> <div class="chart-container"> <canvas id="activityByTimeOfDayChart"></canvas> </div> <h2>Частотный Анализ Слов (Топ-50)</h2> <table id="wordFrequencyTable" class="display"> <thead> <tr> <th>Слово</th> <th>Частота</th> </tr> </thead> <tbody>"""
for word, freq in most_common_words: html += f""" {escape_html(word)} {freq} """ html += """
<h2>Анализ Взаимодействий между Пользователями</h2> <div class="chart-container"> <canvas id="userInteractionsChart"></canvas> </div> <h2>Дублирующиеся Сообщения</h2> <table id="duplicateMessagesTable" class="display"> <thead> <tr> <th>Пользователь</th> <th>Текст Сообщения</th> <th>Количество Повторений</th> </tr> </thead> <tbody>"""
for (user, text), count in data['duplicate_messages'].items(): html += f""" {escape_html(user)} {escape_html(text)} {count} """ html += """
<h2>Взаимные Упоминания Пользователей</h2> <table id="mutualMentionsTable" class="display"> <thead> <tr> <th>Пользователь</th> <th>Упомянутый Пользователь</th> <th>Количество Упоминаний</th> </tr> </thead> <tbody>"""
for user, mentions in data['mutual_mentions'].items(): for mentioned_user, count in mentions.items(): html += f""" {escape_html(user)} {escape_html(mentioned_user)} {count} """ html += """
<script> // Данные для графиков активности const hours = """ + json.dumps(hours) + """; const messagesPerHour = """ + json.dumps(messages_per_hour) + """; const weekdays = """ + json.dumps(weekdays) + """; const messagesPerWeekday = """ + json.dumps(messages_per_weekday) + """; const months = """ + json.dumps(months) + """; const messagesPerMonth = """ + json.dumps(messages_per_month) + """; const timeOfDay = """ + json.dumps(time_of_day) + """; const messagesPerTimeOfDay = """ + json.dumps(messages_per_time_of_day) + """; // График активности по часам const ctxHour = document.getElementById('activityByHourChart').getContext('2d'); new Chart(ctxHour, {{ type: 'bar', data: {{ labels: hours, datasets: [{{ label: 'Количество Сообщений', data: messagesPerHour, backgroundColor: 'rgba(54, 162, 235, 0.6)', borderColor: 'rgba(54, 162, 235, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Часы' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Сообщений' }} }} }} }} }}); // График активности по дням недели const ctxWeekday = document.getElementById('activityByWeekdayChart').getContext('2d'); new Chart(ctxWeekday, {{ type: 'bar', data: {{ labels: weekdays, datasets: [{{ label: 'Количество Сообщений', data: messagesPerWeekday, backgroundColor: 'rgba(255, 99, 132, 0.6)', borderColor: 'rgba(255, 99, 132, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Дни Недели' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Сообщений' }} }} }} }} }}); // График активности по месяцам const ctxMonth = document.getElementById('activityByMonthChart').getContext('2d'); new Chart(ctxMonth, {{ type: 'bar', data: {{ labels: months, datasets: [{{ label: 'Количество Сообщений', data: messagesPerMonth, backgroundColor: 'rgba(75, 192, 192, 0.6)', borderColor: 'rgba(75, 192, 192, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Месяцы' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Сообщений' }} }} }} }} }}); // График активности по времени суток const ctxTimeOfDay = document.getElementById('activityByTimeOfDayChart').getContext('2d'); new Chart(ctxTimeOfDay, {{ type: 'bar', data: {{ labels: timeOfDay, datasets: [{{ label: 'Количество Сообщений', data: messagesPerTimeOfDay, backgroundColor: 'rgba(153, 102, 255, 0.6)', borderColor: 'rgba(153, 102, 255, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Время Суток' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Сообщений' }} }} }} }} }}); // График взаимодействий между пользователями const interactionLabels = """ + json.dumps(list(data['user_interactions'].keys())) + """; const interactionData = """ + json.dumps([sum(interactions.values()) for interactions in data['user_interactions'].values()]) + """; const ctxInteractions = document.getElementById('userInteractionsChart').getContext('2d'); new Chart(ctxInteractions, {{ type: 'bar', data: {{ labels: interactionLabels, datasets: [{{ label: 'Количество Взаимодействий', data: interactionData, backgroundColor: 'rgba(255, 159, 64, 0.6)', borderColor: 'rgba(255, 159, 64, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Пользователи' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Взаимодействий' }} }} }} }} }}); // Инициализация DataTables $(document).ready(function() { $('#userMessagesTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#userAverageLengthsTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#wordFrequencyTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#duplicateMessagesTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#mediaMessagesTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#mutualMentionsTable').DataTable({ "paging": false, "searching": true, "info": false }); }); </script>return html if name == "main":
Пути к файлам
input_file = r"C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-23 (1)\result.json" output_json = r"C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-23 (1)\cleaned_result.json" output_html = r"C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-23 (1)\chat_statistics.html"
data = load_json(input_file) if data: analyzed_data = analyze_data(data) save_json(analyzed_data['cleaned_messages'], output_json) html_content = generate_html(analyzed_data) save_html(html_content, output_html) (Активность пользователей и анализ взаимодействий между пользователями, ничего нет, графики не отображаются, исправь, и другие ошибки.)
- Assistant
Похоже, в вашем скрипте присутствуют несколько проблем, связанных с неправильной индентацией, некорректной обработкой HTML-символов, ошибками в блоке
main, а также потенциальными проблемами с парсингом дат. Эти ошибки могут приводить к тому, что графики не отображаются корректно. Ниже приведены рекомендации и исправленный код для решения этих проблем.Основные проблемы и их решения:
-
Неправильная индентация:
- Убедитесь, что все блоки кода внутри функций и условных операторов правильно отступлены. Неправильная индентация приведет к синтаксическим ошибкам.
-
Функция
escape_html:- В текущей реализации замены символов некорректны. Вместо создания собственной функции для экранирования HTML-символов рекомендуется использовать встроенную функцию
html.escapeиз модуляhtml.
- В текущей реализации замены символов некорректны. Вместо создания собственной функции для экранирования HTML-символов рекомендуется использовать встроенную функцию
-
Блок
main:- Условие
if name == "main":должно быть заменено наif __name__ == "__main__":, чтобы корректно определять точку входа в скрипт.
- Условие
-
Парсинг дат:
- Функция
datetime.fromisoformatможет не справляться с некоторыми форматами дат. Рекомендуется использоватьdateutil.parser.parseдля более гибкого парсинга дат.
- Функция
-
Отсутствие данных для графиков:
- Убедитесь, что данные правильно собираются и передаются в JavaScript для построения графиков. Добавлены дополнительные проверки и отладочные сообщения, чтобы помочь выявить проблемы с данными.
Исправленный Код:
import json import os import string import re from collections import defaultdict, Counter from datetime import datetime import html from dateutil import parser # Требуется установить пакет python-dateutil def load_json(file_path): if not os.path.exists(file_path): print(f"Входной файл '{file_path}' не найден.") return None try: with open(file_path, 'r', encoding='utf-8') as infile: return json.load(infile) except json.JSONDecodeError as e: print(f"Ошибка декодирования JSON: {e}") return None def save_json(data, file_path): try: with open(file_path, 'w', encoding='utf-8') as outfile: json.dump(data, outfile, ensure_ascii=False, indent=2) print(f"Данные успешно сохранены в '{file_path}'.") except Exception as e: print(f"Ошибка при сохранении файла: {e}") def save_html(content, file_path): try: with open(file_path, 'w', encoding='utf-8') as html_file: html_file.write(content) print(f"HTML отчет успешно сохранен в '{file_path}'.") except Exception as e: print(f"Ошибка при сохранении HTML файла: {e}") def extract_text(text_content): if isinstance(text_content, str): return text_content elif isinstance(text_content, list): text_parts = [] for item in text_content: if isinstance(item, str): text_parts.append(item) elif isinstance(item, dict) and 'text' in item: text_parts.append(item['text']) return ''.join(text_parts) elif isinstance(text_content, dict) and 'text' in text_content: return text_content['text'] else: return '' def tokenize_text(text): text = text.lower() text = text.translate(str.maketrans('', '', string.punctuation)) words = text.split() return words def get_time_of_day(hour): if 6 <= hour < 12: return 'Утро' elif 12 <= hour < 18: return 'День' elif 18 <= hour < 24: return 'Вечер' else: return 'Ночь' def analyze_data(data): cleaned_messages = [] user_message_counts = {} user_message_lengths = defaultdict(list) activity_by_hour = defaultdict(int) activity_by_weekday = defaultdict(int) activity_by_month = defaultdict(int) activity_by_time_of_day = defaultdict(int) word_counter = Counter() user_interactions = defaultdict(lambda: defaultdict(int)) duplicate_messages = defaultdict(int) forwarded_messages_count = 0 media_counts = defaultdict(int) user_media_counts = defaultdict(lambda: defaultdict(int)) mutual_mentions = defaultdict(Counter) russian_stopwords = set([ 'и', 'в', 'во', 'не', 'что', 'он', 'на', 'я', 'с', 'со', 'как', 'а', 'то', 'все', 'она', 'так', 'его', 'но', 'да', 'ты', 'к', 'у', 'же', 'вы', 'за', 'бы', 'по', 'только', 'ее', 'мне', 'было', 'вот', 'от', 'меня', 'еще', 'нет', 'о', 'из', 'ему', 'теперь', 'когда', 'даже', 'ну', 'вдруг', 'ли', 'если', 'уже', 'или', 'ни', 'быть', 'был', 'него', 'до', 'вас', 'нибудь', 'опять', 'уж', 'вам', 'ведь', 'там', 'потом', 'себя', 'ничего', 'ей', 'может', 'они', 'тут', 'где', 'есть', 'надо', 'ней', 'для', 'мы', 'тебя', 'их', 'чем', 'была', 'сам', 'чтобы', 'без', 'будто', 'чего', 'раз', 'тоже', 'себе', 'под', 'будет', 'ж', 'тогда', 'кто', 'этот', 'того', 'потому', 'этого', 'какой', 'совсем', 'ним', 'здесь', 'этом', 'один', 'почти', 'мой', 'тем', 'чтобы', 'нее', 'кажется', 'сюда', 'туда', 'этой' ]) media_type_translations = { 'voice_message': 'голосовое сообщение', 'sticker': 'стикер', 'video_file': 'видео файл', 'video_message': 'видео сообщение', 'audio_file': 'аудио файл', 'photo': 'фотография', 'animation': 'анимация', 'document': 'документ', 'location': 'локация', 'contact': 'контакт', 'poll': 'опрос', 'game': 'игра', 'invoice': 'счёт', 'contact_registered': 'контакт зарегистрирован', } users = set() messages = data.get('messages', []) message_id_map = {message.get('id'): message for message in messages} for message in messages: user = message.get('from', 'Неизвестный пользователь') users.add(user) user_message_counts[user] = user_message_counts.get(user, 0) + 1 cleaned_message = { 'id': message.get('id'), 'date': message.get('date'), 'from': user, 'text': '', 'media_type': message.get('media_type', None) } text_content = message.get('text', '') cleaned_text = extract_text(text_content) cleaned_message['text'] = cleaned_text cleaned_messages.append(cleaned_message) # Анализ дублирующихся сообщений (только если текст не пустой) if cleaned_text.strip(): duplicate_key = (user, cleaned_text) duplicate_messages[duplicate_key] += 1 # Анализ пересланных сообщений if 'forwarded_from' in message: forwarded_messages_count += 1 # Анализ медиа сообщений media_type = message.get('media_type') if media_type: media_type_translated = media_type_translations.get(media_type, media_type) media_counts[media_type_translated] += 1 user_media_counts[user][media_type_translated] += 1 # Подсчет длины сообщений message_length = len(cleaned_text) user_message_lengths[user].append(message_length) # Анализ времени активности message_date_str = message.get('date') try: message_date = parser.parse(message_date_str) hour = message_date.hour weekday = message_date.weekday() # Понедельник = 0 month = message_date.month # Январь = 1 time_of_day = get_time_of_day(hour) activity_by_hour[hour] += 1 activity_by_weekday[weekday] += 1 activity_by_month[month] += 1 activity_by_time_of_day[time_of_day] += 1 except (ValueError, TypeError) as e: print(f"Ошибка парсинга даты '{message_date_str}': {e}") # Отладочное сообщение # Анализ частотности слов words = tokenize_text(cleaned_text) words = [word for word in words if word.lower() not in russian_stopwords] word_counter.update(words) # Анализ упоминаний пользователей mentions = re.findall(r'@(\w+)', cleaned_text) for mention in mentions: mutual_mentions[user][mention] += 1 # Анализ взаимодействий между пользователями if 'reply_to_message_id' in message: reply_message_id = message['reply_to_message_id'] reply_message = message_id_map.get(reply_message_id, None) if reply_message: reply_user = reply_message.get('from', 'Неизвестный пользователь') user_interactions[user][reply_user] += 1 # Обрезка дублирующихся сообщений duplicates = {k: v for k, v in duplicate_messages.items() if v > 1} return { 'cleaned_messages': cleaned_messages, 'user_message_counts': user_message_counts, 'user_message_lengths': user_message_lengths, 'activity_by_hour': dict(sorted(activity_by_hour.items())), 'activity_by_weekday': dict(sorted(activity_by_weekday.items())), 'activity_by_month': dict(sorted(activity_by_month.items())), 'activity_by_time_of_day': dict(sorted(activity_by_time_of_day.items())), 'word_counter': word_counter, 'user_interactions': user_interactions, 'duplicate_messages': duplicates, 'forwarded_messages_count': forwarded_messages_count, 'media_counts': media_counts, 'user_media_counts': user_media_counts, 'mutual_mentions': mutual_mentions, } def generate_html(data): total_messages = len(data['cleaned_messages']) total_media_messages = sum(data['media_counts'].values()) user_average_lengths = {user: round(sum(lengths) / len(lengths), 2) if lengths else 0 for user, lengths in data['user_message_lengths'].items()} most_common_words = data['word_counter'].most_common(50) duplicate_count = sum(data['duplicate_messages'].values()) - len(data['duplicate_messages']) forwarded_messages = data['forwarded_messages_count'] media_counts = data['media_counts'] user_media_counts = data['user_media_counts'] mutual_mentions = data['mutual_mentions'] # Для построения графиков hours = list(range(24)) # 0-23 часа messages_per_hour = [data['activity_by_hour'].get(hour, 0) for hour in hours] # Для дней недели weekdays_num = list(range(7)) messages_per_weekday = [data['activity_by_weekday'].get(wd, 0) for wd in weekdays_num] weekday_labels = ['Понедельник', 'Вторник', 'Среда', 'Четверг', 'Пятница', 'Суббота', 'Воскресенье'] weekdays = weekday_labels # Для месяцев months_num = list(range(1, 13)) messages_per_month = [data['activity_by_month'].get(month, 0) for month in months_num] month_labels = ['Январь', 'Февраль', 'Март', 'Апрель', 'Май', 'Июнь', 'Июль', 'Август', 'Сентябрь', 'Октябрь', 'Ноябрь', 'Декабрь'] months = month_labels # Для времени суток time_of_day_categories = ['Утро', 'День', 'Вечер', 'Ночь'] messages_per_time_of_day = [data['activity_by_time_of_day'].get(tod, 0) for tod in time_of_day_categories] # Для взаимодействий между пользователями interaction_labels = list(data['user_interactions'].keys()) interaction_data = [sum(interactions.values()) for interactions in data['user_interactions'].values()] # Собираем все возможные типы медиа all_media_types = set() for user_media in user_media_counts.values(): all_media_types.update(user_media.keys()) all_media_types = sorted(all_media_types) html_content = f""" <!DOCTYPE html> <html lang="ru"> <head> <meta charset="UTF-8"> <title>Статистика Чата</title> <link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.5.2/css/bootstrap.min.css"> <link rel="stylesheet" href="https://cdn.datatables.net/1.10.21/css/jquery.dataTables.min.css"> <style> body {{ font-family: Arial, sans-serif; margin: 20px; }} table {{ width: 100%; border-collapse: collapse; margin-bottom: 40px; }} th, td {{ border: 1px solid #ddd; padding: 8px; text-align: left; }} th {{ background-color: #f2f2f2; }} h2 {{ color: #333; }} .chart-container {{ width: 100%; height: 400px; margin-bottom: 40px; }} .summary {{ margin-bottom: 40px; }} .bold {{ font-weight: bold; }} </style> <script src="https://cdn.jsdelivr.net/npm/chart.js"></script> <script src="https://code.jquery.com/jquery-3.5.1.min.js"></script> <script src="https://cdn.datatables.net/1.10.21/js/jquery.dataTables.min.js"></script> </head> <body> <h1>Статистика Чата</h1> <div class="summary"> <p><strong>Общее количество сообщений:</strong> {total_messages}</p> <p><strong>Общее количество медиа сообщений:</strong> {total_media_messages}</p> <p><strong>Количество дублирующихся сообщений:</strong> {duplicate_count}</p> <p><strong>Количество пересланных сообщений:</strong> {forwarded_messages}</p> </div> <h2>Количество Сообщений на Пользователя</h2> <table id="userMessagesTable" class="display"> <thead> <tr> <th>Пользователь</th> <th>Количество Сообщений</th> </tr> </thead> <tbody> """ for user, count in sorted(data['user_message_counts'].items(), key=lambda x: x[1], reverse=True): html_content += f""" <tr> <td>{html.escape(user)}</td> <td>{count}</td> </tr> """ html_content += """ </tbody> </table> <h2>Анализ Медиа Сообщений</h2> <table id="mediaMessagesTable" class="display"> <thead> <tr> <th>Пользователь</th> """ for media_type in all_media_types: html_content += f"<th>{html.escape(media_type)}</th>" html_content += """ </tr> </thead> <tbody> """ for user in data['user_message_counts'].keys(): html_content += f"<tr><td>{html.escape(user)}</td>" user_media = user_media_counts.get(user, {}) for media_type in all_media_types: count = user_media.get(media_type, 0) html_content += f"<td>{count}</td>" html_content += "</tr>" html_content += """ </tbody> </table> <h2>Средняя Длина Сообщений на Пользователя</h2> <table id="userAverageLengthsTable" class="display"> <thead> <tr> <th>Пользователь</th> <th>Средняя Длина Сообщения</th> </tr> </thead> <tbody> """ for user, avg_len in sorted(user_average_lengths.items(), key=lambda x: x[1], reverse=True): html_content += f""" <tr> <td>{html.escape(user)}</td> <td>{avg_len}</td> </tr> """ html_content += """ </tbody> </table> <h2>Активность Пользователей</h2> <div class="chart-container"> <canvas id="activityByHourChart"></canvas> </div> <div class="chart-container"> <canvas id="activityByWeekdayChart"></canvas> </div> <div class="chart-container"> <canvas id="activityByMonthChart"></canvas> </div> <div class="chart-container"> <canvas id="activityByTimeOfDayChart"></canvas> </div> <h2>Частотный Анализ Слов (Топ-50)</h2> <table id="wordFrequencyTable" class="display"> <thead> <tr> <th>Слово</th> <th>Частота</th> </tr> </thead> <tbody> """ for word, freq in most_common_words: html_content += f""" <tr> <td>{html.escape(word)}</td> <td>{freq}</td> </tr> """ html_content += """ </tbody> </table> <h2>Анализ Взаимодействий между Пользователями</h2> <div class="chart-container"> <canvas id="userInteractionsChart"></canvas> </div> <h2>Дублирующиеся Сообщения</h2> <table id="duplicateMessagesTable" class="display"> <thead> <tr> <th>Пользователь</th> <th>Текст Сообщения</th> <th>Количество Повторений</th> </tr> </thead> <tbody> """ for (user, text), count in data['duplicate_messages'].items(): html_content += f""" <tr> <td>{html.escape(user)}</td> <td>{html.escape(text)}</td> <td>{count}</td> </tr> """ html_content += """ </tbody> </table> <h2>Взаимные Упоминания Пользователей</h2> <table id="mutualMentionsTable" class="display"> <thead> <tr> <th>Пользователь</th> <th>Упомянутый Пользователь</th> <th>Количество Упоминаний</th> </tr> </thead> <tbody> """ for user, mentions in data['mutual_mentions'].items(): for mentioned_user, count in mentions.items(): html_content += f""" <tr> <td>{html.escape(user)}</td> <td>{html.escape(mentioned_user)}</td> <td>{count}</td> </tr> """ html_content += """ </tbody> </table> <script> // Данные для графиков активности const hours = """ + json.dumps(hours) + """; const messagesPerHour = """ + json.dumps(messages_per_hour) + """; const weekdays = """ + json.dumps(weekdays) + """; const messagesPerWeekday = """ + json.dumps(messages_per_weekday) + """; const months = """ + json.dumps(months) + """; const messagesPerMonth = """ + json.dumps(messages_per_month) + """; const timeOfDay = """ + json.dumps(time_of_day_categories) + """; const messagesPerTimeOfDay = """ + json.dumps(messages_per_time_of_day) + """; // Данные для графика взаимодействий const interactionLabels = """ + json.dumps(interaction_labels) + """; const interactionData = """ + json.dumps(interaction_data) + """; // График активности по часам const ctxHour = document.getElementById('activityByHourChart').getContext('2d'); new Chart(ctxHour, {{ type: 'bar', data: {{ labels: hours, datasets: [{{ label: 'Количество Сообщений', data: messagesPerHour, backgroundColor: 'rgba(54, 162, 235, 0.6)', borderColor: 'rgba(54, 162, 235, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Часы' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Сообщений' }} }} }} }} }}); // График активности по дням недели const ctxWeekday = document.getElementById('activityByWeekdayChart').getContext('2d'); new Chart(ctxWeekday, {{ type: 'bar', data: {{ labels: weekdays, datasets: [{{ label: 'Количество Сообщений', data: messagesPerWeekday, backgroundColor: 'rgba(255, 99, 132, 0.6)', borderColor: 'rgba(255, 99, 132, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Дни Недели' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Сообщений' }} }} }} }} }}); // График активности по месяцам const ctxMonth = document.getElementById('activityByMonthChart').getContext('2d'); new Chart(ctxMonth, {{ type: 'bar', data: {{ labels: months, datasets: [{{ label: 'Количество Сообщений', data: messagesPerMonth, backgroundColor: 'rgba(75, 192, 192, 0.6)', borderColor: 'rgba(75, 192, 192, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Месяцы' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Сообщений' }} }} }} }} }}); // График активности по времени суток const ctxTimeOfDay = document.getElementById('activityByTimeOfDayChart').getContext('2d'); new Chart(ctxTimeOfDay, {{ type: 'bar', data: {{ labels: timeOfDay, datasets: [{{ label: 'Количество Сообщений', data: messagesPerTimeOfDay, backgroundColor: 'rgba(153, 102, 255, 0.6)', borderColor: 'rgba(153, 102, 255, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Время Суток' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Сообщений' }} }} }} }} }}); // График взаимодействий между пользователями const ctxInteractions = document.getElementById('userInteractionsChart').getContext('2d'); new Chart(ctxInteractions, {{ type: 'bar', data: {{ labels: interactionLabels, datasets: [{{ label: 'Количество Взаимодействий', data: interactionData, backgroundColor: 'rgba(255, 159, 64, 0.6)', borderColor: 'rgba(255, 159, 64, 1)', borderWidth: 1 }}] }}, options: {{ scales: {{ x: {{ title: {{ display: true, text: 'Пользователи' }} }}, y: {{ beginAtZero: true, title: {{ display: true, text: 'Количество Взаимодействий' }} }} }} }} }}); // Инициализация DataTables $(document).ready(function() { $('#userMessagesTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#userAverageLengthsTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#wordFrequencyTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#duplicateMessagesTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#mediaMessagesTable').DataTable({ "paging": false, "searching": true, "info": false }); $('#mutualMentionsTable').DataTable({ "paging": false, "searching": true, "info": false }); }); </script> </body> </html> """ return html_content if __name__ == "__main__": # Пути к файлам input_file = r"C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-23 (1)\result.json" output_json = r"C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-23 (1)\cleaned_result.json" output_html = r"C:\Users\Admin\Downloads\AyuGram Desktop\ChatExport_2024-09-23 (1)\chat_statistics.html" data = load_json(input_file) if data: analyzed_data = analyze_data(data) save_json(analyzed_data['cleaned_messages'], output_json) html_content = generate_html(analyzed_data) save_html(html_content, output_html)Дополнительные рекомендации:
-
Установка зависимостей:
- Для корректного парсинга дат рекомендуется установить пакет
python-dateutil. Это можно сделать с помощью команды:pip install python-dateutil
- Для корректного парсинга дат рекомендуется установить пакет
-
Проверка Формата Дат:
- Убедитесь, что поле
dateв ваших сообщениях имеет формат, который может быть корректно разобран функциейparser.parse. Если датировки содержат временные зоны или другие нестандартные форматы,dateutilдолжно справиться с большинством из них.
- Убедитесь, что поле
-
Отладка:
- Добавлены отладочные сообщения при ошибках парсинга дат. Это поможет выявить, есть ли сообщения с некорректными датами, которые не учитываются при построении графиков.
-
Тестирование:
- После внесения изменений рекомендуется проверить HTML-отчет в браузере и открыть консоль разработчика (обычно F12), чтобы убедиться, что нет JavaScript-ошибок, мешающих отображению графиков.
-
Пути к Файлам:
- Убедитесь, что пути к файлам указаны корректно и что у скрипта есть права на чтение входного файла и запись выходных файлов.
-
Использование
html.escape:- Всякий раз, когда отображаются пользовательские данные в HTML, используйте
html.escapeдля предотвращения потенциальных уязвимостей и корректного отображения символов.
- Всякий раз, когда отображаются пользовательские данные в HTML, используйте
Заключение
Исправив вышеописанные ошибки и воспользовавшись рекомендациями, вы должны получить корректно работающий HTML-отчет с отображаемыми графиками активности пользователей и анализом взаимодействий между ними. Если после внесения изменений проблемы сохраняются, пожалуйста, предоставьте дополнительные детали или сообщения об ошибках для более точной диагностики.
-