Суть: нужен парсер списка открытых телеграм чатов и каналов с выгрузкой в гугл таблицу,…
- User
Суть: нужен парсер списка открытых телеграм чатов и каналов с выгрузкой в гугл таблицу, который запускается каждые 10 минут и выгружает список новых сообщений на страницу. У нас есть подобный проект, сейчас нам нужна его лайт версия.
Задействованные сервисы:
- Телеграм аккаунты в формате тг сессий, которые подписаны на нужные чаты и каналы.
- Google Sheets | API https://developers.google.com/sheets/api
- Сервак, на котором крутится проект.
- При необходимости прокси, если аккаунты банятся.
Мощности: Чаты и каналы активные, поэтому может приходить по несколько тысяч сообщений в день. На листе будет встроенный скрипт очистки с нашей стороны, поэтому сообщения будут стираться раз в какое-то время. Разрабатывать скрипт очистки не надо. Предложение достаточного по мощности сервера за исполнителем.
Таблица: Формат гугл таблицы для выгрузки Дата и время — дата и время отправки сообщения в чат или канал. Название чата или канала — название чата или канала, откуда было выгружено сообщение. Ник отправителя в тг, если есть — логин отправителя, если он есть. Если нет, то пусто. ID отправителя — ID отправителя сообщения в телеграме. Ссылка на сообщение — прямая ссылка на сообщение в чате или канале в формате t.me/… Текст сообщения — это именно текст сообщения из чата или канала, который приведен полностью, но освобожден от эмоджи, переносов на строки и форматирования, ссылки пишутся после текста, к которому они были привязаны.
Видео, фото, кружочки не попадают в таблицу ни в каком виде, указание на них также не попадает в таблицу. Информация о вступлении в чат или выход из него не попадает в таблицу.
Аккаунты в тг, с которых происходит сбор данных по чатам:
Даются в формате файлов тг сессий. Подключение новых аккаунтов в админку происходит через последовательную загрузку каждого файла .session в админке и ни в коем случае не через командную строку. Заранее подписаны на выборку чатов и каналов вручную. Реализовывать автоматическую подписку не надо, она будет в ручном режиме. По циклу просматривают все чаты и каналы, на которые подписаны, на предмет именно новых сообщений и раз в 10 минут и выводят их. В случае бана или вылета аккаунта в админке в списке у аккаунта должен стоять статус “неактивен”. Если с аккаунтом все ок, то статус “активен”. Аккаунты в админке можно делать неактивными в ручном режиме, чтобы они не выгружали сообщения из подключенных чатов и каналов. Для этого должен быть предусмотрен ползунок внутри настроек аккаунта. Мы дадим список чатов и каналов, их около 250 штук, на которые нужно подписать предоставленные аккаунты (в формате тг сессий), чтобы система начала функционировать в штатном режиме.
Список чатов и каналов, на которые подписаны аккаунты:
Нужно вывести в админке в отдельном разделе в формате 3 столбцов: ссылка на чат или канал, ссылка на аккаунт, статус аккаунта (неактивен, активен). Этот список должен быть актуальным и обновляемым каждые 5 минут или чаще. Админка: Только 1 роль — администратор. Он добавляет и удаляет Telegram-аккаунты, настраивает их работу. Он видит список всех настроек, список чатов и каналов, на которые подписаны аккаунты. Он может выставлять лимиты и таймауты, если они будут добавлены в админку. Он также может указать новую таблицу для выгрузки, предварительно загрузить файл авторизации гугла и указав ссылку на таблицу. Админку нужно сделать на Django в формате наиболее простых не сильно вложенных настроек. Пожалуйста, при сдаче работы не ставьте логин и пароль admin/admin, сделайте сразу сложные логин и пароль. :)
Сдача работы:
Вы должны настроить систему сначала на своем сервере и дать нам ее протестировать. Затем настроить ее на нашем сервере и дать нам убедиться, что все работает штатно и без сюрпризов.
Суть: нужен парсер списка открытых телеграм чатов и каналов с выгрузкой в гугл таблицу, который запускается каждые 10 минут и выгружает список новых сообщений на страницу. У нас есть подобный проект, сейчас нам нужна его лайт версия. Задействованные сервисы: 1. Телеграм аккаунты в формате тг сессий, которые подписаны на нужные чаты и каналы.2. Google Sheets | API https://developers.google.com/sheets/api3. Сервак, на котором крутится проект.4. При необходимости прокси, если аккаунты банятся. Мощности:1. Чаты и каналы активные, поэтому может приходить по несколько тысяч сообщений в день. На листе будет встроенный скрипт очистки с нашей стороны, поэтому сообщения будут стираться раз в какое-то время. Разрабатывать скрипт очистки не надо.2. Предложение достаточного по мощности сервера за исполнителем. Таблица:Формат гугл таблицы для выгрузки1. Дата и время — дата и время отправки сообщения в чат или канал.2. Название чата или канала — название чата или канала, откуда было выгружено сообщение.3. Ник отправителя в тг, если есть — логин отправителя, если он есть. Если нет, то пусто.4. ID отправителя — ID отправителя сообщения в телеграме.5. Ссылка на сообщение — прямая ссылка на сообщение в чате или канале в формате t.me/…6. Текст сообщения — это именно текст сообщения из чата или канала, который приведен полностью, но освобожден от эмоджи, переносов на строки и форматирования, ссылки пишутся после текста, к которому они были привязаны. Видео, фото, кружочки не попадают в таблицу ни в каком виде, указание на них также не попадает в таблицу. Информация о вступлении в чат или выход из него не попадает в таблицу. Аккаунты в тг, с которых происходит сбор данных по чатам:
- Даются в формате файлов тг сессий. Подключение новых аккаунтов в админку происходит через последовательную загрузку каждого файла .session в админке и ни в коем случае не через командную строку.2. Заранее подписаны на выборку чатов и каналов вручную. Реализовывать автоматическую подписку не надо, она будет в ручном режиме.3. По циклу просматривают все чаты и каналы, на которые подписаны, на предмет именно новых сообщений и раз в 10 минут и выводят их.4. В случае бана или вылета аккаунта в админке в списке у аккаунта должен стоять статус “неактивен”. Если с аккаунтом все ок, то статус “активен”.5. Аккаунты в админке можно делать неактивными в ручном режиме, чтобы они не выгружали сообщения из подключенных чатов и каналов. Для этого должен быть предусмотрен ползунок внутри настроек аккаунта.6. Мы дадим список чатов и каналов, их около 250 штук, на которые нужно подписать предоставленные аккаунты (в формате тг сессий), чтобы система начала функционировать в штатном режиме. Список чатов и каналов, на которые подписаны аккаунты:
- Нужно вывести в админке в отдельном разделе в формате 3 столбцов: ссылка на чат или канал, ссылка на аккаунт, статус аккаунта (неактивен, активен).2. Этот список должен быть актуальным и обновляемым каждые 5 минут или чаще.Админка:Только 1 роль — администратор. Он добавляет и удаляет Telegram-аккаунты, настраивает их работу. Он видит список всех настроек, список чатов и каналов, на которые подписаны аккаунты. Он может выставлять лимиты и таймауты, если они будут добавлены в админку. Он также может указать новую таблицу для выгрузки, предварительно загрузить файл авторизации гугла и указав ссылку на таблицу. Админку нужно сделать на Django в формате наиболее простых не сильно вложенных настроек. Пожалуйста, при сдаче работы не ставьте логин и пароль admin/admin, сделайте сразу сложные логин и пароль. :)
Сдача работы:
Вы должны настроить систему сначала на своем сервере и дать нам ее протестировать. Затем настроить ее на нашем сервере и дать нам убедиться, что все работает штатно и без сюрпризов.
- Assistant
Создание такого проекта потребует комплексного подхода, поскольку он включает взаимодействие с API Telegram, а также интеграцию с Google Sheets. Ниже приведен общий план действий, который можно использовать для разработки вашего парсера.
1. Подготовка окружения
- Выбор технологии: Использование Django для создания админки и Flask (или Celery) для выполнения периодических задач.
- Установка нужных библиотек:
python-telegram-clientдля работы с Telegram API.google-authиgspreadдля работы с Google Sheets API.
pip install python-telegram-client google-auth gspread Django2. Разработка модели данных
- Создать модели для хранения информации о Telegram аккаунтах, чатах и сообщениях.
from django.db import models class TelegramAccount(models.Model): session_file = models.FileField(upload_to='sessions/') status = models.CharField(max_length=10, default='active') # active, inactive class Chat(models.Model): account = models.ForeignKey(TelegramAccount, on_delete=models.CASCADE) link = models.CharField(max_length=255) class Message(models.Model): chat = models.ForeignKey(Chat, on_delete=models.CASCADE) timestamp = models.DateTimeField() sender_username = models.CharField(max_length=255, blank=True) sender_id = models.BigIntegerField() link_to_message = models.URLField() text = models.TextField()3. Взаимодействие с Telegram API
- Создайте функцию, которая будет периодически проверять новые сообщения в чатах.
from telethon import TelegramClient async def fetch_new_messages(account): async with TelegramClient(account.session_file, api_id, api_hash) as client: # Получение списка чатов async for dialog in client.iter_dialogs(): if dialog.is_channel or dialog.is_group: async for message in client.iter_messages(dialog.id, limit=10): # Обработка сообщения # Сохранение в базу данных4. Интеграция с Google Sheets
- Используйте Google Sheets API для записи сообщений в таблицу.
import gspread from google.oauth2.service_account import Credentials def write_to_google_sheet(data, spreadsheet_id): creds = Credentials.from_service_account_file('path/to/credentials.json') client = gspread.authorize(creds) sheet = client.open_by_key(spreadsheet_id).sheet1 sheet.append_rows(data)5. Перидодические задачи
- Используйте Celery для запуска задания каждые 10 минут.
from celery import shared_task @shared_task def fetch_and_store_messages(): accounts = TelegramAccount.objects.filter(status='active') for account in accounts: fetch_new_messages(account)6. Админка на Django
- Реализовать интерфейс для управления аккаунтами и чатиками. Используйте Django Admin для этого.
from django.contrib import admin from .models import TelegramAccount, Chat, Message admin.site.register(TelegramAccount) admin.site.register(Chat) admin.site.register(Message)7. Тестирование системы
- Настройте проект на своем сервере и протестируйте функциональность. Убедитесь, что все работает исправно и без ошибок.
8. Развертывание на вашем сервере
- Перенесите настройки и базу данных на ваш сервер. Запустите проект и проведите финальное тестирование.
Дополнительно
- Учтите вопросы безопасности, такие как защита от несанкционированного доступа к админке. Убедитесь, что используете сложные пароли и настроенные ограничения доступа.
- Документация по созданию и настройке Google API, а также работы с Telegram API поможет вам в реализации всех функций, которые вам нужны.
Это только основные шаги, и каждый из них можно очень детализировать в зависимости от ваших требований. Однако этот общий подход должен помочь вам создать основную логику вашего приложения.