Skip to content
The Chat Archive
gpt-4o-mini-2024-07-18· OpenAI WildChat-4.8M (AI2)

Суть: нужен парсер списка открытых телеграм чатов и каналов с выгрузкой в гугл таблицу,…

  1. User

    Суть: нужен парсер списка открытых телеграм чатов и каналов с выгрузкой в гугл таблицу, который запускается каждые 10 минут и выгружает список новых сообщений на страницу. У нас есть подобный проект, сейчас нам нужна его лайт версия.

    Задействованные сервисы:

    1. Телеграм аккаунты в формате тг сессий, которые подписаны на нужные чаты и каналы.
    2. Google Sheets | API https://developers.google.com/sheets/api
    3. Сервак, на котором крутится проект.
    4. При необходимости прокси, если аккаунты банятся.

    Мощности: Чаты и каналы активные, поэтому может приходить по несколько тысяч сообщений в день. На листе будет встроенный скрипт очистки с нашей стороны, поэтому сообщения будут стираться раз в какое-то время. Разрабатывать скрипт очистки не надо. Предложение достаточного по мощности сервера за исполнителем.

    Таблица: Формат гугл таблицы для выгрузки Дата и время — дата и время отправки сообщения в чат или канал. Название чата или канала — название чата или канала, откуда было выгружено сообщение. Ник отправителя в тг, если есть — логин отправителя, если он есть. Если нет, то пусто. ID отправителя — ID отправителя сообщения в телеграме. Ссылка на сообщение — прямая ссылка на сообщение в чате или канале в формате t.me/… Текст сообщения — это именно текст сообщения из чата или канала, который приведен полностью, но освобожден от эмоджи, переносов на строки и форматирования, ссылки пишутся после текста, к которому они были привязаны.

    Видео, фото, кружочки не попадают в таблицу ни в каком виде, указание на них также не попадает в таблицу. Информация о вступлении в чат или выход из него не попадает в таблицу.

    Аккаунты в тг, с которых происходит сбор данных по чатам:

    Даются в формате файлов тг сессий. Подключение новых аккаунтов в админку происходит через последовательную загрузку каждого файла .session в админке и ни в коем случае не через командную строку. Заранее подписаны на выборку чатов и каналов вручную. Реализовывать автоматическую подписку не надо, она будет в ручном режиме. По циклу просматривают все чаты и каналы, на которые подписаны, на предмет именно новых сообщений и раз в 10 минут и выводят их. В случае бана или вылета аккаунта в админке в списке у аккаунта должен стоять статус “неактивен”. Если с аккаунтом все ок, то статус “активен”. Аккаунты в админке можно делать неактивными в ручном режиме, чтобы они не выгружали сообщения из подключенных чатов и каналов. Для этого должен быть предусмотрен ползунок внутри настроек аккаунта. Мы дадим список чатов и каналов, их около 250 штук, на которые нужно подписать предоставленные аккаунты (в формате тг сессий), чтобы система начала функционировать в штатном режиме.

    Список чатов и каналов, на которые подписаны аккаунты:

    Нужно вывести в админке в отдельном разделе в формате 3 столбцов: ссылка на чат или канал, ссылка на аккаунт, статус аккаунта (неактивен, активен). Этот список должен быть актуальным и обновляемым каждые 5 минут или чаще. Админка: Только 1 роль — администратор. Он добавляет и удаляет Telegram-аккаунты, настраивает их работу. Он видит список всех настроек, список чатов и каналов, на которые подписаны аккаунты. Он может выставлять лимиты и таймауты, если они будут добавлены в админку. Он также может указать новую таблицу для выгрузки, предварительно загрузить файл авторизации гугла и указав ссылку на таблицу. Админку нужно сделать на Django в формате наиболее простых не сильно вложенных настроек. Пожалуйста, при сдаче работы не ставьте логин и пароль admin/admin, сделайте сразу сложные логин и пароль. :)

    Сдача работы:

    Вы должны настроить систему сначала на своем сервере и дать нам ее протестировать. Затем настроить ее на нашем сервере и дать нам убедиться, что все работает штатно и без сюрпризов.

    Суть: нужен парсер списка открытых телеграм чатов и каналов с выгрузкой в гугл таблицу, который запускается каждые 10 минут и выгружает список новых сообщений на страницу. У нас есть подобный проект, сейчас нам нужна его лайт версия. Задействованные сервисы: 1. Телеграм аккаунты в формате тг сессий, которые подписаны на нужные чаты и каналы.2. Google Sheets | API https://developers.google.com/sheets/api3. Сервак, на котором крутится проект.4. При необходимости прокси, если аккаунты банятся. Мощности:1. Чаты и каналы активные, поэтому может приходить по несколько тысяч сообщений в день. На листе будет встроенный скрипт очистки с нашей стороны, поэтому сообщения будут стираться раз в какое-то время. Разрабатывать скрипт очистки не надо.2. Предложение достаточного по мощности сервера за исполнителем. Таблица:Формат гугл таблицы для выгрузки1. Дата и время — дата и время отправки сообщения в чат или канал.2. Название чата или канала — название чата или канала, откуда было выгружено сообщение.3. Ник отправителя в тг, если есть — логин отправителя, если он есть. Если нет, то пусто.4. ID отправителя — ID отправителя сообщения в телеграме.5. Ссылка на сообщение — прямая ссылка на сообщение в чате или канале в формате t.me/…6. Текст сообщения — это именно текст сообщения из чата или канала, который приведен полностью, но освобожден от эмоджи, переносов на строки и форматирования, ссылки пишутся после текста, к которому они были привязаны.  Видео, фото, кружочки не попадают в таблицу ни в каком виде, указание на них также не попадает в таблицу. Информация о вступлении в чат или выход из него не попадает в таблицу. Аккаунты в тг, с которых происходит сбор данных по чатам:

    1. Даются в формате файлов тг сессий. Подключение новых аккаунтов в админку происходит через последовательную загрузку каждого файла .session в админке и ни в коем случае не через командную строку.2. Заранее подписаны на выборку чатов и каналов вручную. Реализовывать автоматическую подписку не надо, она будет в ручном режиме.3. По циклу просматривают все чаты и каналы, на которые подписаны, на предмет именно новых сообщений и раз в 10 минут и выводят их.4. В случае бана или вылета аккаунта в админке в списке у аккаунта должен стоять статус “неактивен”. Если с аккаунтом все ок, то статус “активен”.5. Аккаунты в админке можно делать неактивными в ручном режиме, чтобы они не выгружали сообщения из подключенных чатов и каналов. Для этого должен быть предусмотрен ползунок внутри настроек аккаунта.6. Мы дадим список чатов и каналов, их около 250 штук, на которые нужно подписать предоставленные аккаунты (в формате тг сессий), чтобы система начала функционировать в штатном режиме. Список чатов и каналов, на которые подписаны аккаунты:
    2. Нужно вывести в админке в отдельном разделе в формате 3 столбцов: ссылка на чат или канал, ссылка на аккаунт, статус аккаунта (неактивен, активен).2. Этот список должен быть актуальным и обновляемым каждые 5 минут или чаще.Админка:Только 1 роль — администратор. Он добавляет и удаляет Telegram-аккаунты, настраивает их работу. Он видит список всех настроек, список чатов и каналов, на которые подписаны аккаунты. Он может выставлять лимиты и таймауты, если они будут добавлены в админку. Он также может указать новую таблицу для выгрузки, предварительно загрузить файл авторизации гугла и указав ссылку на таблицу. Админку нужно сделать на Django в формате наиболее простых не сильно вложенных настроек. Пожалуйста, при сдаче работы не ставьте логин и пароль admin/admin, сделайте сразу сложные логин и пароль. :)

    Сдача работы:

    Вы должны настроить систему сначала на своем сервере и дать нам ее протестировать. Затем настроить ее на нашем сервере и дать нам убедиться, что все работает штатно и без сюрпризов.

  2. Assistant

    Создание такого проекта потребует комплексного подхода, поскольку он включает взаимодействие с API Telegram, а также интеграцию с Google Sheets. Ниже приведен общий план действий, который можно использовать для разработки вашего парсера.

    1. Подготовка окружения

    • Выбор технологии: Использование Django для создания админки и Flask (или Celery) для выполнения периодических задач.
    • Установка нужных библиотек:
      • python-telegram-client для работы с Telegram API.
      • google-auth и gspread для работы с Google Sheets API.
    pip install python-telegram-client google-auth gspread Django
    

    2. Разработка модели данных

    • Создать модели для хранения информации о Telegram аккаунтах, чатах и сообщениях.
    from django.db import models
    
    class TelegramAccount(models.Model):
        session_file = models.FileField(upload_to='sessions/')
        status = models.CharField(max_length=10, default='active')  # active, inactive
    
    class Chat(models.Model):
        account = models.ForeignKey(TelegramAccount, on_delete=models.CASCADE)
        link = models.CharField(max_length=255)
    
    class Message(models.Model):
        chat = models.ForeignKey(Chat, on_delete=models.CASCADE)
        timestamp = models.DateTimeField()
        sender_username = models.CharField(max_length=255, blank=True)
        sender_id = models.BigIntegerField()
        link_to_message = models.URLField()
        text = models.TextField()
    

    3. Взаимодействие с Telegram API

    • Создайте функцию, которая будет периодически проверять новые сообщения в чатах.
    from telethon import TelegramClient
    
    async def fetch_new_messages(account):
        async with TelegramClient(account.session_file, api_id, api_hash) as client:
            # Получение списка чатов
            async for dialog in client.iter_dialogs():
                if dialog.is_channel or dialog.is_group:
                    async for message in client.iter_messages(dialog.id, limit=10):
                        # Обработка сообщения
                        # Сохранение в базу данных
    

    4. Интеграция с Google Sheets

    • Используйте Google Sheets API для записи сообщений в таблицу.
    import gspread
    from google.oauth2.service_account import Credentials
    
    def write_to_google_sheet(data, spreadsheet_id):
        creds = Credentials.from_service_account_file('path/to/credentials.json')
        client = gspread.authorize(creds)
        sheet = client.open_by_key(spreadsheet_id).sheet1
        sheet.append_rows(data)
    

    5. Перидодические задачи

    • Используйте Celery для запуска задания каждые 10 минут.
    from celery import shared_task
    
    @shared_task
    def fetch_and_store_messages():
        accounts = TelegramAccount.objects.filter(status='active')
        for account in accounts:
            fetch_new_messages(account)
    

    6. Админка на Django

    • Реализовать интерфейс для управления аккаунтами и чатиками. Используйте Django Admin для этого.
    from django.contrib import admin
    from .models import TelegramAccount, Chat, Message
    
    admin.site.register(TelegramAccount)
    admin.site.register(Chat)
    admin.site.register(Message)
    

    7. Тестирование системы

    • Настройте проект на своем сервере и протестируйте функциональность. Убедитесь, что все работает исправно и без ошибок.

    8. Развертывание на вашем сервере

    • Перенесите настройки и базу данных на ваш сервер. Запустите проект и проведите финальное тестирование.

    Дополнительно

    • Учтите вопросы безопасности, такие как защита от несанкционированного доступа к админке. Убедитесь, что используете сложные пароли и настроенные ограничения доступа.
    • Документация по созданию и настройке Google API, а также работы с Telegram API поможет вам в реализации всех функций, которые вам нужны.

    Это только основные шаги, и каждый из них можно очень детализировать в зависимости от ваших требований. Однако этот общий подход должен помочь вам создать основную логику вашего приложения.