Писал это под конкретную задачу: собрать историю канала и не перекачивать её заново после обрыва. Началось с того, что простой скрипт «скачай всё» падал на середине, а при перезапуске начинал с нуля — при объёме в сотни тысяч сообщений это превращалось в издевательство. Так родился инкрементальный сбор, и вот теперь работает на 100+ чатах разом.
Главная идея простая, но именно она спасает: по каждому чату хранится last_id — максимальный сохранённый message id. Выборка идёт через iter_messages(min_id=last_id, reverse=True), то есть тянем только то, что новее записанного. И вот тут важный порядок, который легко перепутать: last_id двигается только ПОСЛЕ того, как сообщение легло в базу. Если обновишь его при чтении, а потом упадёшь — эти сообщения потеряются навсегда. Убили процесс на середине — следующий запуск молча продолжит с последнего записанного id.
Второй механизм — дедупликация. Первичный ключ (chat_id, msg_id), запись через INSERT ... ON CONFLICT DO UPDATE. Повторный проход не плодит копии, а если текст изменился — строка обновляется и помечается edited=1. Третий — FloodWait: Telegram отвечает ошибкой с числом секунд, мы спим и продолжаем с тем же min_id, то есть с последнего записанного сообщения. Ни потерь, ни дублей.
Про редактирование скажу отдельно, потому что тут многие обманываются. Инкрементальный сбор ПО ОПРЕДЕЛЕНИЮ не перечитывает старые сообщения — значит, правку в них он не увидит никогда. Это не баг, а следствие инкремента. Чтобы ловить правки, нужен второй проход: перечитываем последние N сообщений чата (sweep) и гоняем через тот же дедуп — совпало, значит same; изменилось, значит edited. Ширина окна — твой компромисс: шире видишь больше старых правок, но и запросов больше.
Проверить всё это можно без сети и без аккаунта. Ядро сбора специально не зависит от Telethon: collect_chat принимает функцию feed(min_id), и в тестах это мок. Вот реальный прогон, где всё видно:
Смотри на числа. Первичный сбор — 10 сообщений, 2 с медиа. Повторный запуск без изменений — 0 новых, в базе всё те же 10, а не 20: дедуп работает. Дальше прилетают пять новых, и на третьем Telegram просит подождать — FloodWait, пауза 3 секунды, продолжение с того же места. И отдельным проходом — правка сообщения 114: бэклог пуст, но окно правок её видит, edited=1. В конце — выгрузка JSONL, 15 строк.
Оговорок тоже хватает, и я их не прячу. Старые правки за пределами окна инкремент не видит — только полный пересбор или живое событие MessageEdited, которое вешают в live-режиме. Сессия Telethon — это по сути полный доступ к аккаунту, так что папку sessions/ не коммить и не пересылать, а на чужих машинах лучше держать отдельный аккаунт. И ещё: пул воркеров ускоряет обход многих чатов, но флуд у Telegram глобальный на аккаунт — упёрся в одном чате, притормозят все. Медиа я намеренно не качаю: в базу идут метаданные (тип, размер, mime), сам файл — отдельно и осознанно, иначе за неделю съешь диск.
В архиве: store.py со схемой и дедуп-апсертом, collector.py с ядром сбора, grabber.py с адаптером Telethon и пулом воркеров, export.py для JSONL, скрипт прогона и README. Требуется api_id/api_hash с my.telegram.org — без них никак.