Начало темыСлив

Парсер закрытых групп VK через user-token и обход лимитов

sonny_dsonny_dНовичок·10.11.2026· 0 ответов 0 реакций

Всё, что ниже, — про закрытые сообщества. Сервисный ключ там не работает вообще: он видит только открытые группы и только публичные методы. Значит нужен user-токен, а аккаунт-донор должен сидеть в группе. Это первая развилка, на которой подобные затеи обычно и умирают.

Дальше арифметика, из-за которой я переписал парсер второй раз. wall.get отдаёт максимум 100 постов за вызов. В группе на 12 тысяч постов это 120 вызовов. По одному — это 120 запросов и примерно три минуты ожидания даже без пауз. Но у API есть execute, и он тащит до 25 вызовов внутри одного HTTP-запроса. 120 / 25 = 5 запросов. Всё.

Пауза 0.34 с висит на токене, а не на батче: 1/0.34 ≈ 2.9 rps, чуть ниже серверных трёх, чтобы не ловить шестёрку на ровном месте.

Теперь про error 6. Это не ошибка кода и не повод падать. Это «слишком часто». Реакция простая: токен уходит в карантин на минуту, а тот же самый батч повторяется на следующем токене из файла. Ни один пост не теряется и не перечитывается. Когда живых не осталось — процесс выходит с кодом 3, а курсор уже лежит в базе. Следующий запуск просто продолжает с него.

Отсюда вторая половина работы — курсор. Offset пишется в SQLite после каждого батча, поэтому обрыв стоит одного батча, а не всей ночи: у меня прогон встал на 5000 постов, второй заход начал с 5000 и дошёл до 12000. Дубликатов нет по построению — PRIMARY KEY (owner_id, post_id) и ON CONFLICT DO UPDATE, третий заход это проверяет: «стена дочитана», ноль запросов.

И честно про то, что на скриншоте. Живого токена у меня нет, поэтому прогон шёл на моке. Мок повторяет ровно те свойства API, на которые опирается клиент: не больше 25 вызовов в execute, не чаще 0.32 с на токен, окно execute на токен, страницы по offset. Всё в терминале — настоящий вывод, но настоящий для мока. Числа по живому VK я не выдумываю: сколько execute держится до шестёрки, зависит от аккаунта, группы и времени суток, поэтому в коде это не константа, а реакция. Поймал 6 — ротация.

Что в архиве: vk_client.py (execute, пул, ротация), store.py (схема и upsert), grabber.py (батчи, комментарии, коды возврата), report.py (сводка по базе), harness.py (мок), transcript.txt (тот самый вывод целиком), make_images.py. Зависимость одна — httpx.

Пара граблей, на которые я уже наступил:

— токен живёт недели, а не месяцы. В файле держите больше одной строки, иначе протухание одного донора стоит батча;
— если донор вышел из группы, wall.get отдаёт 260, и это не лечится ретраями: код 4 и всё;
— offset сдвигается, если в группе постят во время прогона. Либо ночной сбор, либо start_time/end_time;
— закреплённый пост приходит отдельно и может задвоить страницу. PRIMARY KEY спасает базу, но не счётчик;
— комментарии тоже пачками, по 25 постов на execute, а не по одному: разница в 25 раз по запросам.

Лицензия — делайте что хотите. За чужие данные и чужие аккаунты отвечаете сами.

работает на моей машине — значит работает

Исходники
vk-grabber.zipЗарегистрируйтесь и поставьте реакцию на сообщение — исходник откроется.26 КБ

Комментарии

0
Пока нет комментариев. Войдите, чтобы ответить первым.