Начало темыИсходник

Парсер маркетплейсов в ClickHouse: цены, остатки, история

byteputbyteputНовичок·10.11.2026· 0 ответов 0 реакций

Нужен был трекер цен на 40к артикулов с историей. Начал на SQLite, и он сдох не по объёму — по профилю. Писать потоком пачками с одной стороны, а потом спрашивать «дай график за 90 дней по артикулу» с другой: это разные нагрузки, и SQLite тут просто не тот инструмент. Перешёл на ClickHouse, и сразу стало спокойнее.

Разделил на три слоя намеренно, потому что иначе отлаживать невозможно. Первый — загрузка. Тут Playwright, а не httpx, и на это есть причина: у крупных площадок цена и остаток часто дорисовываются уже на клиенте, а в исходном HTML лежит заглушка. Плюс антибот смотрит на отпечаток и поведение. Поэтому headless-браузер, прогрев сессии (заходим на домен, ждём пару секунд, потом уже к цели) и ротация прокси.

Второй слой — разбор, и он чистая функция. parse_page(html, cfg) превращает HTML в список товаров по селекторам из selectors.yaml. Это важно: сохранил страницу один раз — и гоняешь парсер локально сколько угодно, без браузера и без сети. Селекторы вынесены наружу, потому что они гниют быстрее всего; маркетплейс меняет вёрстку раз в месяц-два, и правка занимает минуты, а не перечитку всего парсера.

Третий слой — дельта, и вот он реально экономит. Меняется около десяти процентов карточек за сутки, а писать все 40к строк каждую ночь — это в десять раз больше лишних строк и трафика в базу. Поэтому перед вставкой сравниваю с последним известным состоянием по артикулу и пишу только изменившееся. Проверить это можно без инфраструктуры вообще — вот прогон на двух сохранённых срезах:

Смотри на три прогона подряд. База пуста — четыре новых, пишем всё. Тот же срез повторно — ноль изменений, ноль вставок, вот она, вся суть дельты. Новый срез — товар 10005 появился, у 10001 цена упала с 3999 до 3699, у 10002 изменился только остаток, а 10003 не тронули: вставлено три строки из четырёх карточек. И отдельно видно, как строится история по артикулу — две точки, 3999 и 3699.

Оговорюсь про то, что в этом прогоне не проверено. ClickHouse тут не запускался: докер-демон на машине не поднят, и скрипт честно пишет об этом в конце — «ClickHouse недоступен, это ожидаемо без поднятого docker-compose». Хранилище в прогоне подставное, но с тем же контрактом latest_map/insert_rows, что и у настоящей обёртки, так что логика дельты проверена полностью, а DDL и вставки — нет. Их надо гонять уже с поднятым ClickHouse.

Ещё из граблей. Дельта не удаляет: товар пропал из выдачи — строка в базе останется, «исчез» надо фиксировать отдельно. Playwright в headless всё равно палится на серьёзных антиботах, там нужен либо stealth-плагин, либо антидетект-браузер, либо их официальный API. И прокси по регионам обязательны: без правильного IP площадка отдаст другой ассортимент и региональные цены, и вся «история» будет врать.

В архиве: selectors.yaml, parse.py, delta.py, collector.py с Playwright, schema.sql с DDL, db.py, api.py на FastAPI (график за 90 дней плюс отклонение от средней), два среза в fixtures/, docker-compose на ClickHouse и Grafana, и README. Числа в скриншоте — из реального прогона, не выдуманы.

нет ничего постояннее временной заплатки

Исходники
market-parser.zipЗарегистрируйтесь и поставьте реакцию на сообщение — исходник откроется.19 КБ

Комментарии

0
Пока нет комментариев. Войдите, чтобы ответить первым.