Локальный поиск по дампам я собрал после того, как в очередной раз увидел, как человек проверяет одну свою почту через публичный сервис — и оставляет на нём и почту, и свой IP. Проверять это дома не надо, дома база и так у тебя. Написал свой вариант: Python и SQLite, всё локально, наружу не уходит ничего.
Как это работает, коротко. Дамп — это строки вида mail:pass; разделители бывают разные, я разбираю пять (двоеточие, точка с запятой, вертикальная черта, таб, запятая). Адрес нормализуется в нижний регистр, из него вынимается домен. И дальше главное: сам адрес я не храню. Храню sha256(адрес), урезанный до 16 байт. Если база утечёт, читаемого списка почт в ней нет — только хеши, и адрес по ним не восстановить. Домен лежит открытым текстом, по нему строится отчёт.
Чего я не стал делать, хотя руки чесались: FTS5. Думал прикрутить полнотекстовый индекс, но для точного поиска по хешу обычный B-tree быстрее и проще, а свободного текста в дампах нет. Понадобится — прикрутишь сам, схема простая.
Теперь про числа. Гонял на своём ноутбуке, i3, Windows 11, Python 3.12. Корпус генерируется скриптом — три миллиона строк, специально с примерно 5% дублей, чтобы проверить дедупликацию. Результат ниже, всё это есть в transcript.txt в архиве:
Здесь сразу видны грабли, на которые я наступил. Первый вариант грузил строки с уже навешенными индексами, и вставка встала колом — около пяти тысяч строк в секунду, три миллиона грузились бы почти десять минут. Причина простая: уникальный индекс превращает каждую вставку в случайный доступ к диску. Переделал порядок: сначала bulk-загрузка без индексов и с выключенным журналом, потом дедупликация через GROUP BY, и только в конце построение индексов. Вышло 43 тысячи строк в секунду на загрузке, а всего на 3 млн строк ушло 121 секунда.
Самый ценный код тут — порядок и параметры, а не алгоритм:
# на время загрузки — никаких fsync и WAL: это разовый bulk, а не прод
con.execute("PRAGMA journal_mode=OFF")
con.execute("PRAGMA synchronous=OFF")
con.execute("PRAGMA cache_size=-262144") # ~256 МБ под кэш
# дедупликация: (hash, domain) оставляем в одном экземпляре
con.execute("CREATE TABLE entries_d AS SELECT hash, domain, MIN(breach_id) AS breach_id FROM entries GROUP BY hash, domain")
con.execute("DROP TABLE entries")
con.execute("ALTER TABLE entries_d RENAME TO entries")Вторая грабля — запросы. Отчёт по домену в первом прогоне шёл 150 мс, хотя индекс по домену был. Полез разбираться через EXPLAIN QUERY PLAN: индекс используется, но COUNT(DISTINCT hash) за каждой строкой ходит в таблицу. Сделал покрывающий индекс по паре (domain, hash) — нужные столбцы целиком лежат в индексе, в таблицу ходить не надо. Плюс поднял кэш страниц: с дефолтными двумя мегабайтами на базе 225 МБ точечные запросы уходят на диск.
Итог по скорости: отчёт по домену — 1.2 мс на запрос, проверка адреса по хешу — 0.022 мс. Это серия из 200 запросов в один поток. На сервере будет быстрее; на этом же ноутбуке под фоновой нагрузкой легко получить и 7 мс вместо 1.2 — это машина, не код. Так что цифры смотри как порядок величины, а не как гарантию.
Что ещё в архиве: api.py — крошечный HTTP-API на http.server, чтобы встроить проверку в чекер или бота (маршруты /email?q=... и /domain?name=...). Он только читает. Плюс генератор корпуса gen_sample.py и скрипты make_transcript.py и make_images.py, которыми сделаны эти самые скриншоты.
Чего тут нет, честно. Нет FTS5, нет Postgres — на 2.3 млн записей он не нужен. Загрузка однопоточная: три миллиона — это один процесс Python, на 50 млн захочется либо многопоток, либо всё-таки Postgres. И про масштаб: база на 2.3 млн уникальных записей весит 225 МБ, на 50 млн будет около 5 ГБ, но запросы останутся на уровне единиц миллисекунд, потому что индекс работает логарифмически. Проверять это на 50 млн на этом ноутбуке я не стал — утверждать не буду. И к хранилищу относись как к компромату: соберёшь настоящую базу — шифруй диск.