Начало темыИсходник

OSINT-ассистент без облака: цикл планировщик-инструмент и уверенность из согласования

keramickeramicНовичок·11.11.2026· 0 ответов 0 реакций

Запрос, с которого всё началось, звучал так: «дай ник — собери всё, что открыто». Формулировка красивая, и в ней спрятана главная проблема: «собери всё» — это не задача, а направление. Агент, который просто дёргает десять API подряд, собирает мусор и складывает его в кучу. Нужен был не такой.

Стало быть, задача: локальный цикл «планировщик — инструмент — результат — состояние», где каждый шаг имеет причину, каждый факт — источник, а уверенность считается из согласования инструментов, а не из настроения автора. Никакого облака: WHOIS, DNS и HTTP идут прямо из процесса, поиск по нику — по локальному SQLite, утечки и аватары — синтетические таблицы с фиксированным seed.

И сразу про модель. LLM-планировщик в проекте есть, он полностью собран, но по умолчанию работает RulePlanner — без модели. Не из идеологии, а из проверяемости: правила можно прочитать и оспорить, «модель так решила» — нельзя. На этой машине ни llama.cpp, ни весов нет, так что LLM-ветка проверена тестом на мок-сервере, и я это говорю в начале, а не в конце мелким шрифтом.

Шесть инструментов, каждый со своей ценой

Их ровно шесть, и это осознанный минимум, а не «сколько успел».

nick_search — SQL по локальному индексу. Девять профилей, шесть площадок, четыре ника в seed-файле, из него собирается SQLite. Никаких поисковиков и скрапинга: живой поиск по нику — это отдельная боль с капчами и лимитами, и в агент она не входит.

whois_lite — свой клиент порта 43 и свой разбор registry-полей. Без библиотек, потому что нужен не «какой-то ответ», а конкретные поля: регистратор, дата создания, дата истечения, список NS, и причина, если поля нет.

dns_lite — свой DNS wire-формат: сборка запроса, разбор ответа, TTL, NXDOMAIN как отдельный исход. Тут была причина не брать готовое: dnspython тянет зависимость и прячет то, что мне нужно видеть — например, что NXDOMAIN это ответ, а не ошибка.

http_probe — единственный инструмент на httpx: редиректы, заголовки, TLS-поля. Если HTTPS нет, в отчёте будет tls=null с причиной, а не выдуманный сертификат.

avatar_hash — перцептивный хеш по сетке 8×8, сравнение по Хэммингу. mail_leak — проверка email по таблице хешей с префиксом, то есть та самая схема, которой пользуются настоящие сервисы утечек, чтобы не отдавать базу целиком.

k-анонимность: единственное место, где я считал теорию, а не код

Схема простая: от хеша email берётся префикс длиной 5 hex-символов, и запрос отвечает «есть совпадение или нет», не отдавая сам хеш. Вопрос, который сразу возникает: а не слишком ли короткий префикс, не выдаёт ли он лишнего.

Арифметика на моей таблице: 16^5 = 1 048 576 бакетов на 3001 хеш, в среднем 0.003 записи на бакет. То есть префикс из 5 символов здесь практически уникален, и сужение до 3 символов ничего не расширяет — в бакете всё равно одна запись. Бакет начинает быть шумным примерно на 10^8 хешей: 10^8 / 1048576 ≈ 95 записей на бакет, и вот тогда короткий префикс перестаёт различать.

Честная оговорка, которую я оставил прямо в транскрипте: синтетическая таблица на 3001 запись этот эффект не воспроизводит и не притворяется, что воспроизводит. Я посчитал, при каких размерах он включится, и не стал делать вид, что проверил его вживую.

Прогон, на котором видно всё

Дальше — то, ради чего проект и собран: прогон по loopback-мокам. Моки поднимаются на портах, которые выдала ОС, поэтому в отчёте стоят адреса вида 127.0.0.1:56701, и они совпадают с тем, что реально было в сокете.

[plan] rule  nick=alice  whois=127.0.0.1:56701  dns=127.0.0.1:63982
[01] nick_search  nick=alice                        ok     14 ms
[02] avatar_hash  image_path=data/avatars/probe.png ok    120 ms
[03] mail_leak    [email protected]         ok     15 ms
[04] whois_lite   domain=alice.example              ok    196 ms
[05] dns_lite     name=alice.example qtype=A        ok     36 ms
[06] dns_lite     name=alice.example qtype=MX       ok     43 ms
[07] dns_lite     name=alice.example qtype=TXT      ok     24 ms
[08] dns_lite     name=alice.example qtype=NS       ok     29 ms
[09] http_probe   url=http://127.0.0.1:56702/       ok   4379 ms
[stop] правило 7: новых фактов нет — останавливаемся
[stats] steps=9 ok=9 wall=4862ms tool=4856ms plan=1528us
[report] report.md 9498 bytes

Девять шагов, шесть инструментов, ноль сбоев. Планировщик потратил 1528 микросекунд на девять решений — это 0.03% времени прогона, всё остальное съели инструменты. Самый долгий шаг, 4379 мс, — первый HTTP-запрос: в нём собирается httpx.Client. Это не «медленный сайт», это цена инициализации, и в отчёте она видна честно.

Останов по правилу 7 — отдельная вещь, которой я доволен. Цикл не «сделал все инструменты и вышел», а останавливается, когда очередной шаг перестаёт приносить новые факты. Дальше гонять DNS по кругу бессмысленно, и агент это знает. Плюс анти-петля: повторный вызов с теми же аргументами блокируется на уровне цикла, а не на уровне «повезло, что не зациклился».

Уверенность: 0.58 — это не «на глаз»

В отчёте 24 находки: три подтверждены двумя и более инструментами, двадцать одна одиночная. Уверенность подтверждённых — 0.58, одиночных — 0.22 и 0.34, в зависимости от типа факта. Правило простое: факт подтверждён, если его независимо вернули минимум два источника; тогда уверенность складывается из числа согласованных источников и их веса. Одиночный факт остаётся в таблице, но с низким числом, и по нему видно, что он ничем не поддержан.

И отдельный множитель, который я считаю самым важным решением в проекте: подтверждение синтетикой — не подтверждение, поэтому находки из mail_leak и avatar_hash срезаются множителем 0.65. Да, это значит, что на моих демо-данных эти инструменты выглядят слабее, чем могли бы. Именно этого я и хотел: отчёт не должен звучать увереннее, чем данные, на которых он построен.

Живой режим и настоящая дыра, которую он вскрыл

Отдельный прогон без моков, с настоящими whois.iana.org и 1.1.1.1. Ник alice из seed-индекса указывает на alice.example — домен из RFC 2606, которого в настоящих реестрах нет. То есть проверяется не «нашёл человека», а поведение на пустом ответе.

Результат: девять шагов, восемь успешных, один сбой — http_probe с ConnectError: [Errno 11001] getaddrinfo failed, потому что имени нет в DNS. Одиннадцать находок, подтверждено ноль. WHOIS ответил returned 0 objects, DNS вернул NXDOMAIN на все четыре типа. Всё это попало в раздел «Не подтверждено» человеческим текстом: «WHOIS ответил, что домена нет в реестре», «DNS вернул NXDOMAIN» — а не пустотой.

А теперь про дыру, потому что она настоящая и её стоит описать. В первой версии факт «домен alice.example» засчитывался как согласованный тремя источниками: индекс сказал имя, WHOIS подтвердил, DNS подтвердил. Только WHOIS и DNS подтверждали не существование домена, а то, что они его спросили и вернули то же имя. Три инструмента соглашались сами с собой и давали 0.58 домену, которого не существует.

Поймал это живой прогон, а не тесты, — и это ровно та причина, по которой я его делал. Правка: факт о существовании имени требует либо found=true от реестра, либо записей в DNS. Закреплено двумя тестами, test_not_found_domain_does_not_confirm_itself и test_negative_answers_are_reported_as_answers. Второй, если вдуматься, важнее первого: отрицательный ответ — это тоже ответ, и он должен быть в отчёте, а не превращаться в тишину.

Чего в этом проекте нет

Модель не запускалась. LLMPlanner собран целиком: запрос с tools=[...] на OpenAI-совместимый /v1/chat/completions, разбор tool_calls, защита от повторного вызова с теми же аргументами. Но проверен он тестом на мок-сервере, потому что живых весов на машине нет. Замеров tok/s в теме нет и выдумано не будет — сравнивать нечего.

Агент не ходил в живые реестры в основном прогоне: WHOIS и DNS в нём — моки на 127.0.0.1. Живой транспорт проверен отдельно, двумя запросами: один DNS к 1.1.1.1 (46 мс, два A-адреса) и один WHOIS к whois.iana.org (233 байта, дата создания 1992-01-01). Это проверка парсеров, а не источник данных для отчёта.

HTTPS-ветка http_probe не проверялась: мок отдаёт http, поэтому в отчёте tls=null с причиной. Настоящих поисковиков нет: nick_search читает локальный SQLite из seed-файла. Утечки и аватары синтетические, 3001 хеш с seed 1337. Все домены в данных — *.example, все адреса — 203.0.113.x и 2001:db8::.

Что проверено

84 теста, все зелёные, прогон 64.56 секунды на этой машине. Покрыто: DNS wire-формат (сборка и разбор, включая NXDOMAIN и TTL), WHOIS-парсер на thin- и registry-ответах, перцептивный хеш и Хэмминг, SQL по индексу, планировщик с правилами и анти-петлёй, цикл с лимитами и таймаутами, отчёт (источники, уверенность, раздел «не подтверждено»), LLM-планировщик на мок-сервере.

Сборка данных занимает 646 мс: девять строк индекса, 3001 хеш, шесть записей аватаров и семь PNG. Отчёт — 9498 байт, 132 строки, 11 секций, 39 строк таблиц находок, ноль пустых ячеек в колонке источников.

Запуск

python cli.py --nick alice --out report.md
python make_transcript.py        # прогон на моках, как в транскрипте
python cli.py --nick alice --out report.md --rebuild
python cli.py --nick alice --out report.md --planner llm `
    --base-url http://127.0.0.1:8080 --model local-qwen
python -m pytest -q              # 84 passed

Зависимостей три: httpx для HTTP-пробы, pytest для тестов, Pillow для картинок и аватаров. DNS-парсер, WHOIS-клиент, перцептивные хеши и отчёт — на стандартной библиотеке.

Структура

agent/loop.py      цикл planner -> tool -> result -> state, лимиты, таймауты
agent/planner.py   RulePlanner: правила 1..7, анти-петля, адреса инструментов
agent/llm.py       LLMPlanner: tools=[...], tool_calls, защита от повторов
agent/report.py    находки, источники, уверенность, «не подтверждено»
agent/tools/       whois_lite, dns_lite, http_probe, nick_search, mail_leak, avatar_hash
cli.py             ник -> report.md, --trace-json для машинного trace
mocks.py           фейковые WHOIS (TCP), DNS (UDP), HTTP на 127.0.0.1
data/              индексы, хеши, аватары, seed-файл площадок
transcript.txt     полный вывод прогона

В архиве всё это плюс README, где отдельно расписано, что реально прогнано, и отдельно — чего в прогоне не было. Начинать стоит с agent/planner.py: там семь правил и видно, почему каждый следующий шаг вообще случился. Если забирать из темы одну мысль — пусть это будет «уверенность, подтверждённая синтетикой, должна быть срезана, а отрицательный ответ реестра — такой же факт, как положительный». Оба решения видны в отчёте, и оба появились не из аккуратности, а из прогона, который сначала соврал.

import antigravity

Исходники
osint-agent.zipЗарегистрируйтесь и поставьте реакцию на сообщение — исходник откроется.273 КБ

Комментарии

0
Пока нет комментариев. Войдите, чтобы ответить первым.