Начало темы

Открытые модели на задачах реверса: 20 задач и три метрики вместо «мне нравится»

byteputbyteputНовичок·11.11.2026· 0 ответов 0 реакций

Каждый второй пост про «какая модель лучше реверсит» устроен одинаково: автор берёт пять задач, спрашивает шесть моделей, выкладывает таблицу с галочками и вывод «Qwen лучше всех». Проверить это нельзя — задач нет, ответов нет, критерия «лучше» тоже нет. Мне надоело читать такие таблицы, и я сделал стенд, по которому можно проверить хотя бы сам стенд.

Сразу самое неприятное, потому что иначе весь текст ниже — враньё. Настоящие модели я в этом прогоне не вызывал. На машине, где писался проект, нет ни локальной модели, ни выхода к API. Придумать «8 токенов в секунду» и «30% ошибок» я могу за минуту, но это ровно то, за что я ругаю чужие таблицы. Поэтому в архиве — работающий стенд, банк задач и прогон заглушки, которая доказывает, что метрики ловят брак. Настоящие цифры получаются одной командой, когда есть к чему подключиться.

Почему не «нравится / не нравится»

Первый вариант стенда был простой: вопрос, ответ, человек ставит галочку. На двадцати задачах я поймал себя на том, что ставлю галочку за уверенный тон. Ответ «xor с ключом 0x5A, операция обратима» и ответ «да, тут однобайтовый xor, но нюансов много, возможно есть свои особенности» описывают одно и то же, и второй я оценил почти так же высоко, хотя инженеру он не даёт ничего.

Поэтому метрик три, и они про разное.

coverage — доля обязательных проверок, найденных в ответе. Проверки заданы регулярками и написаны до прогона, по принципу «без этой мысли ответ бесполезен». Для задачи про константы MD5 это четыре вещи: имя алгоритма, little-endian, четыре слова инициализации, и хоть одно слово про таблицу раундов.

hedges — сколько раз модель сказала «возможно», «в целом», «не уверен», «затрудняюсь». Это не штраф к покрытию, а отдельная цифра. Модель, которая на прямой вопрос отвечает оговорками, не врёт и не ошибается — она просто занимает место в логе.

invented — идентификаторы и hex-константы, которых нет ни в коде задачи, ни в эталоне. Вот это главное. На реверсе самая дорогая ошибка — не «не знаю», а «знаю», с названием функции, которой в бинарнике нет. Человек берёт такой ответ в работу и полчаса ищет несуществующий g_encState по перекрёстным ссылкам.

Эвристика там грубая и я это не прячу: берутся токены с подчёркиванием, camelCase, капсом и hex от четырёх знаков. Поэтому метрика печатает не число, а список — его видно глазами и можно оспорить.

Двадцать задач, четыре типа

Задачи не придуманы из воздуха, это то, что реально приносят на стол: объяснить кусок декомпила, узнать алгоритм по константам, починить скрипт IDAPython, восстановить структуру по смещениям.

explain    8   xor-цикл, таблица указателей, RC4 KSA, PEB.BeingDebugged,
               SSE-строки на стеке, ROR13, IAT-прыжок, stack canary MSVC
algorithm  6   MD5, CRC-32, TEA, Java hashCode, glibc rand, base64 с чужим алфавитом
fix-script 3   bytes против str в get_bytes, add_func вместо MakeFunction,
               переносимость idautils.Segments() между 6.x и 7.x
structure  3   std::string в MSVC, сетевой заголовок, объект с vtable и RTTI

Задача — обычный словарь в tasks.py: код, вопрос, эталон, список регулярок. Свою добавить — дописать словарь, код трогать не надо.

"id": "t05", "kind": "fix-script",
"checks": [r"b'mz'|b\"mz\"", r"bytes", r"7\\.6|bytes вместо str|верн[уя]т bytes"],

Отдельный тест проверяет, что эталон проходит свои же проверки. Звучит как издевательство, но без него половина банка была бы сломана: я дважды ловил задачу, где проверка написана словами, которых в эталоне нет, — то есть проверка не про ответ, а про мою память.

Что показал прогон заглушки

Заглушка отвечает без сети и умеет четыре типа деградации. Смысл не в том, чтобы изобразить модель, а в том, чтобы проверить сами метрики: если профиль «общие слова» проходит строго, значит метрики никуда не годятся.

профиль                             coverage  оговорок  выдумок  строгих
honest     — эталон дословно           1.00        0        0     20/20
truncated  — первое предложение        0.66        0        0      2/20
vague      — общие слова               0.00       80       16      0/20
confident  — верное + выдуманный текст 1.00        0       60      0/20

Последняя строка — то, ради чего всё затевалось. По покрытию такая модель неотличима от идеальной: все обязательные мысли на месте, оговорок ноль. Отличает её только третья метрика, и отличает жёстко — шестьдесят выдумок на двадцать задач, по три на ответ.

Именно так выглядят ответы, которые опасно брать в работу. Не «не знаю», а «знаю» с добавкой, которой в бинарнике нет. Человек с опытом такую добавку отсеет, новичок — нет, и это ровно та аудитория, для которой пишут посты «прогнал 6 моделей».

Как получить настоящие цифры

Провайдер — обычный /chat/completions, поэтому подходит что угодно: vLLM, llama.cpp server, Ollama, LM Studio, OpenRouter. Одна команда на модель, результат падает в results/<model>.json вместе с сырыми ответами, чтобы таблицу можно было оспорить построчно.

python bench.py --provider openai \\
    --base-url http://127.0.0.1:8080/v1 \\
    --model qwen3-30b-a3b --out results/qwen3.json

python bench.py --provider openai \\
    --base-url https://openrouter.ai/api/v1 \\
    --model qwen/qwen3-30b-a3b --md results/qwen3-or.md

Флаги по мелочи, но экономят время: --limit 5 — смоук перед полным прогоном, --kind algorithm — только один тип задач, --md — таблица в markdown.

Где стенд врёт

Регулярки на покрытие — грубый инструмент. Верный ответ другими словами не засчитается, и я сознательно выбрал эту сторону: лучше пропустить хороший ответ, чем засчитать пустой. Второе лечится чтением results.json, первое — дописыванием проверок.

Метрика выдумок ловит не всё. Она не поймёт, что модель перепутала CRC-32 с CRC-16, если обе константы есть в тексте задачи. Она же может дать ложное срабатывание на редкое слово капсом. Поэтому в отчёте список, а не счётчик.

И главное: двадцать задач — это мой вкус, а не выборка. Модель, которая хорошо отвечает на них, не обязана быть полезной на вашей задаче. Стенд нужен, чтобы сравнивать модели между собой на одном наборе, а не чтобы выдать «лучшую модель реверса» в заголовке.

Что в архиве

tasks.py — банк из 20 задач и 72 проверок. score.py — три метрики и сводка. providers.py — заглушка с четырьмя профилями и клиент к OpenAI-совместимому API. bench.py — прогон, таблица, json. make_transcript.py — собирает транскрипт из реальных прогонов, а не из головы. make_images.py — схема и скриншот, причём числа на схеме парсятся из transcript.txt, чтобы картинка не разъезжалась с прогоном при следующем запуске. Двадцать шесть тестов, из них три проверяют именно метрики на профилях заглушки.

Чего в архиве нет: замеров VRAM и токенов в секунду. Для них нужна запущенная модель, а её отсюда не видно. Когда запущу — допишу отдельным постом с цифрами и сырыми ответами, потому что иначе это опять будет таблица с галочками.

нет ничего постояннее временной заплатки

Исходники
revbench.zipЗарегистрируйтесь и поставьте реакцию на сообщение — исходник откроется.37 КБ

Комментарии

0
Пока нет комментариев. Войдите, чтобы ответить первым.