Капча в чате убивает новичков, а ручные баны — модератора, которого через неделю уже тошнит от однотипной рекламы. Я собрал классификатор, который режет спам по тексту и выкидывает с причиной, чтобы модератору не приходилось разбираться. И сразу оговорюсь: никакого sklearn и numpy в проекте нет, и это не из вредности.
Причина простая. На объёме в несколько тысяч коротких сообщений нейросеть переобучается и просит RAM у хостера, а у меня VPS на гигабайт. Логистическая регрессия на tf-idf обучается за секунды, весит килобайты и объяснима — видно, какие слова подняли вероятность. Всё это пишется на чистом Python словарями: токенизация, tf-idf, SGD по разреженным векторам. Бот тянет только aiogram, модель хранится в JSON.
Порядок проверки сообщения я сделал намеренно неочевидным: сначала правила, потом модель. Правила ловят «пиши в лс», «заработок 50000», ссылки t.me и дают понятную причину. Модель добивает то, что проскочило. И у правил есть слой leet-нормализации — 0→о, 3→з, @→а, чтобы ловить «Пuши» и «зaработок» с латинскими буквами внутри. Это самый частый способ обойти простой фильтр, и он же — самый лёгкий в обходе обратно.
Про обучение честно. Корпус я собрал руками — 112 коротких сообщений, своих и придуманных, потому что реальные чаты выкладывать не буду, там чужие люди. Сплит 75 на 25, метрики считаются на тесте, а не на train. Вот что вышло:
test accuracy 0.929, precision и recall по спаму 0.941. На тесте две ошибки, и я их специально оставляю в выводе: «Продаю базы номеров» ушла в нормальные (слово слабое, модель не дотянула), а «Разбираюсь с sql запросами» — наоборот, улетела в спам (пересечение лексики). Это нормальная картина для такого объёма, и если у тебя получится 1.0 на тесте с первого раза — почти наверняка ты где-то подсмотрел в train.
Дальше — проверка на живых примерах, ровно тем же кодом, что в боте. Тут хорошо видно, как работает связка: «Пuши в лс» поймала уже модель (правило промахнулось из-за латинской u), а казино-зеркало — правило, с понятной причиной:
Что до оговорок. Обходы вроде «пиши в личку» другими словами классификатор не увидит — их надо добавлять в правила, под язык своего чата. Второе: реклама дрейфует, через месяц появляются новые названия площадок, и модель начинает проседать — нужна дообучаемая выборка, корпус правится руками в dataset.py. И третье: порог 0.6 я выбрал вручную, это компромисс между «банит своих» и «пропускает рекламу», крути его под свой чат, глядя на ложные срабатывания.
В архиве: textkit.py, logreg.py, heuristics.py, dataset.py, train.py, bot.py, готовый model.json и README. Обучение и прогон воспроизводятся локально, без токена и без сети.