Начало темыГайд

Аналитика канала без Telegram Analytics: свои метрики, ER двух видов и дашборд

stalevstalevНовичок·11.11.2026· 0 ответов 0 реакций

Осенью я пытался понять, стоит ли вообще вести канал про одно узкое железо. Вопрос был предельно практический: в какие часы посты заходят, а в какие висят мёртвыми. Открыл статистику канала, потом полез искать «аналитику для телеграма». Через час у меня было четыре бота, три из которых просили админские права, и ни одного ответа на вопрос «почему в 20:00 лучше, чем в 10:00».

Тогда я решил считать сам. И почти сразу упёрся в то, о чём обычно молчат в туториалах: считать нечего. Канала нет, выгрузки нет, доступа нет. Вот тут и стало интересно — можно ли собрать инструмент, который считает честно, когда данных нет вообще?

Можно, если не врать в двух местах: откуда взялись строки и что именно проверено. Дальше — что получилось. Все числа, которые я называю, лежат в прогоне рядом, в transcript.txt, и любой из них пересчитывается из строк руками, на калькуляторе.

Что собралось

Пакет на чистом Python: генератор датасета, слой метрик, отчёт в markdown и PNG-дашборд на Pillow. Плюс CLI с двумя командами и 54 теста. Внешних зависимостей ровно две — Pillow и pytest, numpy не понадобился.

Логика простая: генератор даёт строки, метрики считают по ним числа, отчёт и картинка рисуются из этих же чисел. Ни одна цифра в отчёте не вписана руками — если поменять seed, поменяется и текст, и график. Это, кстати, отдельный тест: два отчёта с одинаковым seed сравниваются побайтово, а картинки с разным seed обязаны отличаться.

Данные синтетические, и это не оговорка в сноске

Живой канал я не измерял. Telegram API не вызывал — ни Bot API, ни MTProto, ни токена, ни выгрузки. Все 400 постов нарисованы кодом из seed 7. Так что «канал» здесь — это распределение, а не чей-то аккаунт, и я не буду делать вид, что за цифрами стоит реальная аудитория.

Но синтетика бывает разная. Можно насыпать случайных чисел и получить отчёт, который ничего не проверяет. Я пошёл другим путём: описал модель в докстринге генератора, чтобы её можно было оспорить. Модель такая:

views = lognormal(median=850, sigma=0.30)
      x TYPE_VIEW[тип]      text 1.00  photo 1.18  video 0.86  poll 0.74
      x HOUR_VIEW[час]      0.42 в 03:00 .. 1.30 в 20:00
      x WEEKDAY_VIEW[день]  1.06 вт .. 0.86 вс
      x (subs_prev / 4150) ^ 0.9
      x lognorm(1, 0.18)                  шум поста

new[d]     = 5.2 * daily_views[d] / 1000 * lognorm(1, 0.15)
churned[d] = 3.4 * subs_prev / 1000 * lognorm(1, 0.20)
net[d]     = new[d] - churned[d]

Подписчики считаются от подписчиков предыдущего дня — специально, чтобы не получилось цикла «просмотры зависят от базы, а база от просмотров». Один день (индекс 41, то есть 2026-10-12) получает множитель 9 на самый просматриваемый пост: подложенный выброс, который потом ищет уже не генератор, а детектор аномалий. Получается честная проверка — детектор не знает, куда смотреть.

Итог по окну: 400 постов за 60 дней, 4 типа контента, 437575 просмотров. Медиана дневных просмотров 6972, среднее 7293, СКО 2247. Медиана поста 991, среднее 1094 — среднее выше медианы, потому что распределение с длинным правым хвостом. Это не украшение: если в отчёте среднее и медиана совпали, вы, скорее всего, смотрите не на просмотры.

ER бывает двух видов, и это ломает половину сравнений

Самое полезное, что я вынес из этой писанины. ER по просмотрам — это (реакции + репосты) / просмотры. ER по подписчикам — те же реакции и репосты, делённые на размер базы. В прогоне вышло 4.31% и 0.984%. Разница в 4.4 раза, и это не ошибка, а разные вопросы: первый — «какая доля увидевших отреагировала», второй — «какая доля всей базы». Пост в среднем видят 1094 человека из 5439 подписчиков, отсюда и разрыв.

Правило «ER по подписчикам всегда меньше» держится ровно до первого вирусного поста. У меня такой нашёлся один: пост #278, 12852 просмотра при 5077 подписчиках, охват 2.53. У него ER по подписчикам 4.35% против 1.72% по просмотрам — знаменатели поменялись местами. Один пост из 400, и он же объясняет, почему нельзя выбрать «правильную» метрику один раз и навсегда: они отвечают на разные вопросы, и обе цифры верны.

Разрез по типам контента, медианы (n — сколько постов реально в типе):

тип      n  просм.мед  просм.ср  ER вид, %  ER подп, %  вир, %  reach
-----  ---  ---------  --------  ---------  ----------  ------  -----
text   209        980      1126       4.16       0.863    1.02  0.208
photo  116       1121      1193       4.42       1.002    0.80  0.229
video   42        917       930       5.05       0.933    2.51  0.197
poll    33        722       753       4.92       0.776    0.50  0.167

Читать это надо аккуратно. У видео самый высокий ER и самая высокая виральность — 2.51% против 1.02% у текста, — но просмотров меньше: 917 против 980. То есть видео лучше конвертирует тех, кто досмотрел, и хуже собирает показы. У опросов ER 4.92%, а охват самый низкий из четырёх, 0.167. Если бы я смотрел только на ER, решил бы, что надо постить опросы. Если только на просмотры — что надо постить фото. Правильный ответ зависит от того, что вам нужно: показы или реакции.

И сразу оговорка, которую хочется вписать в рамку: при n=42 и n=33 разница медиан между видео и опросом вполне может быть шумом. Я не считал значимость и не буду делать вид, что считал.

Время публикаций: медиана, а не среднее

Корзин 168 — день недели на час. В выборку попало 72, остальные видели один-два поста, и медиана по одному посту — это сам пост. Верхние клетки: среда 20:00 (n=4, медиана 1952), суббота 09:00 (n=5, 1933), вторник 21:00 (n=3, 1784), вторник 10:00 (n=9, 1670), понедельник 17:00 (n=4, 1617). Низ: вторник 06:00 (n=5, 441), воскресенье 03:00 (n=3, 489), пятница 23:00 (n=3, 568), суббота 20:00 и 08:00 (667 и 669).

Разрыв между верхней и нижней клеткой — 4.43 раза. Звучит как открытие, но это свойство модели: я сам заложил провал в 03–06 и горбы в 09–11 и 19–21. В этом и проблема любого разбора по часам: если постов в клетке три, вы измеряете не «лучшее время», а три случайных поста. Поэтому в коде стоит порог n >= 3, а в отчёте рядом с каждой клеткой печатается её n. Живые данные ведут себя так же — только там ещё и накрутка сверху.

Один день, который выбивается

Классический z-score по дневным просмотрам: среднее 7293, СКО 2247, порог 3. Нашёлся ровно один день — 2026-10-12, 19282 просмотра, z = +5.33, отклонение от среднего +164%. Детектор не знал, что этот день подложен; он нашёл его по серии.

Хитрость в том, что z-score сам себя маскирует: выброс входит в среднее и раздувает СКО, поэтому оценка выходит заниженной. Рядом лежит вторая, робастная проверка по MAD — медиана 6972, MAD 1220, z = +6.81. Оба метода показывают на один и тот же день, и только это и есть аргумент. Один метод, один порог, красивая цифра — так аномалии не ищут.

Рост: 1289 — это разность, а не 1289 новых людей

Разложение прироста по дням: новых 2297, ушедших 1008, чистыми 1289. Тождество new минус churned равно net проверяется построчно, а не по сумме — сумма может совпасть случайно, а 60 строк подряд уже нет. База выросла с 4150 до 5439, это +31.1% за два месяца, в среднем 38.28 новых и 16.80 ушедших в день.

Отток — 43.9% от притока. То есть почти каждый второй пришедший в итоге уходит, и «плюс 1289» — это не 1289 человек, а сальдо. Когда в канале пишут «нас стало на тысячу больше», они обычно не показывают, сколько ушло. Вот это и есть та цифра, которую в таких постах не печатают.

Лучший день по чистому приросту — тот самый 2026-10-12 (+81): вирусный пост притащил подписчиков. Худший — 2026-09-26, всего +4. Разница между лучшим и худшим днём в двадцать раз, и оба дня — обычные вторники и субботы.

Сравнение окон командой compare тоже на числах: с 1 октября против тридцати дней до него. Постов 198 против 202, просмотров 234995 против 202580 (плюс 32415), просмотров на пост 1186.8 против 1002.9. А ER при этом упал: 4.27% против 4.36% по просмотрам. То есть охват вырос, а вовлечение слегка просело — и это ровно тот случай, когда одна метрика врёт, если смотреть только на неё.

Что проверено

54 теста, все зелёные. Формулы ER сверены с ручным расчётом на трёх постах: 40/1000 = 4.00%, 5/500 = 1.00%, 50/2000 = 2.50% — если формула сломается, тест упадёт на арифметике, а не на «выглядит подозрительно». Тождество роста проверяется по каждой из 60 строк. Корзины часов, дней и час-недели складываются ровно в 400 постов — тоже тест, потому что потерять пост в группировке проще, чем кажется. Детектор находит подложенный день, отчёт и PNG детерминированы по seed. Три панели дашборда проверяются по пикселям: если график окажется пустым, тест это увидит.

Отдельно проверено, что датасет детерминирован: два вызова с seed 7 дают идентичные строки. Без этого все остальные тесты бессмысленны — они бы проверяли новый набор данных каждый раз.

Что не проверено

Живой канал. Ни одного поста, просмотра или подписчика из Telegram в проекте нет. Telegram API не вызывался ни разу, выгрузки не было, токенов не существует. Если вы прикрутите сюда реальную выгрузку, метрики, скорее всего, поедут: у настоящих каналов есть удалённые посты, обрезанные просмотры у старых записей и накрутка, а в модели ничего этого нет.

Значимость различий я не считал и в коде не заявляю. Дельта в compare — простая разность двух окон одинаковой длины. На 30 днях и 200 постах t-тест был бы самообманом с бантиком.

Производительность на больших объёмах не мерилась. Код на списках и словарях, для месячного канала этого хватает, для 100 тысяч постов я ничего не обещаю.

Как это запускается

python cli.py report  --seed 7 --out report.md --png img/dash.png
python cli.py compare --seed 7 --since 2026-10-01
python -m pytest tests -q

Отчёт получается на 7445 символов, девять разделов, включая раздел «как сгенерированы данные» с константами модели. Дашборд — три панели: дневные просмотры с семидневным средним и отмеченной аномалией, медианы по часам, таблица типов. Вывод прогона выглядит так (это строки из transcript.txt, ничего не дописано):

=== 1. тесты: формулы проверяются, а не декларируются ===
$ python -m pytest tests -q
54 passed in 10.09s
exit code 0
покрыто: ER по просмотрам и по подписчикам (ручной расчёт на 3 постах),
reach и virality, тождество new-churned==net по каждому дню, корзины часов,
дней и час-недели складываются в 400, z-оценка попадает в подложенный день,
детерминизм датасета и отчёта, 3 панели дашборда непустые по пикселям

=== 2. датасет: что именно посчитано ===
постов 400, дневных записей 60, типов 4
просмотров сумма 437575
медиана дня 6972, среднее дня 7293, СКО 2247
медиана поста 991, среднее поста 1094 (среднее выше медианы — хвост)
подписчики 4150 -> 5439
типы: text 209, photo 116, video 42, poll 33

=== 3. ER по типам контента (медианы, n — число постов в типе) ===
тип      n  просм.мед  просм.ср  ER вид, %  ER подп, %  вир, %  reach
-----  ---  ---------  --------  ---------  ----------  ------  -----
text   209        980      1126       4.16       0.863    1.02  0.208
photo  116       1121      1193       4.42       1.002    0.80  0.229
video   42        917       930       5.05       0.933    2.51  0.197
poll    33        722       753       4.92       0.776    0.50  0.167
весь период: ER вид 4.31%  ER подп 0.984%  reach 0.228  virality 1.05%

Сама картинка:

Что мне в этом нравится: инструмент не притворяется, что видел канал. Он говорит «вот модель, вот как она устроена, вот числа, вот тесты, которые их держат». Если модель не похожа на ваш канал — это видно сразу, по константам в докстринге, и её можно переписать под свои данные, не трогая ни одной формулы метрик. А формулы — они и есть та часть, которую стоит тащить в прод: два ER с разными знаменателями, медиана вместо среднего в разрезах по времени, построчное тождество в декомпозиции роста и два независимых детектора аномалий, которые обязаны совпасть.

если что-то работает и никто не понимает почему — не трогай

Исходники
chan-analytics.zipЗарегистрируйтесь и поставьте реакцию на сообщение — исходник откроется.49 КБ
изменено 11.11.2026, 01:49:44

Комментарии

0
Пока нет комментариев. Войдите, чтобы ответить первым.