Каждый раз, когда сервис падает не от бага, а от нагрузки, в логах одна и та же картина: горутин восемь тысяч, память растёт, latency растёт, потом OOM. Причина не в том, что «мало горутин», а в том, что вход ничем не ограничен.
Собрал маленький пул, который решает ровно это. Число воркеров фиксировано, очередь конечна, и когда она полна — задача не ждёт в памяти, а сразу получает отказ. В HTTP это 429.
Почему так, а не «добавить горутин». Горутина дешёвая, но не бесплатная: висящая горутина держит около 8 КБ стека. В демо ниже я специально подвесил 200 000 горутин на канале — 1.5 ГБ только под стеки и ноль полезной работы. Ограничить вход дешевле, чем оплачивать его памятью.
Как устроено. New[T](workers, queue, handler) — дженерик, задача любого типа. Два способа поставить задачу: Submit(ctx, v) ждёт место, пока не истечёт ctx; TrySubmit(v) не блокирует и при полной очереди возвращает ErrQueueFull. Второй — под HTTP: ошибку переводим в код через HTTPStatus(err), полная очередь становится 429, закрытый пул — 503.
Close() закрывает вход и дорабатывает то, что уже в очереди (дренаж) — принятое не теряется. Метрики простые: обработано, ошибок, отвергнуто, среднее время в очереди. Именно среднее ожидание первым уходит вверх, когда пул перегружен.
func (p *Pool[T]) TrySubmit(v T) error {
p.mu.RLock()
defer p.mu.RUnlock()
if p.closed {
return ErrClosed
}
select {
case p.jobs <- job[T]{val: v, queued: time.Now()}:
return nil
default:
p.metrics.IncRejected()
return ErrQueueFull
}
}
func (p *Pool[T]) worker() {
defer p.wg.Done()
for j := range p.jobs {
p.metrics.ObserveWait(time.Since(j.queued))
if err := p.handler(context.Background(), j.val); err != nil {
p.metrics.IncFailed()
}
p.metrics.IncProcessed()
}
}Цифры с прогона, не синтетика — всё в архиве: transcript.txt, тесты и бенчмарки. 400 задач в пул 4 воркера / очередь 16, обработка по 15 мс: принято 17, остальные 383 получили отказ сразу. Через дренаж обработано 17, среднее ожидание в очереди 26.3 мс.
Под нагрузкой в тесте: 200 одновременных запросов в пул 2 воркера / очередь 4 → 28 ответов 200, 172 ответа 429. Сервер при этом жив, память не растёт.
Бенчмарк на моём i3 (200 мс): пул 568 нс/оп и ноль аллокаций, «горутина на задачу» 1162 нс/оп и 20 байт на операцию, чистый канал 257 нс/оп. То есть пул не медленнее «просто горутин» — и при этом не даёт входу раздуться. Это и есть главный вывод: пул нужен не ради скорости, а ради предела.
Чего тут нет. Приоритетов и отмены уже принятой задачи нет — очередь строго FIFO. Персистентной очереди нет, и это осознанно: очередь на диск — та же память, только медленнее и с fsync. Среднее ожидание врёт под нагрузкой, перцентилей нет. Воркеры не масштабируются на лету.
Подводные камни, на которые сам наступил. Submit держит RLock на время блокирующей отправки, поэтому Close дождётся постановщиков, а не закроет канал у них под руками — иначе классический send on closed channel. time.Now() на каждую задачу добавляет сотни наносекунд; если время ожидания не нужно, метку можно выкинуть.
Исходник целиком в архиве под постом: pool.go, тесты, бенчмарки, cmd/demo, cmd/server и README со всеми числами. Картинки ниже — реальный вывод этого прогона и схема.