Три раза за последний год я разбирал чужой asyncio-код по одной и той же причине: работает, но медленно, и непонятно почему. Все три раза набор грабель был почти одинаковый. Собрал их в один список, чтобы не наступить в четвёртый.
Начну с самого частого. Блокирующий вызов внутри корутины — это не «немного медленно», это остановка всего цикла. Пока одна задача сидит в requests.get или time.sleep, остальные двести не выполняются вообще. Проверяется за минуту: двести задач по time.sleep(0.1) дают двадцать секунд вместо одной десятой. Поменял на asyncio.sleep — и всё, что ты думал про «медленную сеть», испарилось.
То же с open() и с драйверами БД. psycopg2 синхронный, он будет держать цикл ровно столько, сколько идёт запрос. Выхода два: asyncpg или loop.run_in_executor с пулом потоков. Второй медленнее и жрёт потоки, но переписать полпроекта на asyncpg за вечер не всегда реально — я так и жил месяца три.
Второе — то, что я сам делал неправильно года полтора. asyncio.create_task без сохранения ссылки. Задачу никто не держит, сборщик мусора имеет полное право прибить её посреди работы, и ты получаешь «иногда не выполняется». Исключение при этом даже не всплывёт — оно уйдёт в никуда.
_tasks = set()
def spawn(coro):
t = asyncio.create_task(coro)
_tasks.add(t)
t.add_done_callback(_tasks.discard)
return tТретье — семафор, созданный не там. Классика: asyncio.Semaphore(10) внутри функции, которую вызывают на каждый запрос. Семафор новый каждый раз, ограничение десять считается для каждой задачи отдельно, суммарно — безлимит. Тот же баг с httpx.AsyncClient: клиент на запрос вместо клиента на процесс. Замерял: пять тысяч запросов при конкуренции 200 — с одним клиентом 41 секунда, с клиентом на каждый запрос три минуты двадцать. Новый TLS handshake и новый пул соединений на каждый вызов.
Четвёртое — gather без return_exceptions. Одна задача упала: остальные продолжают работать, но результаты ты уже не соберёшь, а исключение всплывёт наружу и убьёт остальную логику. С 3.11 для этого есть TaskGroup — при первом падении отменяет всех и складывает ошибки в ExceptionGroup. Если питон старее, gather(..., return_exceptions=True) и разбирать список руками.
Пятое, самое дорогое на практике. gather на пятьдесят тысяч корутин сразу. Память кончится раньше, чем сеть. Нужен ограниченный пул: очередь и N воркеров, которые её разбирают.
async def worker(queue, client, out):
while True:
item = await queue.get()
try:
out.append(await client.get(item))
finally:
queue.task_done()
queue = asyncio.Queue(maxsize=1000)
workers = [asyncio.create_task(worker(queue, client, out)) for _ in range(200)]
for item in items:
await queue.put(item)
await queue.join()
for w in workers:
w.cancel()Шестое — CPU. Хэширование, тяжёлые регулярки, парсинг больших json, сжатие. GIL тут не спасает: он освобождается на I/O и на некоторых C-вызовах, а не на любом коде. Корутина, которая считает sha256 на 50 МБ, блокирует цикл ровно так же, как time.sleep.
Седьмое — asyncio.run внутри уже запущенного цикла. В ноутбуке, внутри другой корутины, в тесте. Получаешь RuntimeError про running event loop. В ноутбуке лечится nest_asyncio, но я бы не советовал: потом ловишь зависания, причину которых ищешь полдня. Внутри корутины просто await.
Восьмое — вызов из потока без call_soon_threadsafe. asyncio не потокобезопасен. Если код в ThreadPoolExecutor хочет что-то сказать циклу, только loop.call_soon_threadsafe или asyncio.run_coroutine_threadsafe. Иначе получаешь либо тишину, либо гонку, которая стреляет раз в неделю и на проде.
Девятое — забытый таймаут. У httpx по умолчанию нет общего таймаута, только по фазам. Висящий сокет без таймаута держит слот семафора бесконечно, и пул постепенно встаёт. Ставлю httpx.Timeout(30.0, connect=10.0) на всё, что ходит наружу, без исключений.
Десятое, про uvloop. Его советуют везде, и он правда быстрее — на синтетике из одних переключений контекста. На реальной нагрузке, где восемьдесят процентов времени это сеть, разница в пределах шума. Ставить его, чтобы «ускорить» код с блокирующими вызовами, бессмысленно: они как блокировали, так и будут.
Если после списка осталось ощущение, что asyncio — это боль, то нет. Он просто не прощает синхронных привычек, а компилятор об этом не предупредит: код, который работает в сто раз медленнее, синтаксически абсолютно валиден. Проверять надо не глазами, а стресс-тестом: двести задач, одна из них блокирующая, смотришь на общее время.