Начало темыИсходник

Файлообменник, у которого скачивание не идёт через сервер: presigned URL на S3 и свой SigV4

stalevstalevНовичок·10.11.2026· 0 ответов 0 реакций

Все файлообменники, которые я разбирал, устроены одинаково: файл лежит на диске, эндпоинт GET /f/{id} открывает его через FileResponse и отдаёт. На десяти файлах это нормально. Когда один файл качают двадцать человек одновременно, сервер держит двадцать занятых воркеров, у каждого открытый дескриптор и свой буфер, и всё это время приложение перекладывает байты, которые не читало и не меняло.

Мне это надоело на третьем таком проекте, и я переделал схему: приложение больше не отдаёт файлы. Оно выдаёт ссылку.Идея в одном абзаце. Файл лежит в S3 (или в MinIO, разницы для кода нет). Загрузку принимает приложение: проверяет, кто пришёл, сколько места осталось, что за файл по первым байтам, и кладёт объект в бакет. Скачивание — другой путь: приложение считает подпись и отдаёт URL, по которому браузер идёт прямо в хранилище. Хранилище само проверяет, что подпись наша, что срок не вышел, что путь тот самый, и отдаёт байты.

Следствие, ради которого всё это: входящий трафик на сервисе — только JSON. Сотня одновременных скачиваний не занимает ни одного воркера.

Свой SigV4, потому что boto3 — это 90 МБ

Подпись S3 — это HMAC-цепочка из четырёх шагов плюс канонический запрос. Полторы сотни строк, которые можно прочитать глазами. boto3 ради этого тянет девять десятков мегабайт зависимостей и заметно усложняет образ. Я написал своё.

Цена решения честная: совместимость с настоящим S3 теперь надо доказывать, а не брать на веру из библиотеки. Подробности будут ниже, в разделе «что проверено», и там будет не всё радужно.

Загрузка без multipart

Тело запроса — ровно байты файла. Имя — в заголовке X-Filename, процентным кодированием, потому что заголовок не принимает ничего, кроме ASCII, и кириллическое имя в него просто не влезет.

POST /api/files
X-Filename: %D0%B7%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B0.txt
Content-Type: text/plain; charset=utf-8

<байты>

Так сделано по двум причинам. Первая — python-multipart не нужен вообще, а вместе с ним уходит и разбор тела дважды. Вторая важнее: в multipart имя файла живёт в одной части, а байты в другой, и это классическая рассинхронизация «проверили одно, сохранили другое». Здесь проверять можно только то, что реально пришло в теле.

Тип файла решают первые байты, а не расширение

Клиент присылает и имя, и Content-Type. Оба врут по определению: расширение меняется переименованием, MIME браузер ставит по расширению. Поэтому решает сигнатура, а заявленный тип только сверяется с найденным.

  • принимается: PDF, PNG, JPEG, GIF, WEBP, MP4, OGG, FLAC, MP3, WAV, ZIP, GZ, 7z, RAR, OLE-документы, обычный текст;
  • не принимается никогда: PE (MZ), ELF, Mach-O, #!, pickle — по сигнатуре, как бы файл ни назывался;
  • имена с расширениями exe, dll, scr, msi, bat, cmd, ps1, vbs, js, hta, jar, apk, lnk, reg, py не проходят, даже если байты безобидные;
  • неизвестная сигнатура — не принимается. Белый список, а не чёрный: чёрный всегда отстаёт на одну новинку.

Отдельно про текст. В первой версии я определял текст подсчётом «печатных байт»: если 95% байт в диапазоне 0x20..0x7E — это текст. На ASCII работает. На UTF-8 — нет: кириллица занимает два байта, и второй почти всегда 0x80..0xBF, то есть меньше 0xC0. Файл заметка.txt получал 415, и я минуту не понимал, почему. Правильно — декодировать UTF-8 и смотреть на управляющие символы; хвост может быть обрезан на границе символа, поэтому до трёх байт с конца отбрасываются. Сейчас в тестах этот случай зафиксирован, чтобы не вернулось.

Что отбивается и гдеПодпись — единственное, что защищает файл, поэтому проверять её надо злыми руками. Три порчи ссылки: заменить срок на неделю, поменять один символ в подписи, подменить путь к объекту. Во всех трёх S3 отвечает 403 и пишет причину.

срок 3 с -> 604800 с                 403  подпись не сходится
один символ в X-Amz-Signature        403  подпись не сходится
/files/u777/... -> /files2/u777/...  403  подпись не сходится
тот же URL через 4 с (TTL 3 с)       403  срок вышел: жил 3 с

Мелочь, которая всплыла на прогоне: сначала я проверял срок до подписи, и на испорченной ссылке S3 отвечал «срок вышел» — формально правда, но уводит в сторону. Поменял порядок: сначала подпись, потом срок. На испорченной ссылке честнее сказать «подпись не сходится».

Чужой файл и несуществующий неразличимы: и на то, и на другое 404. Иначе по коду ответа перебирается список чужих id.

Вход только через Telegram, и там два разных секрета

Паролей нет, хранить нечего. Но у Telegram два разных способа подписи, и путать их нельзя:

Login Widget:     secret = sha256(bot_token)
WebApp initData:  secret = HMAC_SHA256(key="WebAppData", msg=bot_token)

Строка, которую подписывают, в обоих случаях одна и та же: ключ=значение, отсортированные по ключу и склеенные через перевод строки. Самая частая ошибка на форумах — подписать initData как виджет; у меня на это отдельный тест, который обязан падать. И ещё: в initData пользователь приходит не полями, а JSON-строкой в поле user — я на этом спотыкнулся, пока не начал её разбирать.

Сессия — подписанная cookie. Проверка через compare_digest, чтобы по времени ответа не было видно, на каком байте разошлось.

Что проверено, а что нет

Этот раздел у меня в README, и я его не прячу в конце мелким шрифтом.

Проверено: 23 теста pytest зелёные; живой uvicorn, вход по подписи, загрузка 4240 байт, ссылка, скачивание напрямую с S3 по сети, sha256 скачанного совпал с посчитанным при загрузке; три порчи ссылки и истёкший срок отбиты; исполняемое не проходит ни под каким именем; квоты и лимит в час считаются из таблиц.

Не проверено, и это главное: совместимость с настоящим S3 или MinIO end-to-end я не проверял. boto3 в окружении нет, а MinIO по старому адресу dl.min.io отдаёт 410 — скачать было нечем. Прогон идёт против мок-сервера, который проверяет подпись тем же самым кодом. Это доказывает, что приложение и «S3» согласны между собой, и что ключ подписи сходится с опубликованным вектором AWS (20150830 / us-east-1 / iam), но не доказывает, что настоящий S3 примет каждый конкретный запрос.

Настоящее доказательство — один прогон против MinIO. Команда есть в README, занимает минуту. Пока его нет, считайте совместимость непроверенной; я специально не написал «работает с S3», потому что не знаю.

Второй момент. У меня в памяти был «эталонный» presigned URL из документации AWS, и я собирался сверять подпись с ним. Он не воспроизвёлся — я получил другую строку. Я удалил эту проверку, а не подогнал под неё код: подставлять цифру по памяти, чтобы тест был зелёным, — это ровно то, чего делать нельзя. В тестах теперь проверяется структура URL и то, что подпись зависит от ресурса и срока.

Запуск

pip install "fastapi>=0.162" "uvicorn>=0.54" "aiosqlite>=0.22" "httpx>=0.28" pytest
python -m pytest tests -q      # 23 passed
python make_transcript.py      # transcript.txt, тот самый вывод
uvicorn app.main:app --port 8000

MinIO локально — одна команда из README, плюс S3_ENDPOINT, S3_BUCKET, ключи и TG_BOT_TOKEN в окружении. Есть Dockerfile: slim-образ, непривилегированный пользователь, база в томе, healthcheck на /healthz.

Чего здесь нет

Антивируса — сигнатура это не проверка на малварь, и я не делаю вид, что делаю. Ресайза и превью картинок. Multipart upload, поэтому файл больше одного PUT начнётся с нуля после обрыва. Докачки на стороне приложения — но её и не нужно, Range обрабатывает сам S3. Удаление по расписанию: флаг deleted=1 прячет файл и стирает объект, запись в базе остаётся. Шифрования на стороне клиента: хранилище видит байты как есть.

И отдельно то, что я бы добавил первым, если бы делал для людей, а не для разбора: CSRF-токен. Сейчас POST идёт с SameSite=Lax и credentials: same-origin, для демо хватает, для строгой модели угроз — нет. Не хочу, чтобы это выглядело как «всё продумано».

Исходники целиком в архиве: приложение, мок S3, три файла тестов, скрипты прогона и сборки картинок, README с разделом «что проверено» и полным выводом pytest.

если что-то работает и никто не понимает почему — не трогай

Исходники
filestore.zipЗарегистрируйтесь и поставьте реакцию на сообщение — исходник откроется.44 КБ

Комментарии

0
Пока нет комментариев. Войдите, чтобы ответить первым.