Начало темыГайд

JSON-файл против SQLite: 200 000 событий и то, что вылезло на обновлении

byteputbyteputНовичок·11.11.2026· 0 ответов 0 реакций

У меня в одном сервисе журнал событий лежал в json-файле. Не потому что я не знал про SQLite, а потому что на пяти тысячах записей всё было прекрасно: открыл, прочитал, дописал, закрыл. Потом записей стало двести тысяч, и сервис начал подтормаживать не там, где я искал. Я полез в код, добавил таймеры — и обнаружил, что восемьдесят процентов времени уходит на перезапись файла, когда одна строка меняет статус.

Тогда я сел и померил оба варианта на одном наборе данных. Ниже то, что вышло, без «примерно» и «в среднем».

Как мерил

Двести тысяч событий: id, время, пользователь, действие, вложенный payload. Генератор детерминированный, сид фиксированный, так что прогон воспроизводится. Четыре тысячи пользователей, восемь типов действий, тридцать дней. В json-варианте — один массив, сериализованный с separators=(",", ":") и ensure_ascii=False, плюс словарь по id для точечного доступа. В SQLite — таблица с первичным ключом и двумя индексами, journal_mode=WAL, synchronous=NORMAL.

Каждая операция меряется три раза, в вывод идёт лучший прогон. Это важно: первый прогон всегда попадает под сканер антивируса и показывает не диск, а облако. Данные тоже лежат вне синхронизируемой папки — я один раз померил json в каталоге, который тянет OneDrive, и получил четыре секунды на запись двух мегабайт. Это был замер OneDrive.

Что получилось

Точечное чтение по id — json выигрывает и выигрывает крупно: 0,49 микросекунды против 18,8 у SQLite. Это не сюрприз, в словаре лежит готовый указатель на объект, а базе нужно разобрать запрос, сходить в b-tree, собрать строку и вернуть. Разница почти в сорок раз, и на горячем кэше она никуда не денется.

Выборка по диапазону — обратная картина: 27,6 миллисекунды у json против 0,02 у SQLite. Тысяча триста раз. Json честно перебирает все двести тысяч объектов, потому что никакого другого способа у него нет. SQLite идёт по составному индексу (user, ts) и трогает десятки строк.

Обновление пятисот строк — 928 миллисекунд против 2,1. Вот здесь и живёт то, из-за чего я вообще начал мерить. Json не умеет менять строку: он меняет объект в памяти, а потом сериализует и перезаписывает весь файл целиком. Двести тысяч записей, двадцать один мегабайт, каждый раз. SQLite меняет пятьсот строк и пишет в WAL только их.

Запись с нуля — единственная операция, где json формально быстрее: 948 миллисекунд против 1248. Но это сравнение лукавое. Json записал готовую строку, которую сам же и собрал за 885 миллисекунд. В сумме сериализация плюс запись дают примерно то же, что SQLite с индексами. А если считать честно и добавить, что база после себя оставляет индексы, которые потом работают, — выгода испаряется.

Размер на диске почти одинаковый: 21,2 мегабайта против 19,9. Тут json не проигрывает, и я не буду делать вид, что проигрывает.

Где json всё ещё правильный выбор

Не хочу, чтобы это читалось как «всегда ставьте базу». До десяти тысяч записей разница в глаза не бьёт, а взамен вы получаете файл, который можно открыть блокнотом, положить в git и посмотреть глазами. Если запись одна и меняется редко, перезапись целиком незаметна. Если файл всегда читается целиком и не бывает выборок по полю — база только мешает: вы платите за индексы, которыми не пользуетесь.

И отдельно: если писать будет больше одного процесса, json превращается в задачу про блокировки, которую вы напишете сами, хуже, чем это сделали до вас. У меня был и такой случай, закончился потерей двух часов событий.

Перелом наступает не по количеству записей, а по типу нагрузки. Как только появляется «обнови одну строку из многих» — json начинает стоить O(всего файла) на каждую правку. Это и есть момент, когда пора переезжать, и он наступает раньше, чем кажется.

Если переезжаете

Схему и индексы делать сразу, а не «потом добавим»: добавить индекс на двадцати миллионах строк можно, но это отдельная история с отдельным окном обслуживания. WAL и synchronous=NORMAL — не для экзотики, а чтобы запись шла пачкой, а не с fsync на каждую строку. Читать через индекс, а не через LIKE '%...%' по json-строке, иначе весь смысл теряется. А json оставить для выгрузки, бэкапа и обмена — там он на своём месте.

Ни одна из этих ступеней не требует сервера базы. SQLite — это файл. Мне кажется, это главное, что стоит вынести из замера: люди откладывают переезд, думая, что он означает администрирование Postgres. Он не означает.

Что в архиве

bench.py целиком: генератор, оба хранилища, замер, вывод. make_project.py собирает транскрипт и обе картинки, числа на схеме парсятся из transcript.txt, руками не вписаны. Рядом транскрипт как есть и README.md с командами. Запускается python bench.py, полный прогон — минуты две, быстрый — --quick на двадцати тысячах.

Чего в архиве нет: конкурентной записи из нескольких процессов, реального сервера базы и замеров на SSD против HDD. Первое я не стал делать, потому что честный тест на гонки — это отдельная тема и отдельный день. Про второе и третье у меня нет железа под рукой, а выдумывать числа не буду.

нет ничего постояннее временной заплатки

Исходники
sqlite_json.zipЗарегистрируйтесь и поставьте реакцию на сообщение — исходник откроется.9 КБ

Комментарии

0
Пока нет комментариев. Войдите, чтобы ответить первым.