web-llm

Инструмент запускает языковые модели прямо в браузере без серверной обработки — вычисления выполняются локально с ускорением через WebGPU. Поддерживаются популярные открытые модели: Llama 3, Phi 3, Gemma, Mistral и другие. Работа с моделями совместима с OpenAI API, включая потоковую генерацию и структурированный вывод в формате JSON. Инструмент подключается к проектам через NPM или CDN.