magnitude

Инструмент для локального запуска открытых языковых моделей, который автоматически настраивает вычисления под конкретное железо пользователя. При загрузке модели он подбирает оптимальные параметры обработки данных на реальном процессоре или видеокарте. Работает на Apple Silicon, NVIDIA, AMD и обычном CPU. Можно развернуть локально на macOS, Windows и Linux.