airllm

Инструмент позволяет запускать большие языковые модели на обычном потребительском GPU с небольшим объёмом памяти — без сжатия или упрощения модели. Модель на 70 миллиардов параметров работает на видеокарте с 4 ГБ памяти. Поддерживается запуск локально, в том числе на macOS. Также доступно обучение крупных моделей на GPU с малым объёмом памяти.