FreeToken

Инструмент запускает крупные языковые модели с открытыми весами прямо на игровом ПК или рабочей станции с GPU NVIDIA. Поддерживаются модели архитектуры MoE от десятков до сотен миллиардов параметров. Кэширование промежуточных состояний сокращает лишние вычисления при работе с агентами. Память между кэшами перераспределяется динамически без перезапуска.