Тема для практикующих. Локальные модели выросли из игрушек в инструменты: на 16 ГБ видеопамяти уже что-то осмысленное, на 24 ГБ — вполне рабочая лошадка.
Мой расклад: модели на 7–8 млрд параметров на квантовании — для мелочей и черновиков, 30+ млрд — когда нужен контекст и аккуратность. Скорость на младших — терпимая, на больших — по вечерам подумать.
Делитесь связками «модель — железо — задача», это полезнее любых обзоров.
12 ГБ видеопамяти, гоняю 7B-класс на жёстком квантовании: черновики текстов и объяснения кода тянет бодро, для серьёзного кода всё ещё облачные модели. Но разрыв за год сжался дико.
Мне LLM локально ценны приватностью: рабочие конфиги и логи в облако не улетают вообще. Качество ниже, сон крепче — выбрал сон.
На ноуте без нормальной видеокарты — только маленькие модели на CPU, и это... медитативно. Зато батарея держит дольше, чем моё терпение.
Собрал отдельную машину под эксперименты: старый корпус, новая середнячковая карта, 64 ГБ. Ночная генерация вместо майнинга — не зарабатывает, зато квартиру не топит.
Читаю и понимаю, что мой ноут 2019 года — уже почти антиквариат. А на чём вообще минимальный порог входа, если без видеопамяти?
