Выдам неудобную правду про локальные LLM. А то в интернетах много слов про "скачал AI к себе на рабочий ноут и в ус не дую".
Забейте, вам оно не надо в 95% случаев, и вот почему.
Качество - шляпа. Модель на 8B, которую можно крутить на большинстве повседневных устройств - понимает русский язык, но думает, как школьник. Разрыв между ней и облачным ChatGPT - пропасть. Даже модели, которые с трудом влезут на игровые видеокарты, способны только на короткие банальные сессии в духе саммари или перевода. Эффекта топовой облачный модели можно достигнуть только если у вас есть свой дата-центр.
Скорость не тянет в риалтайм. Если у вас не топовый MacBook Pro/Ultra или не RTX 4090 - вы будете постоянно ждать даже на самых простых моделях.
Бесплатность - миф. За стоимость подходящего компа вы можете купить Pro-подписку Claude на 15 лет.
Русский язык - боль. Какая-нибудь Llama на английском и русском - два разных уровня интеллекта. На русском она будет жёстко тупить, путать падежи и выдавать шаблонные тексты.
Пишут, что квантизированные (пожатые) модели почти ничем не отличаются от старших братьев. Это чушь, еще как отличаются. Особенно с русским языком.
Смотреть картинки и документы, понимать голос и PDF, кодить - все это либо не будет работать вообще, либо на уровне "на картинке вроде есть животное".
Для кого и чего это реально может быть полезно:
для паранойиков, юристов и закрытых контуров
для фоновых цепочек банальных сценариев
для генерации картинок по ночам
для разрабов, которым надо интегрировать AI в свой софт
для энтузиастов похвастаться перед друзьями
для работы без интернета
По железу:
Обычный рабочий ноут - забудьте.
Игровой ноут - работает, но с эффектом "ну такоое".
Десткоп с RTX 3060 - можно что-нибудь полезное сделать, если очень захотеть.
Мощный игровой комп - будет даже прилично, но все еще не ChatGPT 5.
MacBook Pro M2 и выше - аналогично.
Топовый Mac за 4000 долларов - топ, но нафига?
Компы старше 5 лет, ноуты на AMD, MacBook Air - для извращенцев.
По софту:
Ollama как база.
LM Studio если нужен красивый интерфейс.
Дискуссия