llmfit — подбор LLM под ваше железо

Практические лайфхаки для разработчиков, DevOps и админов: Docker, Linux, Bash, Python, Golang, Ansible, логи и безопасность — только рабочие решения. Даем готовые команды, конфиги и приёмы диагностики, которые экономят часы и дни. Если нужно быстро настроить, отладить и обезопасить инфраструктуру — вы по адресу.

llmfitllmllama.cpp

👁 Это CLI-инструмент, который помогает подобрать LLM-модели, реально подходящие под ваше оборудование.

Определяет характеристики системы — оперативную память, CPU и GPU — и оценивает сотни моделей по качеству, скорости, контексту и совместимости. Поддерживает интерактивный интерфейс и классический CLI, умеет работать с локальными рантаймами вроде Ollama, llama.cpp и MLX, а также учитывать квантизацию, MoE-архитектуры и многопроцессорные конфигурации.

❗️ Отлично подойдёт тем, кто запускает локальные LLM и хочет быстро понять, какие модели действительно будут работать на его машине.

Проверить в деле

tags: #утилиты #ии #llm

🧭 @recura_tech 🌐 VK 🌐 MAX

Скриншот терминала llmfit: тёмный фон, строка «loading — detecting system features», текст статуса и логотип RECURA.
Интерфейс CLI llmfit и фон с логотипом RECURA.

Дискуссия

wannacry
половина людей запускает локальные llm вообще не понимая сколько памяти они реально требуют а потом удивляются почему всё умирает после загрузки модели
User
wannacry
половина людей запускает локальные llm вообще не понимая сколько памяти они реально требуют а потом удивляются почему всё умирает после загрузки модели
А вторая половина - как будто бы не понимает для чего вообще запускает)
Присоединиться к обсуждению →

Читайте так же