Кажется, мы слишком много задач пытаемся решать через LLM просто потому, что теперь можем.
Последние дни я экспериментирую с Jev — моделью, которая не генерирует текст, а возвращает вероятности для заранее заданных вариантов. По сути, это быстрый классификатор или маршрутизатор: определить тип запроса, выбрать следующий шаг, отфильтровать результат.
И самым интересным для меня оказалось не то, что в некоторых тестах Jev работает в сотни раз быстрее большой LLM. Интереснее другой вопрос: а зачем я вообще собирался звать большую LLM на эту задачу?
Возьмём обычный AI Workspace аналитика. Приходит новый фрагмент информации, и нужно определить: это требование, противоречие, открытый вопрос или просто шум? Здесь не нужен красивый текст и длинные рассуждения. Нужен выбор из нескольких вариантов и понимание, насколько система в нём уверена.
И вот тут появляется архитектурный выбор. Можно каждый раз отправлять контекст в большую reasoning-модель. Можно взять маленькую дешёвую LLM со structured output. Можно специализированный классификатор вроде Jev. А иногда вообще хватит обычного правила.
Ещё интереснее собрать каскад:
задача → правило / классификатор → confidence → LLM → человек
Причём последние два шага нужны далеко не всегда.
В моих первых прогонах преимущество Jev при честном сравнении оказалось заметно скромнее красивых рекламных цифр. Конкретные результаты пока не публикую: хочу сначала выровнять выборку, версии моделей, формат ответа и сохранить исходные результаты.
Но сам принцип мне уже нравится.
Когда строишь реальную AI-систему, вопрос не в том, какая модель лучше. Вопрос — какой минимально достаточный инструмент нужен на каждом шаге.
Использовать большую reasoning-модель там, где достаточно классификатора, — примерно как поднимать Kubernetes ради одного cron. Технически можно. Даже красиво. Только зачем? 😁
Поэтому Jev я сейчас рассматриваю не как замену LLM, а как потенциальный первый слой AI Workspace: быстро закрывать очевидные случаи и не тратить интеллект там, где интеллект не требуется.
И, кажется, это хороший принцип вообще для AI-архитектуры:
не начинайте с выбора модели. Сначала спросите, нужна ли здесь модель вообще.
