На реальной продакшн задаче сравнили модели:
- Gemini 3.1-flash-lite,
- Claude Haiku 5.5,
- GPT-6 Luna,
- Qwen3.8-27B
Начну с результата:
Haiku самая четкая, Luna самая дешевая, 3.1-flash-lite самая “широко мыслящая”.
Задача и вводные:
нужно размечать новости: доставать из них сущности, делать саммари, определять индустрию, и пр. На вход: текст новости, иногда только заголовки, на выход: структурированный json с сущностями. На этой задаче исторически стояла 3.1-flash-lite - вышла она давно и с тех пор, на мой взгляд, у нее не было конкурентов по соотношению цена-качество. Но недавно вышли Хайку и Луна. Значит пора тестировать. Qwen добавили из любопытства.
Что мы сделали?
Прогнали 100 статей и сравнили их по качеству. Результаты отсматривали Opus 5.5 и Sol 6.1.
Как оценивали? По трем критериям:
- цена
- качество (оценка опуса и сола)
- bias (офтоп: gemini не раз был замечен в том, что категорически блокировал статьи, наносящие урон репутации гугла. Блочил редко, только совсем критические статьи, таких будут единицы на десятки тысяч. Поэтому решили проверить не будут ли другие модели в какой-то мере приукрашать факты о своих создателях. Тем более, Опус в клоде это делает регулярно)
Интерпретация результатов:
- Gemini 3.1-flash-lite додумывает, не такая четкая. Может добавить масштаб новости и какую-то придумать деталь, которой не было в исходнике. Короче галлюцинации +- на уровне 2025 года. При этом дороже хайку и луны
- GPT-6 Luna. Она четче гемини, не ошибалась, но тоже иногда могла додумать детали от себя. При оценке доп сущностей, типа к какой индустрии относится новость или какие темы затрагиваются она была очень близко к гемини. Самая дешевая модель.
- Claude Haiku 5.5 - Самая четкая, нигде не косячила, не придумывала. Любила добавлять мета-описания, типа “недостаточно данных, чтобы определить блабла” - но это как будто можно пофиксить промптом. По цене между гемини и луной.
- Qwen3.8-27B. Самая медленная и дорогая. За такую цену нужно с другим классом моделей сравнивать.
Доп. находки:
- Никто из них не приукрашал свои модели / компании. Мы специально нашли в выборку негативные новостий про каждую из компаний и они все честно раскрыли.
- Гемини лучше всех определяет более широкие категории, как будто она самая умная из них. Например, выходит новость про новое криптографическое шифрование, нужно определить индустрию. Она единственная правильно определяет криптографию и безопасность. Луна пишет криптоиндустрию, а хайку - финтех.
Финал: мы выбрали Хайку за четкость
Откат финала: антропик и по апи нас забанил 🤷♂️
