OpenAI выкатили новый бенчмарк под гордым названием GDPval.
Зачем? Чтобы ответить на вечный вопрос: «А сможет ли сетка заменить человека в реальной экономике?» Спойлер: нет. Но уже сейчас она может сильно удешевить и ускорить работу.
Как это работает:
- Берут 9 жирных секторов экономики США, которые дают львиную долю ВВП.
- В каждом секторе выбирают по 5 профессий, где люди реально двигают деньги и сидят за компом.
- Сажают экспертов с опытом 10+ лет придумывать задачи из реальной жизни.
Задачи — не «2+2», а конкретный рабочий кейс, который у человека занимает 7–9 часов (а иногда и дни).
Дальше магия: эксперт-оценщик получает задачу и два решения. Одно сделал человек, другое — ИИ. Но кто где — он не знает. Смотрит только на качество. Вот так и меряют win-rate.
Результаты:
- Claude Opus 4.1 стал главным красавчиком — почти в 48% задач он на уровне человека или лучше.
- GPT-5 чуть отстал, но зато круче в точности и следовании инструкциям.
- Все модели периодически галлюцинируют. Но даже так: если сначала подключить ИИ, а потом просто доделать руками, то время падает в 1.4 раза, а стоимость почти в 1.6 раза.
Теперь важный момент: OpenAI пробовали сделать авто-оценщика (чтобы ИИ оценивал ИИ). Получилось совпадение с людьми в 66% случаев. Мало? Ну, учитывая, что сами люди совпадают между собой только в 71% — нормальный результат 😅
Что это значит? Да то, что наконец-то появился бенч, который хоть как-то отражает реальность. А не вот это всё: олимпиадная математика, теоретическая физика и прочие «чисто на бумаге» задачи.
💡 Итог: сетки ещё не «заменили человечка», но уже становятся вполне себе «суперстажёром», который сокращает косты и время. А для бизнеса это важнее, чем красивые заголовки в СМИ.
Ссылка на оригинал, кому хочется ковыряться в цифрах: cdn.openai.com/pdf/d5eb7428-c4e9-4a33-bd86-86dd4bcf12ce/GDPval.pdf
