Как большие языковые модели проходят тест на IQ

большие языковые моделиllmiq тест

Как большие языковые модели проходят тест на IQ (Tracking AI)

На первой картинке — распределение результатов решения теста на IQ. Указаны средние результаты последних семи тестов

На второй картинке — результаты ChatGPT-4o на протяжении последнего года. Также на сайте публикуют задачу дня и ответы разных LLM. Под каждой задачей указан текстовый промт, при помощи которого задавали вопрос моделям

Другие наши публикации о том, как ИИ проходят тесты:

График распределения результатов IQ‑теста для множества моделей; показаны средние значения последних семи тестов и метки моделей.
Распределение результатов IQ у моделей
Линейный график очков IQ GPT‑4o (вербальная шкала) за год с временным рядом и сравнением с офлайн‑тестом по месяцам.
Тренд очков GPT‑4o за год
Изображение «задача дня» IQ: матричная визуальная головоломка с вариантами ответов и подписью с правильным вариантом.
Задача дня из Tracking AI