Как большие языковые модели проходят тест на IQ

Понимание мира через данные Статистика и данные из разных областей. Минимум оценок и интерпретаций, максимум данных и фактов Чат: @rationalchat https://rationalnumbers.ru По рекламе: @kgreenmedia В реестре: vk.cc/cKf8WS Автор: @kirillgreen

Открыть в Telegram Другие публикации

Автор:Рациональные числа

•27 июня 2025 г.

языковые моделиIQChatGPT-4o

На первой картинке — распределение результатов решения теста на IQ. Указаны средние результаты последних семи тестов

На второй картинке — результаты ChatGPT-4o на протяжении последнего года. Также на сайте публикуют задачу дня и ответы разных LLM. Под каждой задачей указан текстовый промт, при помощи которого задавали вопрос моделям

Другие наши публикации о том, как ИИ проходят тесты:

График распределения результатов теста IQ от Tracking AI с указанием средних результатов последних семи тестов и значков моделей на кривой распределения. — Распределение результатов решения теста IQ; отмечены средние значения последних семи тестирований.

Линейный график изменения результатов ChatGPT-4o (вербальный) по указанным тестам за год, с сопоставлением с Mensa Norway и офлайн-тестом. — Динамика результатов ChatGPT-4o по IQ в течение года по данным Tracking AI.

Задача дня из Tracking AI: визуальная логическая головоломка 3×3 с вариантами ответа и пометкой правильного ответа, используемая для оценки моделей ИИ. — Пример «задачи дня» и вариант правильного ответа, публикуемый вместе с промтом для моделей.

Дискуссия

цифровой самурай

Alexandr Zeinalov

А потом люди говорят "давайте ИИ будет ответственные решения принимать". Я недавно спорил с горе-анархистами, они мне утверждали, что лучше отменить государство и решения пусть ИИ принимает...

такие заявления говорят только о том, что человечество ещё на заре принятия ИИ. вот когда люди поймут, что ИИ отберёт их работу настолько же, насколько компьютеры и интернет, когда поймут, что это инструмент, а не агент, принимающий решения — тогда уже можно серьёзно поговорить про ИИ. пока что отношение к нему, как к интернету в девяностых, и это нормально

Jun 27

Александр Кострубин

Alexandr Zeinalov

они мне утверждали, что лучше отменить государство и решения пусть ИИ принимает...

В отдельно взятой коммуне - сколько душе угодно. Вообще проблема всех утопистов в масштабе. Ну сделай ты камерный проект! Нет. Не хочу. Хочу мировой пожар революции. Как то идея АБ тестирования не закрепилась в умах пассионариев.

Jun 27

Alexandr Zeinalov

Александр Кострубин

ЧСХ фактически примеры анархического устройства таки единичные есть и не особо хорошо себя проявили. Но у этих товарищей эти примеры "доказывают"...

Jun 27

цифровой самурай

признак человека, который ценит своё время

Jun 27

Alexandr Zeinalov

С ними тоже, но недавно я общался именно с анархистами.

Jun 27

Никита

Александр Кострубин

Сложное задание. Тратишь кучу времени на сложнее-вычитание, когда нужно двигать кружки. Черные кружки имеют всего 2 позиции и могут перекрывать белые когда находятся с ними в одной позиции. Позиция с двумя чёрными всего один раз за ряд. Белые просто сидят…

Хм, тогда ответ F тоже подходит, по идее

Jun 27

цифровой самурай

Никита

Хм, тогда ответ F тоже подходит, по идее

нет, не подходит. в каждом ряду должна быть одна клетка, где справа от полоски пусто

Jun 27

David K

Никита

Хм, тогда ответ F тоже подходит, по идее

F не подходит вообще никак, потому что там пустые кружки не парой а по диагонали

Jun 28

Лимонний

Alexandr Zeinalov

я думаю, что принятие решений – последняя работа, в которой ИИ заменит человека. даже если технически сможет адекватно это делать. потому что надо кого-то наказывать за плохие решения, а ИИ ты никак не накажешь

Jul 2

Alexandr Zeinalov

Лимонний

Это не отменяет того, что куча народу пытаются убедить всех уже сейчас отдать решения ИИ. При этом подобные советчики не думают нести ответственность за фейлы ИИ и ругать будут совсем не себя, а тех, кто этому перекладыванию с самого начала сопротивлялся.

Jul 2

😁1

Присоединиться к обсуждению →