Результаты решения теста ARC Challenge нейросетями, 2019–2025

Понимание мира через данные Статистика и данные из разных областей. Минимум оценок и интерпретаций, максимум данных и фактов Чат: @rationalchat https://rationalnumbers.ru По рекламе: @kgreenmedia В реестре: vk.cc/cKf8WS Автор: @kirillgreen

ARC ChallengeнейросетиAGI

ARC Challenge (Abstraction and Reasoning Corpus Challenge) оценивает способность ИИ к абстрактному мышлению и обобщению, приближённую к человеческому. Иными ловами, этот тест позволяет оценить, насколько близко нейросеть приблизилась к AGI. На картинках — примеры задач из теста

На диаграмме указан % решения этого теста сильнейшей на тот момент языковой моделью. Примечательно, что с декабря 2024 года рост выглядит экспоненциально

Другие наши публикации о том, как ИИ проходят тесты:

Диаграмма времени: процент успешных решений ARC Challenge разными моделями с 2019 по 2025, виден экспоненциальный рост после декабря 2024 года.
Диаграмма: процент решений ARC Challenge сильнейшими языковыми моделями по времени.
Несколько примеров задач ARC: чёрно-серые сетки с цветными областями и значком вопроса — иллюстрации входных и ожидаемых выходных решений.
Примеры задач ARC с исходными и целевыми паттернами в цветных и чёрно-белых решётках.
Последовательности преобразований в задачах ARC: зелёные и жёлтые пиксельные паттерны с указанием шага преобразования и итогового вопроса.
Превращение пиксельных паттернов: примеры шаговых трансформаций и итоговое задание.
Несколько панелей с разными AR C–задачами и их решениями в виде цветных схем и тепловых карт, демонстрация типов задач теста.
Различные типы задач ARC: шаблоны, тепловые карты и примерные ответы.

Дискуссия

цифровой самурай
ладно, я тоже не существую
Helyck
А у меня случился инсайт. Конечно, читал, что человеческий мозг может работать с ограниченной информацией. Но сейчас нагляднее увидел это. Тут задачи типа "Вот тебе 2 примера, реши что должно быть в 3-м примере". Человек это решает. А если бы меня попросили научить нейросеть, то автоматом бы стал думать в сторону "Где бы найти тысячи примеров чтобы нейросеть поняла". Стоит подумать об этом. Как всегда утверждаю, нейросети помогают понять нас самих. И это действительно важно.
Helyck
Поинт в том, что нейросеть (белковая или кремниевая) долгими тренировками (и, конечно, заложенной архитектурой) доходит до такого состояния, когда для обучения уже нужно не так много информации. o3, который может решать эти задачи после двух примеров тоже ведь сначала обучалась на огромном количестве примеров.
krakotay
цифровой самурай
да люди много что наивно думают. например, что инфляция бывает хорошей, а ГМО опаснее, чем селекция
А почему вдруг инфляция не бывает хорошей?
цифровой самурай
krakotay
А почему вдруг инфляция не бывает хорошей?
смотря для кого
krakotay
цифровой самурай
смотря для кого
Для экономического роста, например
цифровой самурай
krakotay
Для экономического роста, например
что ты имеешь в виду под экономическим ростом? рост номинального ВВП? :-)
krakotay
цифровой самурай
что ты имеешь в виду под экономическим ростом? рост номинального ВВП? :-)
Ага, и подушевого
цифровой самурай
krakotay
Ага, и подушевого
ну, я тоже могу нарисовать числа побольше и сказать, что что-то становится лучше, потому что числа стали больше
Nikita
цифровой самурай
что ты имеешь в виду под экономическим ростом? рост номинального ВВП? :-)
Рост реального ВВП, как тебе такое?)
Присоединиться к обсуждению →

Читайте так же