ARC Challenge (Abstraction and Reasoning Corpus Challenge) оценивает способность ИИ к абстрактному мышлению и обобщению, приближённую к человеческому. Иными ловами, этот тест позволяет оценить, насколько близко нейросеть приблизилась к AGI. На картинках — примеры задач из теста

На диаграмме указан % решения этого теста сильнейшей на тот момент языковой моделью. Примечательно, что с декабря 2024 года рост выглядит экспоненциально

Другие наши публикации о том, как ИИ проходят тесты:

— Политическая ориентация 24 крупнейших языковых моделей

— Как хорошо справляются с тестами DeepSeek-R1 и ChatGPT o1

— Как менялись возможности систем ИИ по распознаванию речи и изображений относительно способностей человека, 1998–2020

— Как развивалась индустрия генеративного ИИ, 2014–2023