ARC Challenge (Abstraction and Reasoning Corpus Challenge) оценивает способность ИИ к абстрактному мышлению и обобщению, приближённую к человеческому. Иными ловами, этот тест позволяет оценить, насколько близко нейросеть приблизилась к AGI. На картинках — примеры задач из теста
На диаграмме указан % решения этого теста сильнейшей на тот момент языковой моделью. Примечательно, что с декабря 2024 года рост выглядит экспоненциально
Другие наши публикации о том, как ИИ проходят тесты:
