Ресурсы на обучение крупных моделей ИИ, 1950–2024

искусственный интеллектбольшие моделипараметры

Сколько ресурсов тратят на обучение крупных моделей ИИ, 1950–2024 (Our World in Data)

На первой диаграмме — число параметров в популярных системах ИИ. На второй картинке — объёмы данных, используемых для обучения ИИ. Чем больше параметров и данных для обучения у модели, тем сложнее и точнее она будет работать, поскольку будет способна учитывать большее количество взаимосвязей и особенностей данных

С ростом входных данных и числа параметров требуется всё больше вычислительных ресурсов: высокоскоростных процессоров, специализированных чипов и более эффективных алгоритмов. На последней диаграмме — объёмы вычислений в петафлопсах (1×10¹⁵ вычислений в секунду), необходимых для обучения ИИ-систем

Все шкалы логарифмические

Ещё мы писали про развитие индустрии ИИ:
Индустрия искусственного интеллекта в числах, 2010–2022
Как менялись возможности систем ИИ по распознаванию речи и изображений относительно способностей человека, 1998–2020
Вычислительные ресурсы, затраченные на обучение систем искусственного интеллекта, 1950–2022
Как развивалась индустрия генеративного ИИ, 2014–2023

Диаграмма Our World in Data: экспоненциальный рост числа параметров у заметных систем ИИ по годам на логарифмической шкале, с аннотациями
Рост числа параметров у заметных ИИ-систем (логшкала)
Диаграмма Our World in Data: экспоненциальный рост объёмов данных (датапойнтов) для обучения заметных ИИ-систем по годам на логарифмической шкале
Объёмы данных, используемые для обучения ИИ (логшкала)
Диаграмма Our World in Data: экспоненциальный рост объёмов вычислений (petaFLOP) для обучения ИИ-систем по годам на логарифмической шкале
Вычислительные ресурсы в петафлопсах для обучения ИИ (логшкала)