Ресурсы для обучения крупных моделей ИИ, 1950–2024

Понимание мира через данные Статистика и данные из разных областей. Минимум оценок и интерпретаций, максимум данных и фактов Чат: @rationalchat https://rationalnumbers.ru По рекламе: @kgreenmedia В реестре: vk.cc/cKf8WS Автор: @kirillgreen

искусственный интеллектвычислительные ресурсыпараметры моделей

На первой диаграмме — число параметров в популярных системах ИИ. На второй картинке — объёмы данных, используемых для обучения ИИ. Чем больше параметров и данных для обучения у модели, тем сложнее и точнее она будет работать, поскольку будет способна учитывать большее количество взаимосвязей и особенностей данных

С ростом входных данных и числа параметров требуется всё больше вычислительных ресурсов: высокоскоростных процессоров, специализированных чипов и более эффективных алгоритмов. На последней диаграмме — объёмы вычислений в петафлопсах (1×10¹⁵ вычислений в секунду), необходимых для обучения ИИ-систем

Все шкалы логарифмические

Ещё мы писали про развитие индустрии ИИ:

График Our World in Data: экспоненциальный рост числа параметров в заметных системах ИИ с отмеченными моделями и лог-шкалой
Рост числа параметров у заметных ИИ-систем (логарифмическая шкала), по данным Our World in Data.
График Our World in Data: рост объёмов данных для обучения заметных ИИ‑систем с отмеченными моделями и лог-шкалой
Объёмы тренировочных datapoints у значимых моделей ИИ, представлены в логарифмической шкале.
График Our World in Data: рост вычислений в обучении ИИ (petaFLOP), показаны ключевые модели и логарифмическая шкала
Оценка объёмов вычислений (petaFLOP) для тренировки ИИ‑систем с 1950 по 2024 год.