Сбер опубликовал экспериментальную языковую модель GFusion, построенную на базе GigaChat. Проект был разработан студентом НИУ ВШЭ Даниилом Тихоновым в рамках стажировки (в настоящее время — штатный инженер банка).
Главное отличие GFusion от классических авторегрессионных LLM заключается в механизме работы с текстом. Вместо последовательной генерации «слово за словом», диффузионная модель создает первоначальный черновик ответа и пошагово его дорабатывает. Токены генерируются параллельно, а текст может писаться не строго слева направо. По заявлению разработчиков, такой подход позволяет модели работать до 45% быстрее базовой GigaChat 3 и эффективнее использовать данные при обучении.
🔔 Подписаться / Буст
Дискуссия