LLM под капотом: attention, positional encoding, layers

1. Attention: как модель выбирает важное 👀

Механизм attention позволяет каждому слову “смотреть” на другие слова в последовательности и оценивать, какие из них важны прямо сейчас.

Пример: в фразе «Сервер не отвечает, потому что он перегружен» модели нужно понять, к чему относится «он». Attention помогает связать местоимение с правильным объектом по контексту.

По сути, attention отвечает на вопрос:

на какие токены нужно обратить внимание, чтобы предсказать следующий?

Почему это важно:

• лучше учитывается дальний контекст
• модель улавливает связи между словами в предложении
• повышается качество генерации, перевода, суммаризации

Именно self-attention стал ключевой идеей архитектуры Transformer, на которой построены современные LLM.

2. Positional encoding: как модель понимает порядок 📍

Attention сам по себе не знает, что было “раньше”, а что “позже”. Для него токены — это набор элементов.

Поэтому в модель добавляют positional encoding — информацию о позиции токена в последовательности.

Зачем это нужно:

• различать фразы с одинаковыми словами, но разным порядком
• понимать структуру предложения
• учитывать расстояние между токенами

Например:

«Код исправил разработчик» и «Разработчик исправил код» содержат те же слова, но порядок влияет на интерпретацию.

Сегодня вместо классических positional encoding часто используют более продвинутые подходы:

• learned positional embeddings
• rotary embeddings (RoPE)
• relative position bias

Они помогают модели лучше работать с длинным контекстом. 🧠

3. Layers: где происходит “мышление” модели 🏗️

LLM состоит из множества слоёв. Каждый слой постепенно преобразует представление текста: от базовых связей к более сложным паттернам.

Типичный слой Transformer включает:

• multi-head self-attention
• feed-forward network
• residual connections
• layer normalization

Что это даёт на практике:

• нижние слои чаще улавливают синтаксис и локальные связи
• средние — структуру фраз и зависимости
• верхние — более абстрактный смысл и задачно-специфичные признаки

Чем больше слоёв, тем выше способность модели строить сложные представления. Но растут и требования к памяти, вычислениям и качеству обучения. 💾

Если упростить

Работа LLM выглядит так:

• токены превращаются в векторы
• к ним добавляется информация о позиции
• через attention модель связывает токены между собой
• слои шаг за шагом извлекают всё более сложный смысл
• на выходе модель предсказывает следующий токен

Главная идея ✨

LLM не “думает” как человек. Она математически вычисляет, какие элементы текста связаны между собой, в каком порядке они идут и какие паттерны встречались в обучении.

Attention даёт контекст, positional encoding — порядок, layers — глубину обработки.