За последние месяцы стало видно, что почти все пытаются решить одну и ту же проблему: контекст LLM-агента разрастается быстрее, чем приносит пользу. Мы недавно обсуждали, как Anthropic облегчили эту историю на уровне инструментов — меньше лишних описаний, меньше промежуточных логов, меньше ненужных данных в памяти.
И тут под конец года подключились JetBrains. Не задолго до релиза своей IDE они опубликовали исследование, где сравнили два самых популярных способа работы с памятью агента.
- 🟣 Маскирование — это когда старые логи и длинные выводы инструментов заменяются короткими заглушками, но рассуждения и действия остаются.
- 🟣 Суммирование работает иначе: отдельная LLM пытается «пересказать» историю шагов в компактной форме и подменяет ей исходный контекст.
И, что забавно, простой метод оказался лучше навороченного. Маскирование давало и меньшую стоимость, и стабильное качество, а суммирование часто тормозило процесс: сводки скрывают важные сигналы, агент делает больше лишних шагов, плюс сама генерация сводок стоит недёшево.
В итоге JetBrains собрали гибрид, где маскирование используется всегда, а суммирование включается только когда память действительно выходит из-под контроля. Такой вариант оказался и точнее, и дешевле обоих подходов по отдельности.
@ai_for_devs
