Три поста с обзорами недавних материалов сложились для меня в последовательную цепочку. Рекомендую прочитать оригиналы у авторов целиком, но я выделю только то, что зацепило внимание с точки зрения средств защиты информации.
- 1️⃣Питер Штайнбергер, создатель проекта OpenClaw, делится наблюдениями, что традиционные этапы разработки вроде code review и пулл-реквестов уходят в прошлое. Им на смену приходят обсуждения архитектуры и, что важнее, «промпт-реквесты». В новой реальности ключевую ценность представляет не сам код, а промпт, который его сгенерировал.
- 2️⃣ Бывший генеральный директор GitHub представил инструмент, позволяющий хранить в Git не только исходный код, но и всю историю взаимодействия с нейросетями. Инструмент фиксирует не просто итоговый код, а метаданные процесса, «рассуждения» (reasoning) агента и все его промежуточные действия. Это попытка сделать прозрачным то, что раньше оставалось за кадром.
- 3️⃣В своем отчете о состоянии безопасности цепочки поставок ПО компания Sonatype подсвечивает тревожный тренд: использование ИИ-инструментов кратно масштабирует существующие проблемы. ИИ рекомендует исторически популярные версии ПО, которые зачастую содержат известные уязвимости или уже находятся в статусе EOL (окончания поддержки). Генерирует манифесты с устаревшими версиями компонентов и необоснованно увеличивает количество используемых зависимостей, засоряя код.
❗️Из этих трех кусочков мозаики складывается четкая картина: в эпоху, когда код пишет ИИ, классическая модель управления уязвимостями, ориентированная на постфактум-анализ исходников и зависимостей, перестает быть достаточной.
- *️⃣Недостаточно проверять то, что уже попало в репозиторий. Управление самим процессом генерации становится полноправным объектом Application Security. В противном случае масштаб искажений и накопленного технического долга взорвет риски на уровне всей цепочки поставки ПО.
- *️⃣Для управления уязвимостями это означает, что код без контекста генерации становится неполным объектом аудита. Нам нужно научиться анализировать историю действий агента (его «рассуждения» и промежуточные шаги) так же тщательно, как мы сейчас анализируем цепочку поставок и зависимостей (SBOM/SCA).
- *️⃣Это касается и остальных средств защиты. Классические инструменты для LLM, такие как Guardrails (LLM Firewall), сегодня в основном фокусируются на безопасности на входе/выходе: предотвращении утечек данных, джейлбрейков и токсичного контента. Но уязвимости нового поколения возникают не в момент общения с моделью, а в результате комбинации факторов: какой контекст подали, какие зависимости были предложены, какие версии библиотек выбрал агент и как это попало в репозиторий.
В глобальном смысле вопрос стоит так: не запланировали ли агенты что-то неладное в момент генерации кода? Именно фокус на процесс «рассуждения» агента и его промежуточные действия может стать ключом к превентивному управлению этими новыми рисками.