Принял участие в дискуссии «Безопасность от ИИ: использование ИИ при обеспечении ИБ» на конференции "Trans AI 2025. Искусственный интеллект в транспортной отрасли". Расскажу о двух моих основных выводах по результатам прослушанных докладов и нашей завершающей дискуссии.
От представителей транспортной отрасли (авиации, умного города, железных дорог) несколько раз прозвучали опасения об отсутствии прозрачности и объяснимости в решениях, принимаемых генеративным ИИ. В критичных областях, требующих обеспечения функциональной безопасности, этот риск приходится митигировать путем перепроверки результатов человеком, дублирования функций ИИ классическими системами с выбором лучшего из вариантов, созданием многоуровневых систем безопасности.
Аналогично в сфере кибербезопасности необходимо продемонстрировать, что результаты всегда будут такими, как мы ожидаем, и им можно доверять. Средства защиты проходят сертификацию на выполнение требований, математически доказывается стойкость криптоалгоритмов. Программный код специально сокращается, чтобы его можно было покрыть тестами и доказать подход Secure by Design.
Это с ограничениями (зависит от предметной области) возможно для машинного обучения (предикативный ИИ), но в случае генеративного и тем более сильного ИИ сама идея противоречит парадигме объяснимости и доказуемости. Обучение на неструктурированных данных и решение задач без заранее заданного алгоритма.
Самое слабое и сложно контролируемое звено информационной системы — человек. Генеративный искусственный интеллект стремится к тому, чтобы быть похожим на человека и создать общий, сильный ИИ, который обладает интеллектуальными способностями на уровне человека, а мы стремимся применить его в своих системах. Получается, что мы вносим в информационные системы ещё одно слабое звено со всеми минусами человека.
Методы атак и защиты уже похожи на работу с сотрудниками. Системные промты — руководящие инструкции, в которых описывается, что должен и не должен делать генИИ, похожи на повышение осведомлённости. Промт-инъекции — добавление в запрос инструкций, которые позволяют обойти системный промт, это фишинг для ИИ, где мы пытаемся «обмануть» ИИ и заставить его сделать не заложенные в него функции. Одно слабое звено начинает применять другое слабое.
В совокупности это приводит к тому, что мы не просто вносим в ИТ-инфраструктуру технологию, а совершенно новую сущность, и специалистам по информационной безопасности нужно учиться работать с ней отдельно и новыми методами. В итоге на ближайшие годы у нас два слабых звена - человек и искусственных интеллект 😅
#mlsecops #мероприятия@oscar_cybersec
