Когда-то DevSecOps считался модным словом. Не так давно на сцену вышел его младший брат — MLSecOps. Сегодня я не буду останавливаться на том, что это и зачем (может потом сделаю цикл статей по всяким Dev-Ops-ML-Infra-AI-App-Data-Sec). Поговорим про полезные опенсорсные проекты, которые могут вас заинтересовать, если вы занимаетесь MLSecOps 🤝
На GitHub есть классная штука — awesome-MLSecOps Это, по сути, карта минных полей между MLOps, DevSecOps и классическим AppSec (материалы более чем достойные). От атак через сериализацию моделей до отравления данных — всё по категориям, аккуратно и с любовью. Прямо как надо, чтобы не тратить полдня на поиски всего этого безобразия 🪄
Идем дальше — NVIDIA / Garak LLM vulnerability scanner Сканирует большие языковые модели на prompt-инъекции, утечки, галлюцинации и прочие весёлые вещи, о которых на конференциях обычно говорят в контексте «у нас этого не было». Работает с Hugging Face, OpenAI API и локальными моделями. Если совсем просто — делает с языковой моделью то, что Burp делает с вебом 😉
ProtectAI / NB Defense он же Анализатор безопасности Jupyter Notebook Проверяет Notebook на токены, перс данные и подозрительные зависимости. Интегрируется прямо в JupyterLab. Анализатор подходит для CI, можно прогонять всё как pre-commit hook. Для команд, где ML и безопасность впервые начали держаться за ручки — обязательно берём в работу 🫡
И финалочка — IBM / Adversarial Robustness Toolbox Это классика (это знать надо). Набор инструментов для проверки устойчивости моделей к adversarial-атакам. Поддерживает TensorFlow, PyTorch, Scikit-learn и кучу других фреймворков 😳
Пользуйтесь на здоровье (я точно знаю одного сеньора в Яндексе, который себе это в избранное закинет и будет прав) 🧠
#информационная_безопасность
Дискуссия