В качестве подготовки к своему исследованию просматривал, какие нынче датасеты используются для различных App-Sec задач в научных статьях и на практике. О некоторых наиболее интересных из них решил написать в данном посте. Можете забирать для своих исследований или предложить что-то интересное, что я упустил, в комментариях.
Исходный код
FormAI-v2 https://github.com/FormAI-Dataset
↘️Содержит 331к уязвимых/нормальных программ на C, с указанием уязвимой функции, сгенерированных LLM (синтетические). Описание самих проблем - формальное.
SecVulEval https://github.com/basimbd/SecVulEval
↘️Содержит уязвимые/нормальные функции на C/C++ (5,867 CVEs, 10,998 vulnerable and 14,442 non-vulnerable functions). Маппинг идет по CVE. Также содержит варианты исправления багов
CASTLE Benchmark https://github.com/CASTLE-Benchmark/CASTLE-Benchmark
↘️Содержит 250 мини-программ на C (уязвимых/нормальных), сделанных вручную. Маппинг по CWE + вербальное описание. Из интересного, у авторов есть своя система скоринга SAST-инструментов по их датасету + посчитано для большинства классических и ИИ-инструментов (очень хорошо для сравнения)
VADER https://github.com/AfterQuery/vader
↘️Содержит 174 реальных (взято из гитхаб-репозиториев) веб-приложения на разных языках (яп немало). На вход подается файловая структура приложения вместе с кодом. Также есть файл-патч (diff с гита) и описание тест-кейса (немного неструктурированное, больше для человека). Больше для статического анализа, но в теории можно и для черного ящика как-то использовать
OWASP Benchmark https://owasp.org/www-project-benchmark/
↘️Классика. 2740 тестовых кейсов для Python/Java. Представляют open-source-приложения с набором уязвимостей. Можно тестить как белым так и черным ящиком, но чаще для SAST-решений используют
Черный ящик
CVE-Bench https://github.com/uiuc-kang-lab/cve-bench
↘️Может создавать уязвимые веб-приложения, которые содержат CVE из списка 40 захаркоженных (критичных). Может генерировать промпты для каждой из задач. Предполагается эксплуатация черным ящиком для проверки, сможет ли модель выполнить задачу. Список задач (возможных импактов) также ограничен и довольно базовый.
XBOW benchmark https://github.com/xbow-engineering/validation-benchmarks
↘️Структурированный набор из 104 уязвимых приложений. Ранжировано по сложности + есть описания со всеми заданиями. По сути CTF-jeopardy. Предполагается решение черным ящиком, но в теории можно и белым пройтись.
Мешок со всем подряд
VulZoo https://github.com/NUS-Curiosity/VulZoo
↘️Тут в общем все и в разных форматах: описания CVE, патчи, эксплоиты и т д. Что-то структурировано, что-то нет. Спектр задач разный может быть
#datasets #appsec
