Evidently AI — контроль качества ML‑моделей

Удобный инструмент, чтобы быстро проанализовать AI, есть готовые пресеты для аналитики и удобные отчеты.

⚡ Когда использовать?

• ✅ Запускаете ML-модель в прод и боитесь "сломанных" предсказаний
• ✅ Новые модели стали хуже предсказывать чем прошлые
• ✅ Дополнительные данные для A/B тестов (почему метрика выросла/упала)
• ✅ Построить борды метрик ML

👨‍💻 Задача

Отладка ML модели и анализ деградации качества (например, прирост на beta, но просадка на проде)

Без инструмента

1. 1. Скачиваем Reference/Current выборки
2. 2. Пишем скрипты для расчёта метрик
3. 3. Сравниваем фичи, дистрибуции, ошибки вручную
4. 4. Собираем отчёт в Python тетрадки для объяснения
5. 5. Выводим отчет в презентацию/HTML/скриншоты

С инструментом

1. 1. Скачиваем Reference/Current выборки
2. 2. Запускаем анализ DataDriftPreset(), ClassificationPreset() - генерируется отчет .html

Useful links:

• Documentation
• [Исходный код] (https://github.com/evidentlyai/evidently)