🪄 Раз уж я управляю командой, которая творит магию ИИ, буду потихоньку делиться тем, что узнаём на практике 😁
Вчера один хороший знакомый рассказал историю:
Команда делала ИИ-решение, которое должно отвечать на вопросы по внутренней базе знаний. Вроде всё сделали, но начали проверять и выяснили, что система отвечает невпопад или вообще не на то, о чём её спрашивают
Я задал ему простой вопрос:
— А как ты заранее описал результат, который тебя устроит?
— Никак. А разве это можно сделать? Нужно, чтобы система отвечала на все вопросы. И всё
Вот в этом «и всё» и спряталась основная проблема 🙂
Поэтому расскажу, как мы подходим к таким задачам у себя в команде
- 1️⃣ Сначала разбираемся с базой знаний
Когда заказчик приносит нам документы, мы их вычитываем и проверяем. Иногда выясняется, что в базе не расшифрованы сокращения, не хватает определений или информация изложена так, что даже человеку непросто разобраться
Если на входе путаница, ждать от ИИ ясных ответов немного наивно
- 2️⃣ Договариваемся, что считать правильным ответом
Для этого просим заказчика подготовить Golden Set — набор контрольных вопросов с эталонными ответами
Для начала ориентируемся примерно на 50 пар, а дальше смотрим на сложность задачи и разнообразие вопросов
Получается набор, на котором можно проверять решение и сравнивать результаты после изменений
- 3️⃣ Измеряем качество 📊
Используем метрику Answer Correctness, которая помогает в % оценить, насколько ответ соответствует эталону по фактам и смыслу
Сравнивать ответы с эталонными тоже помогает ИИ 🙂
Затем считаем средний результат по всему Golden Set. Так у нас появляется измеримый ориентир, а не субъективное «что-то сегодня он отвечает хуже»
Правда, одна цифра не расскажет обо всём. Поэтому мы ещё смотрим на конкретные ошибки и разбираемся, где система промахивается
- 4️⃣ Заранее обсуждаем ограничения ⚖️
Современные ИИ-решения могут ошибаться. Поэтому целевое значение Answer Correctness мы согласовываем с заказчиком до начала работы
Универсальной цифры здесь нет. Всё зависит от задачи: где-то допустимы отдельные неточности, а где-то ошибка в одном факте уже создаёт серьёзную проблему
Гораздо проще обсудить это в начале, чем на демонстрации услышать: «А почему не на 100%?» 😁
💡Что в итоге?
На старте заказчику приходится потратить время на документы, вопросы и эталонные ответы. Иногда возникает ощущение, что мы ещё даже не начали делать ИИ, а работы уже полно 😤
Зато потом можно обсуждать конкретные результаты, а не выяснять, что заказчик и команда по-разному понимают слова «хорошо работает»
Раньше я думал, что хорошее решение начинается с разработки. Сейчас всё чаще вижу, что оно начинается с договорённости о том, какой результат мы считаем хорошим
И пусть этот пост будет для тебя как описание задачи на ремонт: если заранее не договориться, что значит «сделать красиво», у заказчика и исполнителя вполне могут получиться два разных ремонта 😉
#AI
#управлениепродуктами
Дискуссия