Вы наверняка замечали склонность чат-ботов иногда выдавать за правду несуществующие факты вместо ответа «я не знаю». Возможно, у вашего чат-бот даже отсутствовало беспристрастное отношение или были логические ошибки в рассуждениях. Все эти случаи можно приписать к термину галлюцинаций ролевых моделей.
Почему у моделей появляются галлюцинации?
- Ошибки переобучения, ошибки кодирования и декодирования, предвзятость обучения.
- Сжатие и несогласованность данных, что делает их сложными для обработки.
Как бороться?
Для уменьшения вероятности ошибки, можно откалибровать температурный параметр и использовать промпт-инжиниринг.
Температурный параметр ответа
- это степень «вольности» или «творчества» в ответах бота. Как правило, творческие ответы чаще подвержены галлюцинациям. Для задач, требующих достоверности, вовлекайте подробный контекст и установите значение temperature=0.
Теперь о промпт-инжиниринге
- Попросим модель думать «шаг за шагом» – пишем
Think step by step before answering, дальше спрашиваем. - Самосогласованность – просим модель дать несколько ответов и выбрать наилучший. Пишем
Think step by step before answering and give three answers: if a domain expert were to answer, if a supervisor were to answer, and your answer. - Дерево мыслей – просим модель экспертно оценивать каждый шаг выполнения запроса:
Imagine three different experts are answering this question. All experts will write down 1 step of their thinking, then share it with the group. Then all experts will go on to the next step, etc. If any expert realises they’re wrong at any point then they leave.
Отмечайте пост реакциями, если советы были полезны.