Почему ChatGPT то «гений», то «тупит»

Канал Ильи Смирдина — И.И. по паспорту и сторителлера по жизни. Спикер, ИИ-энтузиаст, коуч. Запускаю IT-продукты, консультирую ИИ-стартапы. Пишу об интересном мне, делюсь опытом. 6 лет в digital, международке, AI и IoT в недвиге (ex ПИК). 👉 @ilya_mosc

chatgptтемпературанейросети

Кратко: нами опять манипулируют 🐸 Хотя иногда сервера тоже не справляются.

Сегодня один мой друг-продакт решил сгенерировать мем и сильно удивился! Вот какой был промпт:

создай мем в виде обсуждения в чате Telegram от 3 пользователей с никами UncleFedor KotMat и Sharik
UncleFedor: а у нас в деревне Шарик теперь работает нейросетью
Sharik: да, я обучился на подкастах Дудя и комментариях в Дзене
KotMat: не переживай, Фёдор! От этого хобби хотя бы животные не страдают

Что его поразило: ChatGPT сразу догадался, что это Простоквашино (хотя на это были только намёки!), и поставил аватарки, похожие на персонажей из мультика.

Но дальше он попробовал снова с тем же промптом — и получил далеко не такое же сходжение с Простоквашино.

Почему же? Такое поведение ChatGPT вполне объяснимо. Дело тут в том, что нейронки работают, грубо говоря, по принципу «подбора лучшего варианта в текущем контексте». То есть, довольно математически точно. Однако, есть нюанс.

Для контроля этого процесса есть параметр «температуры» ответов:

  • При низкой (меньше 0,8, например 0,3) температуре модель будет стараться вообще не отходить от контекста, выбирая всегда максимально «лучший» вариант.
  • При высокой (от 1,2 и выше, до 2) температуре — более жестко «фристайлить» и выбирать не «самые релевантные» схождения. Но тут будет «креативнее» и так бывает лучше генерировать идеи.

То есть, средней считается температура примерно от 0,8 до 1,2.

И вот интересный факт: по умолчанию в ChatGPT температура около 0,75 (строгая, да не очень). В итоге, он старается чаще выдавать топ-1 совпадение (самое вероятное) в большинстве случаев. Но иногда «для разнообразия» берёт варианты из топ-2 или топ-3. Вот почему он периодически кажется тупым и иногда даже подбешивает.

Это сделано намеренно. Таким образом ответы в основном точные, но не кажутся «всегда идеальными». Потому что... люди не любят ничего идеального, ведь они сами не такие* 🐸

*кроме глупых, самоуверенных и нарциссичных. Знаю, тут таких нет 🦆

Ну и да, для генерации изображений ChatGPT сама другой модели пишет промпт на основе вашего запроса, и температура тут тоже может влиять. Хотя у отдельных рисовалок, чаще всего, температуры нет — это бы вас слишком бесило: ждёшь, ждёшь, а он «тупанул» 🙂‍↔️

А вы задумывались об этом раньше?

#ИИ #мысли

Иллюстрация чата в стиле мема: три аватара и диалоговые облачка с фразами про Шарика и нейросеть, оформлено как переписка Telegram.
Пример сгенерированного мема: чат трёх пользователей с аватарками, напоминающими персонажей мультфильма.
Чат‑баллоны в зелёных тонах и три персонажа‑аватара: упрощённая иллюстрация переписки, использованная при объяснении работы модели.
Альтернативная версия мема с другим оформлением диалогов и аватаров.