Claude «взломал» спортзал, чтобы записать хозяина

Я — Дмитрий Губкин. Помогаю B2B‑компаниям и продуктовым командам внедрять ИИ и расти быстрее: делюсь рабочими фреймворками, промптами и кейсами из практики трекинга и консалтинга. Здесь — пошаговые гайды по Perplexity/GPT, конкурентному анализу, УТП, сегментации и первым B2B‑продажам. Минимум воды, максимум прикладной ценности для бизнеса.

aiclaudeагент

Соцсети сегодня облетела новость — парень в Австралии попросил ИИ-агента записать его на тренировку. Тот полез в систему бронирования, нашёл дыру в API, обнаружил, что может отменять чужие брони — и удалил человека с первого места, чтобы подвинуть хозяина повыше в списке. Прикольно конечно.

И вот о чём я задумался. А если мой агент накосячил — то отвечать мне или кому-то другому?

Логика же простая: если собака покусала прохожего, то отвечает хозяин. Ты отпустил ее с поводка, не досмотрел — значит и отвечать тебе. С агентом вроде бы та же история: ты его запустил, ты дал ему доступы и поленился прописать «а вот так нельзя делать». Выходит, и спрос с тебя!

Но с ИИ всё получается гораздо мутнее — у агента хозяев как будто несколько и сразу: тот, кто дал задачу; тот, кто написал фреймворк, в котором агент крутится; и те, кто сделал саму модель(как минимум). И пока вообще непонятно, кто из этой троицы «хозяин» в момент, когда что-то пошло не так.

А ущерб-то кто в итоге оплачивать будет?

  • 👍— оплачивает хозяин
  • 😈 — оплачивает кто-то другой
Скриншот новости о том, как ИИ‑ассистент взломал систему бронирования спортзала: мужчина с телефоном на фоне домашнего интерьера, заголовок сверху.
Иллюстрация: скриншот статьи о случае с ИИ‑ассистентом и бронированием в спортзале.

Дискуссия

Arstan
Это ладно, мне показывали пример, как ИИ-агент кастомный ничтоже сумняшеся отгружает данные, которые комтайна, в открытые источники, несмотря на запрет так делать. Ну просто он сгаллюцинировал и скинул, потому что ему так надо было, логика процесса требовала Спасло ситуацию только отключение внешних портов вообще И кто-то ведь явно додумается или уже додумался через агента вытаскивать такие данные, просто в диалоге
Губкин | Про AI и B2B-продукты
Arstan
Это ладно, мне показывали пример, как ИИ-агент кастомный ничтоже сумняшеся отгружает данные, которые комтайна, в открытые источники, несмотря на запрет так делать. Ну просто он сгаллюцинировал и скинул, потому что ему так надо было, логика процесса требовала…
Ну вот тот же вопрос — кто за это ответит?)) айтишник?
Konstantin
Одно дело, пока говорим о компах и системах, а скоро ИИ прикрутят и в механизмы, вопрос вообще заиграет новыми красками. Какой прогер сейчас обучает ИИ-водителя моего будущего такси, как объезжать внезапно выскочившего на дорогу ребенка? (Например, поехать на встречку под грузовик)
Max At
Konstantin
Одно дело, пока говорим о компах и системах, а скоро ИИ прикрутят и в механизмы, вопрос вообще заиграет новыми красками. Какой прогер сейчас обучает ИИ-водителя моего будущего такси, как объезжать внезапно выскочившего на дорогу ребенка? (Например, поехать…
чтож, подозреваю что уже сейчас корректно обученный на сохранение здоровья водителя ИИ, между задавить ребенка, нарушившего ПДД, и выскочить на встречку с тобой и семьей, или даже просто рисковать вылететь на обочину - выберет задавить, не задумываясь, снимая с тебя моральную дилемму. ну или ты при настройках сможешь поставить галочку - максимальное самосохранение. или не ставить, но тогда страховые могут лишить тебя страховки этически страшное время грядет
Andrey Oshemkov
вы пробовали убедить Клода что-то взломать? а тут ещё и случайно... верим?)
Max At
Andrey Oshemkov
вы пробовали убедить Клода что-то взломать? а тут ещё и случайно... верим?)
наиболее вероятный вариант я написал выше: потенциально в спортзале была форма, в которой можно было внести желаемую дату желаемые даты в ней заполнялись на фронтэнде из доступных бронированию, при этом валидации занято / не занято на бэке не производилось клод просто попробовал внести желаемую дату - и у него получилось. так состоялось рождение супервзломщика
Губкин | Про AI и B2B-продукты
Max At
наиболее вероятный вариант я написал выше: потенциально в спортзале была форма, в которой можно было внести желаемую дату желаемые даты в ней заполнялись на фронтэнде из доступных бронированию, при этом валидации занято / не занято на бэке не производилось…
У 99% микро и малых бизнесов в безопасности дыра размером с Меркурий, так что запасаемся попкорном
Арина Симонова
Andrey Oshemkov
вы пробовали убедить Клода что-то взломать? а тут ещё и случайно... верим?)
Ну да, у Клода обычно либо «не могу помочь», либо внезапно уже крутит гайки. Но тут история не про верим, а про дыру в доступах, это как будто не магия, а очень плохая настройка.
Сергей | Красная Кнопка
Надуманная проблема. Как суд решит, так и будет. А суды, знаете ли, очень разные бывают )
Присоединиться к обсуждению →

Читайте так же