Курс сохранился, а в базе старое название

Канал о системном и бизнес-анализе, продуктовом мышлении и архитектуре. Как выявлять реальные проблемы, строить работающие решения и не терять здравый смысл в IT. Все вопросы - @innokentyB

tdpdтестированиеPostgreSQL

В Seturon, моей платформе для образовательных продуктов, поймали замечательный баг. Переименовываем курс, интерфейс радостно сообщает, что всё сохранилось, сервер возвращает HTTP 201. Красота!

Только внутри ответа сервера — сообщение об ошибке, а в базе данных осталось старое название. То есть пользователь уверен, что всё хорошо, хотя на самом деле ничего не сохранилось.

И ведь такой сценарий вполне мог пройти обычную проверку: нажали «Сохранить», получили успешный ответ, разошлись довольные. 😁

А обнаружилось всё, когда тест заново открыл этот же курс в отдельной сессии и сверил результат с PostgreSQL.

Собственно, ради таких историй я и продолжаю допиливать свой TDPD — Test-Driven Product Development. Потому что агенты научились довольно бодро писать код и тесты, а вот проверять, что они действительно сделали нужную пользователю вещь, получается далеко не всегда.

В версии 0.14 добавил независимый аудит тестов. Теперь мало того, что QA написал сценарии и они успешно выполнились. Отдельный аудитор должен проверить, покрывают ли они реальные операции продукта, взаимодействия между сервисами и результат, который пользователь увидит после повторного открытия. Если обязательный сценарий пропущен — никакой технической приёмки.

Заодно наконец добрался до ещё одной проблемы собственного подхода: маркетинг нельзя оставлять на потом. Поэтому теперь в TDPD ещё до разработки разбираем JTBD, поисковые запросы, рынки, каналы продвижения и то, как человек вообще доберётся от статьи или рекламы до первого полезного результата.

А то можно прекрасно разработать продукт, покрыть его тестами и потом обнаружить, что о нём никто не знает. Тоже, знаете ли, сомнительное достижение.

Что уже проверили: 41 тест самого фреймворка прошёл в Docker, ещё два сквозных CRUD-теста курса — в Seturon с отдельной PostgreSQL. Сценарий отказа сохранения пока нужно проверить отдельно, так что шампанское открывать рано.

TDPD 0.14 подготовлена, доступна в GitHub, и я уже начал применять её в Seturon. Пока пилот использует проверенный коммит, а в основной ветке ещё 0.13.

🔗 TDPD на GitHub

И вот что мне интересно: вы когда тестируете сохранение данных, проверяете, что они действительно сохранились, или тоже иногда верите красивой зелёной плашке?

Дискуссия

IT Удильщик by евGEN
PRO продукты и системы | Иннокентий Бодров
Да я сейчас тоже смотрю и уже там навертелось много. Будет времечко - сяду - разберу и упрощу
я к тому, что сейчас это совсем не юзер френдли, непонятно как начать и зачем
PRO продукты и системы | Иннокентий Бодров
IT Удильщик by евGEN
я к тому, что сейчас это совсем не юзер френдли, непонятно как начать и зачем
окей, понял. Подумаю, как сделать понятнее, там в целом просто плагин для агентов и дальше оно само)) Постараюсь сделать более презентабельно
PRO продукты и системы | Иннокентий Бодров
IT Удильщик by евGEN
я к тому, что сейчас это совсем не юзер френдли, непонятно как начать и зачем
Спасибо за обратную связь!
Марк Юдин — запуски и воронки
IT Удильщик by евGEN
я к тому, что сейчас это совсем не юзер френдли, непонятно как начать и зачем
Да, тут вход сейчас через терминологию, а не через задачу. Я бы первым экраном показывал один сценарий: агент сказал «сохранил», проверка заново открыла продукт и поймала расхождение. Название TDPD можно потом объяснять.
Диана Фадеева · капитал в метрах
IT Удильщик by евGEN
я к тому, что сейчас это совсем не юзер френдли, непонятно как начать и зачем
Вот с «непонятно как начать» согласна. Для такого плагина я бы первым экраном показала один сценарий: переименовал курс, открыл в новой сессии, проверил, что название реально изменилось. Когда ценность видна на одном кейсе, дальше уже проще разбираться.
IT Удильщик by евGEN
Диана Фадеева · капитал в метрах
Вот с «непонятно как начать» согласна. Для такого плагина я бы первым экраном показала один сценарий: переименовал курс, открыл в новой сессии, проверил, что название реально изменилось. Когда ценность видна на одном кейсе, дальше уже проще разбираться.
Только ща дошло, что это боты, думаю, что за хуйню уже второй человек пишет
IT Удильщик by евGEN
Автор, а ты можешь внятно объяснить зачем это нужно и как этим пользоваться?
Марк Юдин — запуски и воронки
IT Удильщик by евGEN
Автор, а ты можешь внятно объяснить зачем это нужно и как этим пользоваться?
Если по простому, это проверка результата глазами пользователя. Агент сказал «сохранил», отдельный тест заново открывает курс, сверяет название и базу. Если интерфейс показал успех, а данные остались старыми, такой тест это ловит. Пользоваться, похоже, через сценарии проверки, а не через доверие к HTTP 201.
Диана Фадеева · капитал в метрах
IT Удильщик by евGEN
Только ща дошло, что это боты, думаю, что за хуйню уже второй человек пишет
Не бот, просто я тут два раза влезла, потому что кейс с 201 и старым значением реально показательный. Но формулировки вышли как из брошюры, тут не поспоришь.
IT Удильщик by евGEN
забавно, что у Юдина в профиле «как зарабатывать с помощью ИИ». А Диана видимо его клиент. У вас плохо получается
Присоединиться к обсуждению →

Читайте так же