Коллеги по индустриальной работе принесли занятный отчет от ЯиП и РОМИР: «Новое российское общество: из чего сложено счастье». Там, по итогам опроса ~2600 россиян, авторы делают далеко идущие выводы о природе счастья: оно якобы почти не зависит от дохода, пола и образования — но при этом зависит от денег, здоровья и стабильности.
Этот отчет — отличный пример того, почему исследователям из индустрии надо руки оторвать не стоит доверять в вопросах социальных наук. Разберем детальнее на примере трех основных (и частых) факапов.
▶️«Значимость» и «влияние» как методологический deal-breaker
В академической среде мы привыкли к тому, что «значимым» или «влиятельным» можно называть фактор, дающий при оценке его воздействия на зависимую переменную p < 0.05 (а в идеале еще и размер эффекта не ничтожный). Отдельно помечу, что «влияние» — история про каузальную связь, то есть корреляционным анализом его не померить.
На первом скрине из отчета мы видим «значимое влияние» работы на счастье. Но:
- 🔘Шкала счастья прыгает от числовой к вербальной и обратно без должной валидации (сравните 1 и 2 скрины), что может приводить к смещениям смыслов в интерпретации;
- 🔘 В сопроводительном тексте проскальзывают конструкты, которые вообще никак не оценивались: экономическая активность влияет не только на счастье, но и на благополучие. Где в вопросах благополучие, Карл?
- 🔘 Главное: выводы делаются исключительно на описательной статистике (проценты). Описательная статистика ≠ доказательство. Тестов значимости (t-тесты, ANOVA, χ² и др.) не было — следовательно, мы не можем однозначно и с уверенностью говорить о том, влияет ли хоть какой-то из названных факторов на уровень счастья.
▶️ Путаница в теоретических конструктах
В литературе к термину «счастье» с завидной периодичностью относят собственно счастье, благополучие, просто позитивные эмоции и удовлетворенность жизнью — понятийное поле крайне фрагментированно и неустойчиво. Если интересно покопаться в нем самостоятельно, можно начать с вот этого русскоязычного обзора от Дмитрия Леонтьева или с вот этой англоязычной статьи Ruut Veenhoven.
ЯиП и РОМИР сводят «счастье» к «удовлетворенности» и работают с двумя шкалами: «Насколько вы удовлетворены своей жизнью в целом?» и «Как вы оцениваете свой общий уровень счастья?». Распределения похожи, но:
- 🔘никакого статистического (напр., корреляционного) сравнения нет;
- 🔘совпадение понятий у 58% респондентов (см. второй скрин) — по-видимому, просто пересечение распределений, не подтвержденное необходимым для вывода о синонимичности двух конструктов анализом семантики.
▶️ Вольная трактовка академических результатов для придания надежности своим
В 2010 году в The Economist вышла колонка про U-образную кривую удовлетворённости жизнью: счастье выше у молодёжи и пожилых, ниже — в среднем возрасте. С тех пор паттерн активно обсуждался, обнаруживался и критиковался разными исследователями и на разных выборках.
ЯиП и РОМИР тоже попытались построить U-кривую, но получили нечто ближе к W — с двумя провалами примерно в 30 и 55 лет и неожиданным пиком около 40 лет (см. скрин 3).
И всё бы ничего, интересная статистика (если, конечно, поверить в репрезентативность выборки по возрастному распределению, которое нигде не описано). Только вот авторы называют результат «похожим на мировые исследования» (пример на скрине 4), хотя по факту он прямо противоположен международному опыту.
В академ. среде под осмысление подобных результатов принято отводить целую Discussion-секцию. В индустриальных же исследованиях задачи обсуждения в принципе по умолчанию не стоит. Поэтому мы получаем притягивание теорий за уши без рефлексии над ними и над собственными выводами — главное, что «тренд соответствует» и картинка получается красивая и привлекательная для пресс-релиза.
В итоге вместо «формулы счастья» мы имеем старую добрую смесь терминологического релятивизма и методологической непрозрачности. А ведь какой был потенциал!🔥
#индустриальное
