Какие исследования человеческого поведения заслуживают доверия, а какие — бред?
Новые открытия в социальных науках далеко не всегда приносят пользу в обычной жизни.
Мы живём в интересное время для социальных исследований. За несколько минувших десятилетий такие дисциплины, как социальная психология или поведенческая экономика, казалось, разгадали многие тайны человеческой жизни, но и самим учёным, и обычным людям всё было мало. Журналисты с энтузиазмом писали о том, как одни приличные члены общества, получив неограниченную власть над другими, могут превращаться в чудовищ и садистов, — что, как предполагалось, показал Стэнфордский тюремный эксперимент. И все вокруг были в восторге от того, как ловко проводятся исследования, привлекающие к себе внимание.
В последнее время, однако, мир социальных наук погряз в противоречиях. Сами исследователи стали отмечать, что результаты многих известных экспериментов были опровергнуты, как это произошло с тем же Стэнфордским экспериментом, или их просто невозможно повторить. Учёные воспроизвели 100 экспериментов, отчёты о которых публиковались в трёх влиятельных журналах по психологии, и только 36% дали результаты, соответствующие первоначальным выводам.
Что ещё хуже, появились многочисленные обвинения в неэтичном использовании данных, и некоторые из них подтвердились. Нарушения включали, например, так называемый p-хакинг — обработку данных в поисках ложных взаимосвязей и публикацию их как достоверных результатов. Встречался и прямой обман, когда авторы меняли данные, чтобы они соответствовали определённому заранее выводу.
После подобных событий естественной реакцией многих людей за пределами области социальных наук стал серьёзный скептицизм: можно ли вообще доверять исследованиям, основанным на поведенческих экспериментах. Чтобы найти ответ на этот вопрос, придётся заглянуть за кулисы и разобраться, как работают исследования, почему что‑то может пойти не так, как их читать и чему верить.
Почему социальные исследования бывают недостоверными
Неудачные исследования встречаются не только в социальных науках — естественные страдают от очень похожих трудностей. Это объясняется рядом недостатков. Например, эксперименты слишком малы, чтобы им доверять, их планы плохо составлены или выводы оказываются верным благодаря ловкости рук и фактически не имеют смысла. Но наиболее укоренившийся недостаток — это академическая предвзятость, вызванная стремлением получить конкретные результаты ради карьеры.
В научном мире действуют довольно жёсткие правила. В некоторых сферах профессору надо опубликовать десятки исследовательских статей, чтобы получить должность. Представьте, что вы тратите 10 лет на учёбу в университете и аспирантуре, а затем ещё 10 лет на исследования, совмещая их с огромной преподавательской нагрузкой. И всё это только для того, чтобы ваша карьера полностью зависела от решения университетского комитета.
В ведущих вузах недостаточно даже опубликованных исследований, проведённых по всем стандартам. Тема должна быть продуманной, а результаты в идеале должны быть неожиданными. Эмпирические доказательства того, что собаки кусают людей, не заслуживают большого доверия. Гениальный эксперимент, который показывает, что люди кусают собак в 73,4% случаев, — вот это другое дело.
Не удивительно, что такой стимул — сосредоточиться на цепляющих парадоксах — приводит к проблемам. Рассматривая мотивы, которые заставляют учёных срезать углы или даже откровенно жульничать, их коллеги подчёркивают, что, хотя «пряник» и может стимулировать продуктивную и качественную работу даже в случае внешне беспристрастного исследования, «кнут» может сдерживать ошибки и недостойное поведение. Но они также отмечают, что ошибки и недостойное поведение в исследованиях бывает трудно обнаружить, а это фактически не даёт их расследовать. Таким образом, «пряник» сильно перевешивает «кнут», что предсказуемо влияет на достоверность работы.
Но и наличие должности само по себе не устраняет гарантированно другие проблемные мотивы. Старшие научные сотрудники легко становятся жертвами своего высокомерия и не обращаются за советами и конструктивной критикой. Кроме того, люди с большим опытом в определённой области, как правило, реагируют хуже, чем люди с меньшим опытом, когда получают опровергающие отклики. Другими словами, они не хотят слышать о том, что не правы. И ставки только растут в эпоху, когда учёные‑бихевиористы могут стать суперзвёздами за пределами академических кругов, зарабатывая на выступлениях и книгах о своих захватывающих «еретических» открытиях.
1. Неправдоподобные на первый взгляд результаты, скорее всего, такие и есть
За последние годы три социолога — Ури Симонсон, Лейф Нельсон и Джозеф Симмонс — добились известности благодаря своим расследованиям, нацеленным на раскрытие ложных и сфабрикованных результатов исследований. Чтобы доказать, что многие, казалось бы, обоснованные выводы не заслуживают доверия, они «издевались» над одним конкретным набором данных, пока не получили очевидно невозможный результат: прослушивание песни When I’m Sixty‑Four группы The Beatles может буквально сделать человека моложе.
Поэтому к крайне необычным результатам поведенческих экспериментов стоит относиться с подозрением. Если они звучат неправдоподобно или противоречат здравому смыслу, их лучше игнорировать, потому что риск того, что они окажутся ложными, слишком высокий.
Ещё можно провести «тест на дедушку». Представьте, как пересказываете результаты исследования своему дедушке и что он вам отвечает: «Дедуль, я тут прочитал новое классное исследование о том, что измены делают брак счастливее. Что думаешь?»
2. Идеи должны «хорошо состариться»
Важно обращать внимание и на то, насколько свежим является исследование. Опубликованная более 20 лет назад научная работа, скорее всего, слишком старая, чтобы отражать текущие социальные условия. А если исследование слишком новое, другие учёные, вероятно, ещё не уделили ему достаточно внимания — не воспроизводили и не опровергали его.
Поэтому, прежде чем подкреплять своё мнение данными нового эксперимента, даже если он кажется качественным и заслуживающим доверия, надо дать ему немного времени «настояться», как хорошему вину. Например, сохранить в закладки и понаблюдать за тем, что будет дальше и как его результаты впишутся в более общую систему социальных исследований.
3. Полезное лучше, чем умное
Проблемы с мотивами есть не только в академическом сообществе. Многие научные журналисты ценят новизну больше, чем пользу, и часто пишут об исследованиях, которые с большей вероятностью окажутся сомнительными, когда кто‑то попытается их воспроизвести. Это не только запутывает читателей, но ещё и приводит к неправильному пониманию сути поведенческой науки, которая состоит не в том, чтобы предоставлять образовательно‑развлекательные услуги, а в том, чтобы предлагать идеи, способные улучшить благополучие людей.
Помимо проверки методов, данных и дизайна экспериментов, эти три правила помогают ориентироваться в мире несовершенных исследований. В жизни мы постоянно сталкиваемся с разного рода причудами и хитростями: новыми моделями поведения, образа мыслей и самого существования или лёгкими способами получить желаемое. Будь то политика, любовные отношения, вера или спорт — какое‑нубудь очередное модное исследование с противоречивыми результатами требует от нас отказаться от старых знаний и принять новейшую мудрость.
Однако современная культура, одержимая новинками и технологиями, полна плохих идей и дезинформации — аналогов результатов p‑хакинга, ложных выводов и откровенного мошенничества ради личной выгоды. Поэтому всегда стоит спрашивать себя, не слишком ли хороши результаты исследования, чтобы быть правдой, давать им время настояться и думать о том, полезные они или просто новые.
Мы живём в интересное время для социальных исследований. За несколько минувших десятилетий такие дисциплины, как социальная психология или поведенческая экономика, казалось, разгадали многие тайны человеческой жизни, но и самим учёным, и обычным людям всё было мало. Журналисты с энтузиазмом писали о том, как одни приличные члены общества, получив неограниченную власть над другими, могут превращаться в чудовищ и садистов, — что, как предполагалось, показал Стэнфордский тюремный эксперимент. И все вокруг были в восторге от того, как ловко проводятся исследования, привлекающие к себе внимание.
В последнее время, однако, мир социальных наук погряз в противоречиях. Сами исследователи стали отмечать, что результаты многих известных экспериментов были опровергнуты, как это произошло с тем же Стэнфордским экспериментом, или их просто невозможно повторить. Учёные воспроизвели 100 экспериментов, отчёты о которых публиковались в трёх влиятельных журналах по психологии, и только 36% дали результаты, соответствующие первоначальным выводам.
Что ещё хуже, появились многочисленные обвинения в неэтичном использовании данных, и некоторые из них подтвердились. Нарушения включали, например, так называемый p-хакинг — обработку данных в поисках ложных взаимосвязей и публикацию их как достоверных результатов. Встречался и прямой обман, когда авторы меняли данные, чтобы они соответствовали определённому заранее выводу.
После подобных событий естественной реакцией многих людей за пределами области социальных наук стал серьёзный скептицизм: можно ли вообще доверять исследованиям, основанным на поведенческих экспериментах. Чтобы найти ответ на этот вопрос, придётся заглянуть за кулисы и разобраться, как работают исследования, почему что‑то может пойти не так, как их читать и чему верить.
Почему социальные исследования бывают недостоверными
Неудачные исследования встречаются не только в социальных науках — естественные страдают от очень похожих трудностей. Это объясняется рядом недостатков. Например, эксперименты слишком малы, чтобы им доверять, их планы плохо составлены или выводы оказываются верным благодаря ловкости рук и фактически не имеют смысла. Но наиболее укоренившийся недостаток — это академическая предвзятость, вызванная стремлением получить конкретные результаты ради карьеры.
В научном мире действуют довольно жёсткие правила. В некоторых сферах профессору надо опубликовать десятки исследовательских статей, чтобы получить должность. Представьте, что вы тратите 10 лет на учёбу в университете и аспирантуре, а затем ещё 10 лет на исследования, совмещая их с огромной преподавательской нагрузкой. И всё это только для того, чтобы ваша карьера полностью зависела от решения университетского комитета.
В ведущих вузах недостаточно даже опубликованных исследований, проведённых по всем стандартам. Тема должна быть продуманной, а результаты в идеале должны быть неожиданными. Эмпирические доказательства того, что собаки кусают людей, не заслуживают большого доверия. Гениальный эксперимент, который показывает, что люди кусают собак в 73,4% случаев, — вот это другое дело.
Не удивительно, что такой стимул — сосредоточиться на цепляющих парадоксах — приводит к проблемам. Рассматривая мотивы, которые заставляют учёных срезать углы или даже откровенно жульничать, их коллеги подчёркивают, что, хотя «пряник» и может стимулировать продуктивную и качественную работу даже в случае внешне беспристрастного исследования, «кнут» может сдерживать ошибки и недостойное поведение. Но они также отмечают, что ошибки и недостойное поведение в исследованиях бывает трудно обнаружить, а это фактически не даёт их расследовать. Таким образом, «пряник» сильно перевешивает «кнут», что предсказуемо влияет на достоверность работы.
Но и наличие должности само по себе не устраняет гарантированно другие проблемные мотивы. Старшие научные сотрудники легко становятся жертвами своего высокомерия и не обращаются за советами и конструктивной критикой. Кроме того, люди с большим опытом в определённой области, как правило, реагируют хуже, чем люди с меньшим опытом, когда получают опровергающие отклики. Другими словами, они не хотят слышать о том, что не правы. И ставки только растут в эпоху, когда учёные‑бихевиористы могут стать суперзвёздами за пределами академических кругов, зарабатывая на выступлениях и книгах о своих захватывающих «еретических» открытиях.
Как определить достоверность социального исследования
В этом помогут три основных правила.1. Неправдоподобные на первый взгляд результаты, скорее всего, такие и есть
За последние годы три социолога — Ури Симонсон, Лейф Нельсон и Джозеф Симмонс — добились известности благодаря своим расследованиям, нацеленным на раскрытие ложных и сфабрикованных результатов исследований. Чтобы доказать, что многие, казалось бы, обоснованные выводы не заслуживают доверия, они «издевались» над одним конкретным набором данных, пока не получили очевидно невозможный результат: прослушивание песни When I’m Sixty‑Four группы The Beatles может буквально сделать человека моложе.
Поэтому к крайне необычным результатам поведенческих экспериментов стоит относиться с подозрением. Если они звучат неправдоподобно или противоречат здравому смыслу, их лучше игнорировать, потому что риск того, что они окажутся ложными, слишком высокий.
Ещё можно провести «тест на дедушку». Представьте, как пересказываете результаты исследования своему дедушке и что он вам отвечает: «Дедуль, я тут прочитал новое классное исследование о том, что измены делают брак счастливее. Что думаешь?»
2. Идеи должны «хорошо состариться»
Важно обращать внимание и на то, насколько свежим является исследование. Опубликованная более 20 лет назад научная работа, скорее всего, слишком старая, чтобы отражать текущие социальные условия. А если исследование слишком новое, другие учёные, вероятно, ещё не уделили ему достаточно внимания — не воспроизводили и не опровергали его.
Поэтому, прежде чем подкреплять своё мнение данными нового эксперимента, даже если он кажется качественным и заслуживающим доверия, надо дать ему немного времени «настояться», как хорошему вину. Например, сохранить в закладки и понаблюдать за тем, что будет дальше и как его результаты впишутся в более общую систему социальных исследований.
3. Полезное лучше, чем умное
Проблемы с мотивами есть не только в академическом сообществе. Многие научные журналисты ценят новизну больше, чем пользу, и часто пишут об исследованиях, которые с большей вероятностью окажутся сомнительными, когда кто‑то попытается их воспроизвести. Это не только запутывает читателей, но ещё и приводит к неправильному пониманию сути поведенческой науки, которая состоит не в том, чтобы предоставлять образовательно‑развлекательные услуги, а в том, чтобы предлагать идеи, способные улучшить благополучие людей.
Помимо проверки методов, данных и дизайна экспериментов, эти три правила помогают ориентироваться в мире несовершенных исследований. В жизни мы постоянно сталкиваемся с разного рода причудами и хитростями: новыми моделями поведения, образа мыслей и самого существования или лёгкими способами получить желаемое. Будь то политика, любовные отношения, вера или спорт — какое‑нубудь очередное модное исследование с противоречивыми результатами требует от нас отказаться от старых знаний и принять новейшую мудрость.
Однако современная культура, одержимая новинками и технологиями, полна плохих идей и дезинформации — аналогов результатов p‑хакинга, ложных выводов и откровенного мошенничества ради личной выгоды. Поэтому всегда стоит спрашивать себя, не слишком ли хороши результаты исследования, чтобы быть правдой, давать им время настояться и думать о том, полезные они или просто новые.
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.
