Джон Брокман - Эта идея должна умереть. Научные теории, которые блокируют прогресс

В этой ситуации возможен ряд решений, одно из которых может и улучшить поведение конкретных исследователей, и устранить институциональные препятствия: это открытая публикация плана готовящегося исследования и его предполагаемых методов еще до начала работы. Медики, проводящие клинические исследования, используют этот метод уже в течение десятилетий, и с 2013 года их примеру начали следовать специалисты в других областях.

Публикация должна детально описывать методы анализа данных в рамках планируемого исследования, и это позволяет отказаться от прежней практики, когда флюктуации, неизбежные при анализе масштабной и многогранной информации, выдаются за надежные результаты. Рецензенты, к которым поступают связанные между собой рукописи, в конце концов смогут сконцентрироваться на оценке адекватного предлагаемого метода исследования вместо того, чтобы полностью увязнуть в анализе результатов. Это, в свою очередь, поможет отчасти скорректировать невыгодное положение, в котором оказываются проверяющие исследования по сравнению с оригинальным «добыванием информации». И в самом деле, некоторые журналы уже начали принимать к публикации статьи, в которых описаны хорошо продуманные планы исследований, еще до получения окончательных результатов этих исследований.

Взрывообразное развитие интернета привело к распространению общедоступных рейтингов и полезных комментариев почти по каждому продукту или услуге – но почему-то из этого процесса выпали научные работы, несмотря на очевидную ценность комментирования, позволяющего выявить недочеты и исправить ошибки. До недавних пор для того, чтобы указать на проблему в чьей-то научной работе, вам нужно было пройти сквозь строй тех же самых редакторов и рецензентов, которые проморгали или сознательно проигнорировали проблему.

Рецензенты, которые одновременно являются специалистами в определенной области, тоже не свободны (как и сами авторы) от ошибок в практической работе или различных предвзятостей. Теперь наконец-то ученые могут пользоваться преимуществами интернета для того, чтобы участвовать в обсуждении и знакомиться с мнениями многих коллег, а не только с мнениями авторов обсуждаемой статьи и двух-трех ее рецензентов. В октябре 2013 года Национальная медицинская библиотека США разрешила исследователям комментировать практически любую научную работу в области биологии и медицины, находящуюся в широко известной базе PubMed. Исправление простых ошибок перестало быть сложной работой.

Однако, помимо простого исправления ошибок, комментарии позволяют увидеть новые перспективы. Вследствие этого повышается степень перекрестного опыления идеями. Еще недавно стагнировавшие научные области могут вновь ожить благодаря внедрению этих новых стандартов научного общения, а дружественная критика со стороны коллег из других научных областей способна поколебать даже самые закостенелые и ортодоксальные взгляды. Однако, к большому сожалению, процессы найма на работу ученых, их карьерного продвижения и распределения грантов не учитывают вклада со стороны отдельных исследователей, использовавших эти новые инструменты. И пока такая ситуация сохраняется, прогресс остается медленным. Как заметил еще Макс Планк, революции в науке иногда возможны только в результате чьих-то похорон. Но даже после того, как защитники устаревших практик уходят в мир иной, замшелые традиции продолжают жить, отчасти из-за того, что их поддерживает институциональная политика. А политика не умрет, пока кто-то ее не убьет. Реформы и инновации нуждаются в нашей активной поддержке; лишь в этом случае наука сможет исправлять саму себя наилучшим образом.

Психолог; доцент маркетинга, Школа бизнеса Стерна, Нью-Йоркский университет; автор книги Drunk Tank Pink: And Other Unexpected Forces That Shape How We Think, Feel, and Behave («Розовый вытрезвитель и другие необычные силы, которые определяют, как мы мыслим, чувствуем и действуем»).

В 1984 году штат Нью-Йорк стал первым штатом, в котором появился закон об обязательном использовании ремней безопасности. Большинство остальных штатов приветствовали это нововведение и приняли аналогичные законы в 1980-е и 1990-е годы, однако небольшая группа исследователей обратила внимание на то, что ремни безопасности провоцируют водителей, довольно парадоксальным образом, ездить менее осторожно. Люди ездили безопасно, поскольку боялись серьезных травм в результате аварии; а если ремни безопасности снижают риск серьезной травмы, то одновременно они снижают и мотивацию к безопасному вождению.

Существует опасность того, что ученые, занимающиеся социальными науками, слишком сильно полагаются на концепцию повторяемости эксперимента – точно так же как лихие водители слишком полагаются на ремни безопасности. Когда мы проверяем новую гипотезу, мы обычно допускаем, что примерно 1 результат из 20 будет случайным. Если мы повторим тот же эксперимент 2–3 раза и результаты будут воспроизведены, мы можем более надежно предположить, что изначальный результат был верен. Студентов учат тому, что ошибки теории со временем выявляются в процессе повторения эксперимента – неубедительные результаты будут отсеиваться в ходе тщательной эмпирической проверки, и поэтому в конце концов у нас останутся лишь надежные и воспроизводимые результаты. К сожалению, эта крайне привлекательная теория не выдерживает испытания на практике.

Как намекает пример с ремнями безопасности, проблема возникает, когда исследователи ведут себя слишком небрежно из-за того, что чрезмерно полагаются на воспроизводимость. Каждый новый эксперимент становится все менее ценным и все менее «окончательным», а мы, вместо того чтобы поставить себе целью проведение одного, но максимально чистого и информативного опыта, предпочитаем провести множество экспериментов, не продуманных до конца.

Аналогичным образом издатели научных журналов склонны публиковать даже спорные результаты нового исследования, поскольку рассчитывают, что другие исследователи займутся проверкой их подлинности. Однако в реальности проверке подвергается лишь небольшая выборка выводов, поскольку в сложившейся научной практике слава приходит к тем, кто создает что-то новое, а не перепроверяет старое. С учетом того, что время и ресурсы ограничены, исследователи склонны концентрироваться на выдвижении новых идей, а не проверке старых. В научном мире обращаются тысячи предварительных выводов, однако сравнительно малая их доля подвергается перепроверке и переосмыслению.

Поскольку мы не видим, насколько часто выводы оказываются ложными, нам сложно отличить надежные результаты от чистой случайности. И это приводит к серьезным последствиям. Наше чрезмерное увлечение принципом повторяемости – согласно которому исследователь рано или поздно сможет отсеять неточности и ошибки – означает, что мы переоцениваем надежность множества выводов, которые в действительности требуют дополнительного изучения. Повторяемость – это критически важный компонент научного процесса, однако мы должны отказаться от иллюзии, согласно которой этот компонент может быть универсальным противоядием от ошибочных результатов.