Джон Брокман - Эта идея должна умереть. Научные теории, которые блокируют прогресс

Дело в том, что в данном случае экспериментатор сам выбрал значение ключевого предиктора. Все остальные предикторы были выровнены: в изучаемых классах работали одинаково квалифицированные педагоги, ученики обладали примерно одинаковыми способностями, происходили из одного и того же общественного класса и т. п. Таким образом, единственное, что отличало экспериментальный класс от контрольного, – как раз та самая независимая переменная (размер класса), которая и интересовала ученых.

Исследования на базе АМР, которые пытаются «держать под контролем» все возможные переменные – такие как социальный класс, возраст, состояние здоровья и т. п., – все равно не могут обойти «проблему самоотбора» («проблему смещения выборки»). Мы понятия не имеем о множестве неучтенных особенностей, которые отличают пациентов, получающих лечение в экспериментальной группе, от участников контрольной группы.

Возьмем, к примеру, социальное происхождение. Если исследователь захочет узнать, влияет ли классовая принадлежность на результат, который он намерен получить, то любой из факторов, так или иначе связанных с социальным положением, может сместить выборку и исказить влияние классовой принадлежности как таковой. Не исключено, что люди, потребляющие больше оливкового масла, окажутся более богатыми, более образованными, они (а также их супруги и дети) будут больше интересоваться своим здоровьем и лучше заботиться о себе. Вероятность того, что они курят или злоупотребляют алкоголем, ниже. Скорее всего, они проживают в более экологически чистых районах, чем те, кто в основном использует не оливковое, а кукурузное масло.

Вероятнее всего, у этой группы итальянские корни (у итальянцев сравнительно высокая продолжительность жизни), а не африканские (среди чернокожих в целом более высокий уровень смертности). Совокупность всех этих предикторов может стать причиной корреляции между социальным классом и смертностью, но вряд ли именно оливковое масло тут решающий фактор.

Даже если попытаться «взять под контроль» все эти многочисленные переменные, их, скорее всего, не удастся правильно измерить, а это значит, что их влияние на целевую зависимую переменную будет недооценено. Например, не существует единственно правильного способа определения принадлежности к тому или иному социальному классу. Уровень образования, доход, благосостояние, профессиональная квалификация – все это отдельные куски пирога, но нет общепринятого способа взвесить эти куски и составить их так, чтобы получить целый пирог – бесспорную принадлежность к определенному социальному классу.

Один колумнист The New York Times, кандидат наук из Гарвардского университета, недавно высказал мнение, что метод АМР эффективнее, чем менее масштабные эксперименты, поскольку АМР использует Большие данные и поэтому способен охватить большее число объектов. Ошибка здесь заключается в предположении, что относительно малое количество объектов исследования с большей вероятностью приведет к искажению результатов испытания.

Большее n всегда лучше меньшего n , говорят нам, потому что в первом случае больше вероятность того, что мы заметим даже малейшие посторонние влияния. Но наше доверие к тому или иному исследованию основывается не на количестве рассмотренных случаев, а на том, не искажены ли полученные результаты и являются ли они статистически значимыми. На самом деле, если у вас есть статистически значимый результат, полученный на относительно небольшом числе объектов исследования, то, при прочих равных, этот результат более достоверен, чем если бы вам потребовалось больше объектов для получения той же степени статистической значимости.

Большие данные полезны в решении многих задач, в том числе для получения результатов АМР, предполагающих рандомизированные экспериментальные исследования, которые могли бы дать окончательные доказательства того, является ли тот или иной кажущийся эффект реальным.

Прекрасный пример такого рода последовательности результатов дает исследование АМР о связи между недосыпанием и ожирением, проведенное Гильельмо Бекутти и Сильваной Паннайной в 2011 году [55]. Взятые сами по себе, эти результаты едва ли не бессмысленны. Плохие показатели здоровья чаще всего взаимосвязаны: у людей с лишним весом хуже работает сердечно-сосудистая система, у них хуже психологическое здоровье, они принимают больше лекарств, меньше занимаются спортом и так далее. Однако в данном случае после исследования АМР ученые провели дополнительный эксперимент: они не давали испытуемым спать – и обнаружили, что в результате те действительно набрали вес. Более того, выяснилось, что недосып приводит к гормональным и эндокринным изменениям, которые способствуют набору веса.

Множественная регрессия, как и все статистические методы, основанные на корреляции, имеет ряд ограничений: корреляция не доказывает каузальности, причинной связи. И никакое увеличение количества «взятых под контроль» переменных не поможет нам распутать нить причинности. Что природа объединила, того множественная регрессия да не разъединит.

Профессор медицины; директор МДС-Центра, Колумбийский университет.

Очевидный факт, который либо игнорируется, либо не привлекает должного внимания в исследованиях раковых заболеваний, состоит в том, что лабораторная мышь не представляет собой достоверную «модель» человеческого заболевания и практически бесполезна в разработке лекарств. Мы по сей день лечим лейкоз у людей теми же препаратами и в той же дозировке, которые использовались при лечении лейкоза у мышей в 1977 году, – и результаты этого лечения оставляют желать лучшего. Представьте всю неестественность этого процесса: изъятие клеток опухоли у человека, их выращивание в лаборатории и подсадка в организм мыши, чья иммунная система предварительно настолько ослаблена, что не может отторгнуть имплантированную опухоль. Затем этот ксенотрансплантат подвергается воздействию препаратов, убийственная токсичность которых будет впоследствии использоваться в лечении людей.

Этот в корне ошибочный, синтетический подход распространился и на другие области науки. Недавно опубликованная научная работа показала, что около 150 препаратов, на тестирование которых были потрачены миллионы долларов, оказались неэффективными в лечении сепсиса у человека, потому что в процессе разработки они тестировались на мышах. К сожалению, мышиный сепсис очень отличается от человеческого. Материал об этом исследовании, написанный Джиной Колата для The New York Times , вызвал резкий отклик биомедицинского сообщества: