Роман Анискин - Инженеры тела

Добавим в размышления о роли человеческого фактора в науке такое свойство эксперимента, как воспроизводимость. Для минимизирования влияния разных побочных, неподконтрольных факторов, едва ли не важнейшим требованием к научному исследованию является его повторяемость и воспроизводимость. Проще говоря, открытие не будет котироваться, пока не подтвердится хотя бы на нескольких исследовательских площадках. Разумно, не правда ли? Ежели уважаемый исследователь заявляет об открытии, способном если и не перевернуть представление о предмете исследования, то хотя бы скорректировать – почему предложенное исследование не перепроверить?

В апреле 2015 года в Академии Медицинских Наук (The Academy of Medical Sciences) проходил симпозиум по воспроизводимости и надежности результатов биомедицинских исследований. Одним из первых итогами полузакрытого симпозиума поделился главред The Lancet – еженедельного рецензируемого журнала по общей медицине, с почти двухсотлетней историей публикаций (с 1823г.). Ключевая фраза отчета была следующей: «The case against science is straightforward: much of the scientific literature, perhaps half, may simply be untrue» («Довод против науки довольно прямолинеен: значительная часть научной литературы, возможно половина, может быть попросту ложной»). Надо отметить, что симпозиум проходил под правилом Chatham House, в соответствии с которым, никто из участников не имеет права разглашать авторство высказанных на мероприятии мнений. Это правило позволяет всем высказываться откровенно – без поправок на интересы спонсоров, политические и прочие. Говорить чистую правду. Так, автор слов «A lot of what is published is incorrect» остается неизвестным, однако отчет главреда The Lancet начинается именно с этой цитаты. Если поинтересоваться, можно обнаружить не единожды встречающиеся выводы подобного толка, но этот особенно примечателен, поскольку произошел относительно недавно и был достаточно масштабным. Еще раз, кто не понял – буквально сами представители, источники науки медицины и биологии собрались, и поделившись друг с другом докладами и анализом решили, что едва ли не половина научной литературы ошибочна! Как высказался Ричард Хортон, «что-то пошло в корне неправильно с одним из величайших человеческих творений», подразумевая науку.

Таково положение дел. Растущий масштаб любого явления человеческой деятельности приводит к неизбежному накоплению следствий человеческого фактора. Однако, каким образом человеческий фактор мог повлиять на общую достоверность научных исследований? Разве дизайн исследований не должен каким-то статистическим образом нивелировать подобное влияние? Остановимся на итоге отчета о симпозиуме: «Хорошей новостью является то, что наука начинает воспринимать худшие из своих недостатков очень серьезно. Плохой же новостью является то, что никто не готов сделать первый шаг к очистке системы». Высшие представители науки лишь признают появившуюся проблему, о ее решении и вычищении ложной научной литературы пока только заговорили.

Так же, главред The Lancet поднимал тему недостаточно строгих критериев достоверности исследований. Например, в физике элементарных частиц p-value не должно быть выше 3×10 —7, когда в биологии p-value достаточно не превышать 0,05. На эту тему в феврале 2014 года в журнале Nature опубликовали статью «Scientific method: Statistical errors», поясняющую, почему «золотой стандарт» статистической достоверности (p <0,05) не так надежен, как полагают многие ученые. Представленное в 1920х годах в Великобритании статистиком Рональдом Фишером, p-значение не предполагалось на роль окончательного теста. Оно лишь предназначалось для неформального определения значительности в старомодном смысле: заслуживают ли результаты исследования второго, более внимательного взгляда. Всего лишь прикидка. Повторюсь, Ричард Хортон в упомянутом отчете тоже предложил повысить стандарт.

Первая ласточка, в феврале 2015, опубликована новость, что журнал BASP (Basic and Applied Social Psychology) запретил публикацию статей, использующих критерий p <0,05, по причине слишком частого его использования в качестве аргументации исследований низкого качества. Конечно, журнал посвящен психологическим и социальным исследованиям, но лишь потому, что практическое применение подобных данных, по-видимому, уже принесло в достатке негативную обратную связь. Пребывающей в кризисе (по мнению ряда ученых) биомедицине тоже осталось недолго. Осмелимся предположить, что одним из ключевых шагов по «очистке» биологии и медицины от множества ложных исследований станет ужесточение критериев достоверности до уровня физики элементарных частиц, или близко к этому. От спекуляций, спровоцированных заинтересованными в прибыли больших компаниях, это вряд ли убережет, но загрязнение и так не чистой научной среды слабо подтвержденными исследованиями точно затруднит.

В январе 2015 года экспертная комиссия института естественных наук «Рикэн» постановила, что в ходе эксперимента Харуко Обокаты, посвященному STAP-клеткам, «допущены сознательные фальсификации». Тем не менее, никакое тщательное рецензирование не предотвратило публикацию в авторитетном журнале Nature. В результате инцидента в журнале ввели ужесточенный контроль иллюстраций в статьях, так как именно в них обнаружили несоответствие. Сколько же до этого сомнительных статей заняли место в одном из наиболее серьезных профильных журналов? Nature сильно потерял в авторитете в первую очередь из-за этого события.

Эти и множество подобных случаев внесли вклад в общий неприятный вывод ученых и исследователей о состоянии биологической и медицинской литературы на сегодняшний день, озвученный на симпозиуме.

Вот ирония! Пока научное сообщество вцепляется пятерней в волосы, задумываясь, как поправить растущую дискредитацию – на периферии творится безумие. Тренеры через одного декларируют научную обоснованность собственных тренировок, каждая вторая представительница сомнительной спортивной дисциплины выписывает себе корочки «нутрициолога». Одни плодят новые, «научно-обоснованные» мифы с ссылками на исследования, другие разоблачают мифы старые. Нелепо, но большое количество людей, ложно причисляющих себя к категории специалистов, лишь занимается замещением одной спорной или ошибочной информации на другую. Даже лаборатория под вашим боком не становится гарантом высокой научности – стоит присмотреться к организации исследования. Не удивительно – лабораторная деятельность опирается на те же исследования и гипотезы, что и остальные, а соответственно обилие сложных диагностических устройств еще не дает 100% надежных выводов. Более того, именно в лабораториях дают жизнь как верным, так и ложным наблюдениям, ошибочно или сознательно интерпретируя результаты в угоду гипотезе. Стюарт Лиман в своей статье «Bad statistics, and bad training are sabotaging drug discovery» рассказывает старую шутку среди ученых исследователей: «33 процента животных отреагировали на лечение положительно, 33 процента животных не показали никакого ответа, а третья мышь убежала», а ведь такие исследования могли лечь в основу популярных и растиражированных теорий! Горькая шутка получается.