Роман Анискин - Инженеры тела

Тем паче нет смысла искать правду в различных интернет сообществах. Кружки по интересам, они же социальные интернет объединения, лишь укореняют безграмотность населения, пропагандируя простые и харизматичные советы, укладывающиеся в полтора слова.«Умри, но сдохни», «Побеждает сильнейший», «Если не успел – то опоздал» и прочие «богатые» на мудрость лозунги всегда достучатся до инфантильных сердец. Погоня за аудиторией, как известно, никогда не способствует повышению качества материала, ибо растущая сложность и глубина предмета лишь наоборот, с каждым витком, отсеивает нетерпеливых. Уже не приходится надеяться на столь серьезный подход к получению научных знаний, как поиск исследований, прошедших проверку воспроизводимости и верную интерпретацию этих исследований без излишне оптимистичной экстраполяции выводов на практику. Часто ли вы встречаете среди специалистов апеллирование к обширным мета анализам в ходе дискуссии по какому-либо вопросу? Не думаю.

Представьте на секунду. Тысячи публикаций исследований. Сотни тысяч. Многие лежат в свободном доступе в интернет ресурсах. Малозначительные эффекты, крохотные выборки, ошибочный анализ, частные интересы авторов или спонсоров исследования… Плохо осведомленным людям, не специалистам, это подается за монолитную, авторитетную, незыблемую НАУКУ. Кем подается? Персонажами, выставляющими себя грамотными аналитиками – накидал красивых ссылок, умело аргументировал надежность своих и недостоверность чужих фактов, и новому жрецу науки смотрят в рот! Подобная картина сплошь и рядом на всем интернет пространстве – что российском, что зарубежном.

В 2012 году в журнале Nature опубликовали статью «Drug development: Raise standards for preclinical cancer research». Автор исследования, Гленн Бигли (C. Glenn Begley), повествует, что в течение десяти лет в биотехнологической фирме Amgen предпринимались попытки воспроизвести «наиболее ценные» исследования, посвященные борьбе с раком, отобранные из 53 журналов. Поскольку в исследованиях описывались совершенно новые подходы таргетированной борьбы с раком и новые варианты клинических применений существующей терапии, некоторые данные были умышленно убраны из текста – во избежание плагиата технологии. Даже со скидкой на это, процент подтвержденных научных данных оказался ничтожно мал – всего 6 исследований из 53. Всего шесть исследований, из пятидесяти трех авторитетных, смогли воспроизвести! В этом случае одной из причин предполагается низкое качество опубликованных доклинических данных. Забавно, что в опубликованной в 2012 году статье фигурирует идея, что не смотря на отдельные ошибки в деталях исследований, в целом на ключевую идею статьи можно положиться и она выдержит проверку временем: «that although there might be some errors in detail, the main message of the paper can be relied on and the data will, for the most part, stand the test of time.» То было в 2012, а уже в 2015 году научное сообщество медиков и биологов растеряло свою снисходительность к деталям исследований, пускай и предклинических.

Обратите внимание – медицина, как научное направление, подвержена строжайшему контролю и анализу исследований, так как связана с прямым воздействием на человеческий организм. Тем не менее и там копятся результаты человеческого фактора – это неизбежное, недооцениваемое явление. Результатом растущей, выразимся сдержанно, сомнительности множества исследований в медицине и биологии, становятся инициативы вроде проекта Элизабет Айорнс «Reproducibility Initiative». С большой долей удачи, инициаторы нашли инвестора в лице благотворительной организации, пожертвовавшей 1,3 млн. долларов на проверку 50 самых известных статей в области биологии рака. Упоминается, что в среднем 26 тысяч долларов на одно исследование хватит лишь на проверку ключевого эксперимента, но не для полного воспроизведения исследования каждый раз (что, в общем-то, и не является необходимым). Вы только представьте – реально сложной задачей является поиск денег на перепроверку исследований, попытку воспроизвести ключевые эксперименты, а именно возможность их повторить, то есть воспроизводимость, делает исследование значимым на практике! Не пора ли тест на воспроизводимость эксперимента закладывать в бюджет исследования?

Проблема дизайна качественного исследования нарастает с новой силой каждый год. В упомянутой выше статье Стюарта Лимана, опубликованной в январе 2014 года, упоминается, как изучение 76 влиятельных исследований на животных показало, что в половине случаев использовалось не более пяти животных на группу, и многие не смогли должным образом обеспечить случайное распределение мышей по контрольной и экспериментальной группам. По словам профессора Джона Иоаннидиса, эпидемиолога Стэндфордского университета, одной из ключевых проблем множественных искажений результатов биомедицинских исследований, является «погоня за значимостью», то есть попытка интерпретировать данные с целью прохождения статистического теста значимости – девяносто-пяти процентной границы, установленной в свое время Рональдом Фишером. Разве такое применение видел господин Фишер для своей идеи?

Взглянем на другой интересный случай. В 2009 году компания Roche, производитель противовирусного средства Тамифлю (Осельтамивир), реализовала свой препарат по ряду стран на общую сумму в несколько миллиардов долларов. Кокрановское сотрудничество, организация из более чем 14000 ученых-добровольцев, имеющее высочайший авторитет в медицинском научном сообществе и взаимодействующее с Всемирной Организацией Здравоохранения, отрядила группу экспертов на проверку клинических исследований Осельтамивира, опубликованных компанией производителем. По итогу, группа экспертов сделала позитивный вывод по данным предоставленных исследований. Тем не менее, спустя время, лишь по счастливой случайности и въедливости японского врача Кейдзи Хаяши, обнаружилось, что 8 из 10 исследований, подверженных мета анализу одним из представителей Кокрановской группы, до сих пор не были не обнародованы в полном тексте. Спустя два года события развились настолько, что компании Roche, до этого отказывающейся предоставить все материалы исследований, пришлось уступить. Заново проанализировав планирование исследований (в том числе и не предоставленных ранее, а их оказалось 20), Кокрановские аналитики обнаружили множество методических недочетов в экспериментах, вызывающих сильные сомнения в достоверности результатов. По итогу, повторный анализ показал крайне низкую эффективность препарата, и в сравнении с побочными эффектами, его применение едва ли было оправдано. Экономическая эффективность потраченных миллиардов долларов на закупку лекарств устанавливалась более двух лет, и конечный вывод сильно поменялся благодаря въедливости одного малоизвестного (на тот момент) японского врача. Как написали по поводу этой истории в журнале The Guardian, «в течение этого периода, мировое научное медицинское сообщество начало осознавать, что краткие публикации научных исследовательских работ – на которые мы опирались множество лет – могут быть недостаточными, и даже вводить в заблуждение». Гораздо больше можно узнать из отчета клинического исследования – промежуточного документа между исследовательскими данными и журнальной статьей, однако часто эти отчеты авторы исследований отказываются предоставлять без соглашения о конфиденциальности. Так же поступала и компания Roche, пока не сдалась под давлением общественности.