Джордж Зейдан - Ингредиенты. Странные химические свойства того, что мы едим, пьем и наносим на кожу

Двигаемся дальше.

Изучая результаты крупного проспективного когортного исследования, представьте себе следующий сценарий: вы пришли к соседям на барбекю по случаю Дня независимости [127]  День независимости США ( англ . Independence Day) – день принятия Декларации независимости США в 1776 году, которая провозглашает независимость США от Королевства Великобритании; празднуется в Соединенных Штатах Америки 4 июля. . Вокруг бургеры, собаки и семьи с детьми-подростками. Хозяева знакомят вас с их дочерью, которая учится на одни пятерки и сейчас проходит летнюю стажировку в крупной компании. Вы думаете: «Ого! Они, должно быть, прекрасные родители!» Но вот в чем проблема: нет никакой гарантии, что все их дети добились успеха. Возможно, у этой девочки есть брат, который, устав от ежегодных вечеринок в честь Дня независимости, сидит в своей комнате, дышит краской и отправляет учителям непристойные фотографии. Иными словами, вы можете видеть только определенный набор переменных и анализ, который привел к «успешной» связи.

Я упомянул метафору о ребенке, нюхающем краску, в разговоре с Брайаном Нозеком, и он очень удивился. К счастью, вместо того чтобы просто повесить трубку, он предложил не менее иллюстративный, но куда менее странный показатель: «Если вы можете сказать заранее: „Вот это я собираюсь сделать. Такой результат я, скорее всего, получу. Это, как мне кажется, произойдет”, тогда я буду впечатлен. Постфактум все кажется уже не таким эффектным».

Давайте рассмотрим конкретный пример.

В исследовании NutriNet-Santé изучалась связь между потреблением ультраобработанных пищевых продуктов и шестью видами рака: простаты, толстой кишки, молочной железы до и после менопаузы и любого другого онкологического заболевания.

Серьезно?

Существует более 100 разных видов рака.

Есть ли связь между потреблением ультраобработанных пищевых продуктов и злокачественной опухолью желудка? Предположим, что авторы проверили эту гипотезу и получили Р-значение 0,35.

А что насчет рака пищевода? Р-значение 0,78.

Рак мозга? Р-значение 0,09.

Рак молочной железы после менопаузы? Р-значение 0,02.

Бинго!

Видите, куда меня это привело? «Вид рака» – это лишь одна переменная. Есть сотни других, как явных, так и скрытых, с которыми исследователи могли бы «поиграть». На самом деле нет ничего ужасного в том, чтобы свести 100 видов онкологических заболеваний к шести или выбрать любую другую переменную. Каждый ученый должен решать, что исследовать. Однако я полагаю, что вы, как читатели, имеете право на гарантию того, что переменные были выбраны до проведения анализа данных, или хотя бы получить предупреждение об обратном.

У ученых эта гарантия называется предварительной регистрацией исследования.

Так вы сообщаете миру, какие именно переменные собираетесь тестировать и как будете анализировать данные, прежде чем зарегистрировать первого участника эксперимента. Если вы просмотрите базу данных предварительной регистрации исследований NIH, то найдете там SUN и NutriNet-Santé.

Ну что, можно поставить галочку?

Нет.

Они оба были «предварительно» зарегистрированы спустя много лет после их начала. Это так работать не должно. Справедливости ради следует отметить, что в начале проведения этих исследований предварительная регистрация не играла большой роли, но она обрела значимость задолго до того, как были опубликованы статьи об ультраобработанных пищевых продуктах. Таким образом, в идеале авторы должны были предварительно зарегистрировать свой план анализа информации, заявив: «Мы хотим проанализировать набор данных, чтобы увидеть, связано ли потребление ультраобработанных пищевых продуктов с лишним весом и ожирением (в случае SUN) или шестью видами рака (NutriNet-Santé), и вот как именно мы собираемся получать результаты». Насколько мне известно, это сделано не было. На самом деле в материалах для предварительной регистрации обоих испытаний ультраобработанная пища вообще не упоминается.

Так что мы в итоге получаем?

Из всех выбоин на дороге к подлинной связи базовые арифметические и процедурные ошибки являются самыми забавными, потому что они не подвергаются никаким сомнениям . По этой причине оплошность в PREDIMED попала в заголовки новостей по всему миру. Однако больше всего меня беспокоит (и заставляет подвергнуть сомнениям страшные цифры из первой главы) Р-хакинг, потому что, ознакомившись с исследованием, нельзя сказать наверняка, что вы видите перед собой: подлинную связь или результат творческой манипуляции.

Время притормозить. Мы бежим впереди паровоза. Есть и другие выбоины, о которых мы пока не говорили.

Выбоины, которые мы рассматривали до сих пор, находились на дороге к подлинной связи. Но давайте на мгновение предположим, что у вас есть корреляция, которая на 100 %, абсолютно, позитивно, безоговорочно подлинна. Как можно быть настолько в этом уверенным? Дело в том, что вам сообщили об этом из Неопалимой купины [128]  Неопалимая купина – в Пятикнижии: горящий, но не сгорающий терновый куст, в котором Бог явился Моисею, пасшему овец в пустыне близ горы Синай. . Вам сказали: «Владение дробовиком очень тесно связано с наличием большого числа половых партнеров женского пола». Давайте предположим, что Господь не прибегал к Р-хакингу и не делал глупых математических ошибок. Итак, вы знаете, что связь подлинна.

В шестой главе мы уже говорили о том, что далее вы должны задаться вопросом: является ли связь причинно-следственной ?

Иными словами, предпочитают ли женщины спать с владельцами дробовиков из-за оружия?

Весь смысл этого в том, чтобы ответить на вопрос, который следует далее: если я куплю дробовик, начнут ли женщины сами прыгать ко мне в постель?

Нет.

На самом деле я не сказал вам о том, что является причиной обладания и дробовиком, и множеством женщин.

Попробуйте угадать, а затем переверните страницу.

Это галочка рядом со словом «мужчина» в опроснике.

Если задуматься, то это не кажется удивительным. Если вы мужчина, то у вас статистически больше шансов иметь дробовик и заниматься сексом с женщинами. Если говорить на языке корреляций, то связь между двумя этими утверждениями является подлинной, но не причинно-следственной. Таким образом, если вы покупаете дробовик с целью чаще спать с женщинами, то, вероятно, это не сработает, извините.

Подлинные, но не причинно-следственные связи, вызванные другими скрытыми факторами, называются спутанными. К сожалению, их часто гораздо сложнее обнаружить, чем в странном, но правдивом вышеприведенном примере.