Эндрю Макафи - Машина, платформа, толпа. Наше цифровое будущее

Это была весьма важная работа, поскольку стояла задача лучше понять, как работает иммунная система, но невероятно трудная, поскольку лейкоциты должны обладать огромным арсеналом для борьбы с постоянно эволюционирующими антигенами человеческого тела. Хорошее решение для тела – располагать антителами и другими средствами, закодированными генами внутри каждого лейкоцита, однако сами эти гены состоят из большого набора соединенных вместе сегментов, иногда с мутациями. Точная последовательность активных сегментов меняется от клетки к клетке, а это означает, что разные клетки производят разное оружие. Его количество огромно. По одной оценке, сто (или около того) сегментов в человеческом лейкоците можно соединять и рекомбинировать по-разному, что дает 10 30молекулярных видов оружия. Это примерно в триллион раз больше числа песчинок на нашей планете.

Естественная и важная задача, стоящая перед учеными, – аннотация гена лейкоцитов, то есть правильная и последовательная идентификация всех сегментов. Как вы догадываетесь, эту работу делают компьютеры. Однако тут можно действовать разными способами, и непонятно заранее, какой из них даст наилучший, то есть самый быстрый и точный результат. Популярный алгоритм MegaBLAST [617], разработанный Национальными институтами здравоохранения США, может аннотировать один миллион последовательностей примерно за 4,5 часа с точностью 72 процента. Алгоритм idAb [618], созданный доктором Рами Арнаутом [619]из бостонского Beth Israel Deaconess Medical Center, значительно превышает эти показатели, делая тот же объем аннотации менее чем за 48 минут с точностью 77 процентов.

Чтобы узнать, насколько сильно можно улучшить ситуацию, Лахани, Будро и их коллеги разработали двухэтапный процесс и привлекли к работе толпу. На первом этапе они преобразовали узкоспециальную иммуногенетическую проблему аннотации генных сегментов в общую алгоритмическую задачу. Это дало возможность намного большему числу участников присоединиться к эксперименту, поскольку теперь от них не требовалось обладать познаниями в генетике, биологии и других науках.

На втором этапе исследователи опубликовали эту обобщенную задачу на Topcoder, сетевой платформе для решения вычислительно трудоемких задач. На момент проведения исследования в 2013 году Topcoder располагала сообществом из примерно 400 тысяч разработчиков программного обеспечения по всему миру, которые присоединились к этой платформе, в частности, потому, что им нравилось работать над сложными проблемами. Исследовательская группа сообщила потенциальным вычислителям, что их предложения получат оценку, учитывающую скорость и точность, и предоставила им массив данных для работы. Данные делились на две части: один набор был в открытом доступе для всех вычислителей, а ко второму, закрытому, они подключались на сайте Topcoder; участники не видели этих данных и не имели к ним прямого доступа, но могли применить к ним свои алгоритмы и получить оценку (для создания итоговых оценок использовался третий набор данных, тоже закрытый).

Соревнование на Topcoder продолжалось 14 дней. За это время 122 участника (отдельные люди или команды) как минимум по одному разу использовали свои алгоритмы для получения оценки, а многие сделали это по нескольку раз. Всего организаторы эксперимента зафиксировали 654 предложения. Состав участников был крайне неоднородным: они представляли 69 стран, а возраст колебался от 18 до 44 лет; большей частью они не обладали нужной квалификацией, по крайней мере в традиционном смысле. Приблизительно половина еще где-то училась, и, как указывали исследователи, «там не было теоретических или практических специалистов по вычислительной биологии, и всего пятеро сообщили, что занимаются какими-либо исследовательскими работами или имеют отношение к медико-биологическим наукам» [620].

Были ли все предложенные решения хорошими? Разумеется, нет. Большинство из них давали меньшую точность, чем MegaBLAST или idAb (хотя почти все были быстрее обоих этих алгоритмов). Тем не менее тридцать оказались точнее, чем MegaBLAST, а шестнадцать – точнее, чем idAb. Восемь предложений от толпы давали точность 80 процентов, которая, по оценке исследователей, была теоретическим максимумом для этого набора данных [621]. Те предложения, точность которых была как минимум не хуже, чем у idAb, работали в среднем 69 секунд, то есть в тридцать с лишним раз быстрее эталона. Три самых быстрых решения работали всего 16 секунд, то есть почти в 180 раз быстрее.

И еще одна важная деталь: общий призовой фонд конкурса составлял шесть тысяч долларов.

Типичны эти результаты или необычны? Мы обратились с таким вопросом к Кариму Лахани, поскольку он считается ведущим специалистом в сфере соревнований, затрагивающих толпу, и провел множество исследований помимо того, что мы только что описали. Он сказал:

За последние пять лет мы поставили перед толпой более 700 проблем для NASA, медицинских институтов, компаний и других организаций, и только один раз потерпели неудачу, когда толпа не собралась и не решила задачу [622]. Во всех остальных случаях мы либо достигли уже существовавших результатов, либо значительно их превзошли [623].

Это кажется невероятным, не так ли? Ведь компании и организации вроде Национальных институтов здравоохранения или Beth Israel потратили огромное количество времени, средств и сил на создание ресурсов для инноваций и решения проблем, задействовав при этом научно-исследовательские лаборатории, научно-технический персонал, технические отделы и многие другие. Эти ресурсы, по сути, «ядро ядра». Так почему же толпа так легко превзошла их именно в тех задачах, с которыми они должны справляться?

Может быть, эксперты ядра на самом деле не так уж хороши? В конце концов, в главе 2 мы представили множество подтверждений того, что специалисты в определенной области, как и все люди, страдают от когнитивных искажений, которые ухудшают качество их работы. Может оказаться, что чем выше и известнее становятся люди в своих областях, тем сильнее проявляются слепые пятна – например, хорошо известные эффект сверхуверенности [624]и склонность к подтверждению своей точки зрения (фактическое рассмотрение только той информации, которая соответствует тому, что вы думаете); это должно вести к ухудшению результатов.

Может даже оказаться, что многие эксперты на самом деле вовсе не эксперты, что они обманывают себя и нас в отношении своих умений и качества работы. В сегодняшнем сложном, быстро меняющемся, технологически изощренном мире весьма трудно выделить тех, кто действительно знает, о чем говорит.