Педро Домингос - Верховный алгоритм

Третий и, наверное, самый серьезный повод для беспокойства — то, что, как джинн из сказки, машины начнут давать нам то, чего мы просим, а не то, чего мы на самом деле хотим. Это не гипотетический сценарий: обучающиеся алгоритмы постоянно так поступают. Мы обучаем нейронные сети узнавать лошадей, а они учатся узнавать коричневые пятна, потому что все лошади в обучающем наборе были гнедые. Вы купили часы, и Amazon начинает рекомендовать схожие предметы — еще больше часов, — хотя они вам уже совершенно ни к чему. Если проверить все решения, которые сегодня принимают компьютеры — например, о выдаче кредитов, — можно заметить, что они зачастую необоснованно плохи. Человек был бы не лучше, если бы его мозг работал по методу опорных векторов и все познания об оценке кредитоспособности были бы получены из тщательно проработанной, но никуда не годной базы данных. Люди беспокоятся, что компьютеры станут слишком умны и захватят мир, однако настоящая проблема в том, что мир уже захвачен глупыми компьютерами.

Эволюция, часть вторая

Даже если компьютеры пока еще не блещут интеллектом, не вызывает сомнения, что их умственные способности очень быстро растут. Еще в 1965 году британский статистик Ирвинг Гуд113, во время Второй мировой работавший с Аланом Тьюрингом над взломом «Энигмы»114, размышлял на тему приближающегося взрывного роста интеллекта. Гуд указывал: если мы способны разработать машины умнее нас самих, те, в свою очередь, должны быть способны разработать машины, которые будут умнее их, и так до бесконечности, оставляя человеческий разум далеко позади. В 1993 году Вернор Виндж115 окрестил это «сингулярностью». Эту концепцию широко популяризировал Рэймонд Курцвейл, который в книге The Singularity Is Near («Сингулярность рядом») утверждает, что момент, при котором разум машин превысит человеческий — давайте назовем его точкой Тьюринга, — не только неизбежен, но и ждет нас в течение ближайших нескольких десятилетий.

Очевидно, что без машинного обучения — программ, которые разрабатывают программы, — сингулярность не наступит. Еще для этого понадобится достаточно мощное оборудование, но оно не отстает. Точки Тьюринга мы достигнем вскоре после того, как изобретем Верховный алгоритм. (Я готов поспорить с Курцвейлом на бутылку Dom Pérignon, что это произойдет раньше, чем мы сконструируем мозг путем обратной инженерии — предложенного им метода достижения искусственного интеллекта, равного человеческому.) При всем уважении к Курцвейлу, однако, это приведет не к сингулярности, а к чему-то намного более интересному.

Термин «сингулярность» пришел из математики — там он обозначает точку, в которой функция стремится к бесконечности. Например, у функции 1⁄ x такая точка — это x = 0, потому что результат деления единицы на ноль равен бесконечности. В физике классический пример сингулярности — черная дыра: точка бесконечной плотности, где конечное количество материи сжимается в бесконечно малое пространство. Единственная проблема с сингулярностью заключается в том, что на самом деле она не существует. (Когда вы последний раз делили торт между нулем человек и каждый из них получал бесконечный кусок?) Если физическая теория предсказывает нечто бесконечное, значит, с ней что-то не в порядке. Наглядный пример: общая теория относительности предсказывает, что черные дыры имеют бесконечную плотность, предположительно из-за того, что игнорируют квантовые эффекты. Аналогично разум не может развиваться вечно. Курцвейл признает это, но усматривает в совершенствовании технологии серию экспоненциальных кривых (скорость процессоров, объем памяти и так далее) и утверждает, что границы этого роста так далеки, что можно не принимать их во внимание.

Утверждение Курцвейла страдает переобучением. Он правильно обви­няет других в склонности к линейной экстраполяции — люди часто видят прямые линии вместо кривых, — но затем сам становится жертвой более экзотического недуга: видит везде экспоненты. В пологих кривых (ничего не происходит) он видит еще не начавшийся экспоненциальный рост. Однако кривые совершенствования технологий — это не экспоненты, а сигмоиды, наши добрые знакомцы из главы 4. Их начальные отрезки действительно легко перепутать с экспонентами, но затем они быстро расходятся. Большинство кривых Курцвейла — это следствия из закона Мура, который почти исчерпал себя. Курцвейл утверждает, что на смену полупроводникам придут другие технологии и на одних сигмоидах будут возникать другие, каждая круче предыдущей, но это лишь домыслы. Когда Курцвейл идет еще дальше и утверждает, что экспоненциально ускоря­ющийся прогресс виден не только в человеческих технологиях, но и во всей истории жизни на Земле, это восприятие по крайней мере частично связано с эффектом параллакса: нам кажется, что вещи, которые расположены ближе, движутся быстрее. Трилобитам116, жившим в разгар Кембрийского взрыва, можно простить веру в экспоненциально ускоря­ющийся прогресс, но затем последовало большое замедление. Тираннозавры, вероятно, предложили бы вместо этого закон роста размеров организма. Эукариоты (и мы в том числе) эволюционируют медленнее, чем прокариоты117 (например, бактерии). Эволюция ускоряется далеко не равномерно, а как придется.

Чтобы обойти проблему невозможности бесконечно плотных точек, Курцвейл предложил приравнять сингулярность к горизонту событий черной дыры: области, где гравитация настолько сильна, что не выпуска­ет даже свет. То же самое, говорит он, и с сингулярностью: это точка, за пределами которой технологическая эволюция настолько ускоряется, что люди не могут ни предсказать ее, ни понять, что произойдет. Если это и есть сингулярность, значит, мы уже ее достигли: мы не в состоянии угадать заранее, что придумает обучающийся алгоритм, и часто даже не понимаем полученный результат. Фактически мы уже живем в мире, постижимом для нас лишь отчасти. Главное различие заключается в том, что наш мир в какой-то степени создан нами, а это, безусловно, прогресс. Мир за пределами точки Тьюринга будет непонятен для нас не больше, чем плейстоцен118. Как всегда, мы сосредоточимся на том, в чем можем разобраться, а остальное назовем случайностью (или провидением).

Траектория, на которой мы находимся, — это не сингулярность, а фазо­вый переход. Его критическая точка — точка Тьюринга — наступит, когда машинное обучение опередит естественное. Само естественное обучение тоже прошло через три фазы: эволюцию, мозг и культуру. Каждое было продуктом предыдущего, и каждое училось быстрее. Машинное обучение — логическая следующая стадия этой цепочки. Компьютерные программы — самые быстрые репликаторы на земле: их копирование занимает всего долю секунды — но рождаются они медленно, если их должен написать человек. Машинное обучение устраняет это узкое горло, оставляя только окончательное ограничение: скорость, с которой люди способны усваивать изменения. Когда-нибудь исчезнет и эта граница, но не потому, что мы решим передать все «детям нашего разума», как называет их Ханс Моравек119, и тихо уйти в историю. Человечество — не засыхающая веточка на древе жизни. Напротив, мы вот-вот начнем ветвиться.