Коллектив авторов - Что мы думаем о машинах, которые думают [Ведущие мировые ученые об искусственном интеллекте]

Нам уже довелось увидеть, насколько опасно может быть автономное программное обеспечение, когда утром 1 августа 2012 года крупнейшая торговая площадка Уолл-стрит, Knight Capital, включила новую автоматизированную программу для покупки и продажи акций. Код содержал ошибку, и программа немедленно наводнила рынок иррациональными операциями. Прошло 45 минут, прежде чем программисты Knight Capital сумели выявить и устранить проблему. Для человека это недолгий срок, но для компьютера это вечность. Не замечая собственных ошибок, программа заключила более 4 миллионов сделок, совершив операций на сумму в 7 миллиардов долларов, что чуть было не привело к банкротству компании. Да, мы знаем, как создавать мыслящие машины. А вот чего мы не знаем, так это того, как сделать их вдумчивыми.

Knight Capital ничего не потеряла, кроме денег. По мере того как программы принимают на себя управление большим числом экономических, социальных, военных и личных процессов, затраты, связанные с ошибками, авариями и непредвиденными эффектами, будут расти. Риски усиливаются из-за невидимости программного кода. И как отдельные личности, и как общество мы все больше зависим от алгоритмов искусственного интеллекта, которых мы не понимаем. Их действия, а также мотивация и намерения, которые формируют эти действия, скрыты от нас. Создается дисбаланс сил, и он оставляет нас открытыми для тайного наблюдения и манипуляций. В прошлом году нам были даны кое-какие намеки по поводу способов, с помощью которых социальные сети тайно проводят психологические тесты на своих участниках посредством манипуляций с новостной летной. Поскольку компьютеры учатся все искуснее наблюдать за нами, формировать наши взгляды и действия, растут возможности для злоупотреблений.

В XIX веке общество столкнулось с тем, что недавно почивший историк Джеймс Бениджер охарактеризовал как кризис контроля {3} 3 James R. Beniger, The Control Revolution: Technological and Economic Origins of the Information Society (Cambridge, MA: Harvard University Press, 1986). [Джеймс Р. Бениджер. Революция контроля: технологические и экономические истоки информационного общества] : технологии обработки материи опередили технологии обработки информации, а способность людей контролировать и регулировать производственные и другие связанные с ними процессы, в свою очередь, ослабела. Кризис контроля, который проявлялся во всем, от железнодорожных катастроф до дисбаланса спроса и предложения, а также недоступности государственных услуг, был в конечном счете разрешен благодаря изобретению систем автоматической обработки данных, таких как перфокарточный табулятор, который Герман Холлерит сконструировал для Бюро переписи населения США. Информационные технологии догнали производственные, позволив людям снова четко видеть мир, который начал было расплываться.

Сегодня мы сталкиваемся с еще одним кризисом контроля, хотя он — зеркальное отражение первого. Мы теперь изо всех сил стараемся совладать именно с тем, что помогло нам восстановить контроль в начале XX века, — с информационными технологиями. Наша способность собирать и обрабатывать данные во всех формах и управлять ими опередила нашу способность контролировать и регулировать этот процесс таким образом, который удовлетворяет нашим социальным и личным интересам. Разрешение нового кризиса контроля скоро станет одной из величайших проблем человечества. Чтобы справиться с нею, нужно прежде всего признать, что опасности, связанные с искусственным интеллектом, относятся не к какому-то отдаленному антиутопическому будущему. Они уже здесь.

По мере того как алгоритмы, поколение за поколением, становятся умнее, они также становятся более непонятными. Нам же, чтобы работать с умными машинами, должно быть ясно, как они думают. Нам, возможно, впервые удалось создать устройства, которых мы сами не понимаем.

Поскольку мы их программировали, мы сознаем, почему они делают каждый отдельный шаг. Но машины совершают миллиарды таких шагов — шахматных ходов, рекомендаций кинофильмов согласно предпочтениям пользователя, и они становятся неочевидны для нас, хоть мы и понимаем архитектуру созданной нами программы.

Мы сделали так, чтобы нам не нужно было задумываться об этих неочевидных действиях. Мы спроектировали машины таким образом, чтобы они действовали подобно людям. Они помогают нам водить автомобили, управлять самолетами, доставлять посылки, одобрять кредиты, просматривать сообщения, выбирать развлечения и партнеров для романтических отношений. Мыслящие машины даже способны диагностировать наши недуги. А поскольку они ведут себя так же, как мы, было бы разумно предположить, что они и думают похожим образом. Но реальность такова, что они вообще не думают в человеческом понимании этого слова; в действительности мы не знаем даже, почему они демонстрируют то поведение, которое мы наблюдаем. Вот в чем суть их непостижимости.

Важно ли это? Надо ли нам беспокоиться из-за того, что мы строим системы, чьи все более и более точные решения основываются на непонятных нам принципах?

Во-первых, это важно уже потому, что мы регулярно оказываемся в совершенно обыденных ситуациях, когда нам надо знать ответ на вопрос «Почему?». «Почему мне отказали в выдаче кредита? Почему мой счет заблокировали? Почему мое заболевание вдруг оказалось в категории тяжелых?» А иногда нам бывает нужно знать ответ на вопрос «Почему?» в случаях, когда машина совершила ошибку. «Почему самоуправляемый автомобиль резко сошел с дороги?» Трудно разобраться с чем-то, когда вы не понимаете причин.

Есть также и более глубокие проблемы, и, чтобы говорить о них, нам надо лучше разбираться в том, как работают алгоритмы. Они обучаются на больших объемах данных и очень хорошо справляются с обнаружением малозаметных паттернов, содержащихся в этой информации. Мы знаем, например, как построить систему, которая изучит несколько миллионов составленных в прошлом заявок на кредит, одинаково структурированных и закодированных, и найдет повторяющиеся паттерны в тех кредитах, которые — как уже известно в ретроспективе — заслуживали одобрения. Трудно заставить людей прочесть несколько миллионов кредитных заявок, и даже если бы такое получилось, результат оказался бы хуже, чем тот, который способен выдать алгоритм.