Коллектив авторов - Что мы думаем о машинах, которые думают [Ведущие мировые ученые об искусственном интеллекте]

Что делать, если машина нарушила закон? Обычно мы в таком случае обвиняем того, кто ею управляет. Люди совершают преступления; оружие, отмычка и компьютерный вирус — всего лишь их инструменты. Но по мере того как машины делаются все более автономными, связь между инструментом и его создателем становится тоньше.

Кто будет отвечать, если автономный военный дрон случайно убьет толпу мирных жителей? Офицер, который ввел данные по миссии, программисты, написавшие ПО для распознавания врага, которое неверно идентифицировало людей, или программисты, написавшие ПО, которое приняло решение убить этих людей? А если разработчики понятия не имели, что их программа используется в военных целях? Что, если дрон может самостоятельно улучшать свои алгоритмы на основе данных, собранных всем флотом в предыдущих операциях?

Может, наши суды и сумеют решить, на ком лежит вина, но только потому, что современные дроны хоть и автономны, но не слишком умны. Они умнеют и постепенно теряют связь с теми, кто их создал.

Что, если программистов уже нет, а дроны сами себя совершенствуют? Что, если они станут и умными, и автономными одновременно и будут принимать как тактические, так и стратегические решения? Что, если один из дронов на основе имеющихся данных решит предать страну, построившую его, и начнет ей вредить?

Общество выработало множество подходов — неформальных социальных принципов и более формальных законов, чтобы разрешать ситуации неподчинения правилам общежития. Для мелких нарушений у нас есть бытовые механизмы, для более серьезных — сложная правовая система. Если вы буяните на моей вечеринке, я больше вас не позову. Если вы регулярно нарушаете правила приличия, вас застыдят и подвергнут остракизму. Если вы у меня что-то украдете, я могу заявить на вас в полицию. Попробуйте ограбить банк, и вы почти наверняка надолго сядете в тюрьму. Многие из этих правил могут выглядеть несистематизированными, но человечество потратило тысячелетия, чтобы выработать их. Безопасность — понятие одновременно политическое и социальное, но также и психологическое. Например, дверные замки работают только потому, что система социальных и юридических запретов на кражу делает подавляющее большинство из нас честными. Таким образом, мы мирно сосуществуем в масштабах, невозможных для любого другого вида на планете.

Но что произойдет с системой, если появится новый тип злоумышленника — машина со свободой воли, что бы это ни значило? У нее, наверное, не будет представления ни о стыде, ни об одобрении. Она не откажется от определенных действий только потому, что другие машины могут что-то об этом подумать. Она не станет соблюдать законы просто потому, что так правильно, равно как не станет с естественным почтением относиться к властям. Если мы поймаем машину на воровстве, как мы ее накажем? Что такое оштрафовать машину? Имеет ли смысл сажать ее в тюрьму? Если в машину не заложен инстинкт самосохранения, то даже угроза смертной казни не будет иметь значительного эффекта.

Мы уже обсуждаем программирование моральных принципов для мыслящих машин; можно вообразить и программирование прочих человеческих склонностей, но мы наверняка где-нибудь ошибемся. Как бы мы ни старались этого избежать, но машины в определенный момент нарушат закон.

Это, в свою очередь, сломает нашу правовую систему. Сейчас она предотвращает преступления. Ее эффективность основана на задержании и осуждении преступников постфактум, а их наказание служит средством устрашения других. Эта схема не работает, если наказание бессмысленно.

Нечто подобное мы испытали после событий 11 сентября, когда многие из нас впервые задумались о таком явлении, как террористы-смертники, к которым нельзя применить привычные меры наказания. Всего одно изменение в сфере мотивации, и посмотрите, как оно повлияло на наш подход к вопросам безопасности. Мыслящие машины заставят нас столкнуться с такими же проблемами, а еще с теми, которые пока сложно даже представить. Социальная и правовая системы, успешно справлявшиеся с преступниками-людьми, неожиданным образом окажутся бессильны перед лицом мыслящих машин.

Мыслящая машина не всегда будет мыслить так, как нам хочется. И к последствиям этого мы не готовы.

Китайское слово, означающее компьютер, буквально переводится как «электрический мозг». Как сейчас мыслят электрические мозги? Как отдельные машины — все еще довольно примитивно, по человеческим меркам. В коллективе — достаточно хорошо. Всевозможные сетевые устройства со встроенными в них электрическими мозгами все больше общаются друг с другом, обмениваются информацией, приходят к взаимопониманию и принимают решения. Уже стало возможным в процессе последовательного сбора данных, их анализа и принятия решений, распределенного в облаке удаленных друг от друга машин, инициировать действия одной из них или нескольких в определенной точке пространства, тем самым оказывая влияние на некую группу людей (или обслуживая ее интересы).

Возможно, отдельные машины никогда не станут мыслить так, чтобы это было похоже на сознание отдельного человека, как мы его понимаем. Возможно, когда-нибудь большие, глобально распределенные сети не-людей достигнут некоего псевдоюнговского коллективного сознания. Но более вероятно то, что коллективное сознание человеческих сетей и обществ будет усилено различными видами коллективного сознания, генерируемого сетями электрических мозгов и тесно взаимосвязанного с ними.

Хорошо это или плохо?

И то и другое. Ни то ни другое. Как в случае с интернетом, которым мы все сегодня пользуемся, вопрос упирается в то, считаете ли вы человеческую природу изначально хорошей, плохой или дуалистичной. интернет не трансформирует и не улучшает человеческую природу. Он увеличивает, усугубляет, усиливает, укрепляет и укрупняет многие ее аспекты — от альтруистических и милосердных до преступных и злобных. Будьте готовы добавить еще одно измерение к тому, что уже делает интернет.

Мы уже столкнулись с тем, что специалисты по теории вычислительных систем любят называть проблемой атрибуции: с установлением того, кто в действительности ответственен за определенные события, происходящие в интернете или через него (например, за кибератаку на государственное учреждение или транснациональную корпорацию). Эти проблемы и связанная с ними полемика только продолжат обостряться.

Нам предстоит разобраться с тем, какими будут правовые последствия развития и расширения облачных структур; схожие вопросы задаются сегодня по поводу интернета и сетевых устройств. Кто решает, как будет развиваться технология, от которой все больше зависит наша экономическая, общественная, политическая и религиозная жизнь? Кто ответственен за нарушение чьих-либо прав в результате воздействия этих технологий, платформ и сетей? Кто и перед кем будет отвечать за такие нарушения, как цензура, слежка, подстрекательство к физическому насилию, основанная на определенных данных дискриминация и т. д.?