Ханна Фрай - Hello World. Как быть человеком в эпоху машин

К началу третьего тысячелетия, накопив достаточно опыта работы с крылатыми ракетами, космическими кораблями и самолетами, инженеры уже понимали, с какой стороны взяться за решение задачи локализации. Они по-прежнему не могли ответить робомобилю на вопрос “где я?”, но байесовский подход, по крайней мере, давал надежду.

Благодаря Байесу с 2004 года, когда первые гонки Grand Challenge оставили после себя кладбище роботов, до впечатляющей победы высоких технологий в 2005 году, когда пять разных машин сумели проехать более ста миль без участия людей, произошло множество важнейших качественных скачков. Другие насущные задачи — объяснить машине, что вокруг нее и что ей следует делать, — тоже помогли решить алгоритмы, которые работали по теории Байеса [247].

Так должна ли ваша машина сбить пешехода, чтобы спасти вас?

Давайте ненадолго остановимся на обсуждении второго вопроса. Ибо осенью 2016 года, на Парижском автосалоне, в укромном уголке переполненного посетителями выставочного зала, пресс-секретарь Mercedes-Benz сделал довольно-таки незаурядное заявление. Журналисты спросили директора по разработке систем помощи водителю и активной безопасности Кристофа фон Гуго, как беспилотный “мерседес” поведет себя при угрозе катастрофы. “Если вы видите, что хотя бы одного человека можно спасти, надо его спасать”, — ответил он.

Логично, подумаете вы. Тоже мне, открытие.

Только вот Гуго спрашивали не о дорожно-транспортных происшествиях вообще. Интервьюер хотел выяснить его отношение к хорошо известному мысленному эксперименту из шестидесятых годов, где рассматривался один особенный случай. Вопрос касался интересной дилеммы — выбора меньшего из двух зол. Это так называемая “проблема вагонетки” — в первоначальном условии задачи речь шла о неуправляемом рельсовом транспорте. Применительно к автономному автомобилю можно представить себе следующую ситуацию.

Предположим, прошло сколько-то лет, и вы, пассажир машины с автономным управлением, едете по городской улице в отличном настроении. Загорается красный сигнал светофора, однако из-за какой-то неполадки ваша машина не может затормозить. Столкновения не избежать, и перед автомобилем встает выбор — что делать? Резко свернуть в сторону бетонной стены и почти наверняка угробить тех, кто сидит внутри? Или спасать их жизни и ехать прямо, но задавить людей на пешеходном переходе? На какие действия должна быть запрограммирована машина? Как по-вашему, кто должен погибнуть?

Конечно, у вас есть свое мнение. Может быть, вы полагаете, что автомобиль должен постараться спасти как можно больше жизней. А может, вы считаете, что заповедь “не убий” важнее любой арифметики, и пусть за все расплачивается тот, кто сидит в машине [248].

Фон Гуго четко выразил позицию своей компании: “Спасать того, кто находится в автомобиле. — И добавил: — Если вы ни в чем не уверены, кроме того, что одну смерть можно предотвратить, это должно стать вашей приоритетной целью”.

Это интервью вызвало бурю негодования в интернете, кредо Mercedes подвергли жесткой критике. “Их машины будут вести себя так же, как типичный высокомерный водитель люксового европейского автомобиля”, — писал автор одной статьи. Действительно, летом того же года журнал Science опубликовал обзор, где 76 % респондентов ответили, что, по их мнению, было бы правильнее, чтобы машина с автономным управлением спасла как можно больше людей, то есть подвергла бы смертельной опасности своих пассажиров. Mercedes занял позицию, противоположную общественному мнению.

Но так ли это? Ведь когда участников того же исследования спросили, готовы ли они купить автомобиль, который при определенных обстоятельствах их убьет, они почему-то не захотели пожертвовать собой ради высшего блага.

Мнения об этой дилемме разделились, и не только по вопросу о том, какой ответ считать правильным. Обозреватели в научно-технической сфере, да и другие журналисты обожают этот мысленный эксперимент, но, когда я говорила со специалистами по беспилотным автомобилям, все они при упоминании о задачке с вагонеткой лишь закатывали глаза. Что касается меня, я очень ее люблю. Ее лаконичность наводит нас на важные мысли о машинах-беспилотниках, вынуждает задуматься о нашем отношении к тому, что жизненно важные для нас и других людей решения будет принимать алгоритм. В сущности, и эта новая технология, и почти все прочие алгоритмы ставят вопросы о власти, ожидаемом эффекте, об управлении и о делегировании ответственности. О том, можем ли мы рассчитывать на то, что новые технологии гармонично впишутся в нашу жизнь и не будут нам противодействовать. Но мне понятно также, почему разработчики машин с автономным управлением скептически относятся к таким разговорам. Они лучше всех знают, что в реальности нам еще очень нескоро придется всерьез озаботиться проблемой вагонетки. Нарушение правил дорожного движения

С тех пор как состоялись первые гонки беспилотников, теорема Байеса и могучая сила теории вероятности дали толчок множеству инноваций в разработке автономного транспорта. Я спросила Пола Ньюмена, профессора из Оксфорда, специалиста по робототехнике и основателя компании Oxbotica , которая конструирует и тестирует на улицах английских городов машины-беспилотники, как устроены его последние модели, и он сказал: “Это программа на миллионы, много миллионов строк, но я мог бы описать все это как вероятностный логический вывод. Все — целиком” [249] [250].

Впрочем, хотя байесовский вывод отчасти объясняет принципиальную возможность создания машины-беспилотника, он же дает нам понять, какой же это крепкий орешек — полностью автономный автомобиль, которому совсем не нужен живой водитель.

Предположим, говорит Пол Ньюмен, “два автомобиля едут навстречу друг другу с высокой скоростью”. К примеру, по двухполосному шоссе, на плавном повороте, один в одну сторону, второй — в другую. Водитель — человек — будет абсолютно спокоен, ведь он уверен, что другая машина останется на своей полосе и проследует мимо на безопасном расстоянии в пару метров. “Но довольно долго кажется, что они сейчас врежутся друг в друга”, — объясняет Ньюмен. Как научить машину без водителя не паниковать в такой ситуации? Вам не нужно, чтобы — машина съехала на обочину, стараясь предотвратить аварию, которой и так не произойдет. Но точно так же вы не хотите, чтобы она никак не реагировала на угрозу, когда вы действительно окажетесь на волосок от лобового удара. Не забудьте еще, что такие машины могут лишь строить более или менее обоснованные предположения о том, как им следует действовать. Как добиться того, чтобы их догадки всегда были верны? Это, говорит Ньюмен, “ужасно трудная задача”.