Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Тестирование исключительно важно и для финансового программного обеспечения, в чем американская фирма “Knight Capital” могла убедиться на своем горьком опыте 1 августа 2012 года, потеряв 440 миллионов долларов за 45 минут после установки непротестированного продажного “софта” {19} 19 Как неверифицированный софт обошелся Knight Capital в 440 миллионов долларов всего за 45 минут см.: http://tinyurl.com/knightflop1 и http://tinyurl.com/knightflop2 . Знаменитый триллиондолларовый обвал 6 мая 2010 года, известный как “Черный вторник” или “Flash Crash”, заслуживает особого внимания по другой причине. Хотя в этот день на протяжении получаса шли массовые компьютерные сбои, во время которых цены на акции некоторых крупных компаний, вроде “Procter & Gamble”, колебались от пенни до 100 000 долларов США, проблема была вызвана не “глюками” в программах и не ошибками в работе компьютеров, которые можно было бы выявить с помощью тестирования. Причина заключалась в обманутых ожиданиях: автоматизированные продажные программы многих компаний должны были работать в непредвиденной ситуации, когда предпосылки их работы оказались неверны – например, неверной оказалась предпосылка о том, что, если фондовый компьютер сообщает цену акции в один цент, то это означает, что цена акции действительно один цент.

“Черный вторник” наглядно продемонстрировал важность того, что в информатике принято называть валидацией : если при тестировании задается вопрос: “Правильно ли построена система?”, то при валидации вопрос ставится так: “Правильная ли система построена?” {20} 20 Доклад правительства США о причинах резкого скачка индекса Доу-Джонса 6 мая 2010 года (“Flash Crash”): http://tinyurl.com/flashcrashreport . Например, не строилась ли система исходя из предпосылок, которые не всегда могут быть действительными? Если это так, то каким образом можно улучшить ситуацию с неопределенностью?

Нет необходимости говорить, что искусственный интеллект открывает большие возможности для улучшения производства, управляя роботами, использование которых повышает эффективность и точность. Неустанные в своем совершенствовании 3D-принтеры могут теперь создавать прототипы всего чего угодно, от офисных зданий до микромеханических устройств размером с крупицу соли {21} 21 3D-печать зданий (https://www.youtube.com/watch?v=SObzNdyRTBs), микромеханических устройств (http://tinyurl.com/tinyprinter) и много чего еще (https: //www.youtube.com/watch?v=xVU4FLrsPXs) . В то время как огромные промышленные роботы строят автомобили и самолеты, компактные и недорогие фрезерные станки с компьютерным управлением и другие подобные им устройства благодаря их доступности попадают не только на крупные заводы, но их могут себе позволить и тысячи частных энтузиастов, “мейкеров”, по всему миру, которые в своих маленьких коммунальных мастерских – “фаб-лабах” – материализуют свои идеи {22} 22 Глобальная карта fab-лабораторий: https://www.fablabs.io/labs/map . Но чем больше роботов нас окружает, тем важнее, чтобы их программное обеспечение подвергалось всесторонней проверке – тестированию и валидации. Первым человеком, которого, как известно, убил робот, был Роберт Уильямс, рабочий на заводе “Форд” в городе Флэт-Рок штата Мичиган. В 1979 году вышел из строя робот, который должен был доставлять запчасти со склада, и Роберт Уильямс отправился за запчастями сам. Внезапно робот бесшумно заработал и разбил ему голову, и продолжал бить его об стену в течение 30 минут, пока другие рабочие не узнали о происшедшем {23} 23 Новостная заметка об убийстве Роберта Уильямса промышленным роботом: http://tinyurl.com/williamsaccident . Следующая жертва робота – Кэндзи Урада, инженер-эксплуатационник с завода “Кавасаки” в японском городе Акаси. В 1981 году, занимаясь сломанным роботом, он случайно задел выключатель и был насмерть раздавлен гидравлической рукой робота {24} 24 Новостная заметка об убийстве Кендзи Урада промышленным роботом: http://tinyurl.com/uradaaccident . В 2015 году 22-летний подрядчик на одном из заводов “Фольксваген” в немецком Баунтале собирал робота, способного подбирать автомобильные запчасти и устанавливать их на место. Но что-то случилось, и робот схватил его самого и раздавил насмерть об металлическую плиту {25} 25 Новостная заметка об убийстве рабочего с завода Фольксвагена промышленным роботом: http://tinyurl.com/baunatalaccident .

Хотя каждое подобное событие – трагедия, важно отметить, что они составляют ничтожно малую часть всех несчастных случаев на производстве. Более того, общее их число сократилось с развитием технологий, а не выросло : в США их количество составило 14 000 смертей в 1970 году и 4 821 в 2014 году {26} 26 Отчет правительства США о несчастных случаях на производстве со смертельным исходом: https://www.bls.gov/iif/cfoi_revised14.htm . Все три вышеупомянутых трагедии показывают, что добавление интеллекта неразумным машинам должно способствовать дальнейшему росту промышленной безопасности, если научить роботов осторожнее вести себя по отношению к людям. Всех трех аварий можно было бы избежать, если бы была использована валидация: роботы причинили вред не из-за “глюков” и не по причине своей злобы, а просто потому, что предпосылки их работы оказались не валидны: что людей тут нет или что люди – это разновидность запчасти.

Рис. 3.3

Обычные промышленные роботы дороги, а написание программ для них чрезвычайно трудоемко, и нынешний тренд – к отказу от них в пользу роботов с искусственным интеллектом: они могут учиться прямо у рабочих, не умеющих писать программы.

Сколько бы жизней ни спас искусственный интеллект на производстве, значительно больше людей он может спасти на транспорте. Одни только дорожно-транспортные происшествия в 2015 году унесли более 1 миллиона 200 тысяч человеческих жизней, а несчастные случаи, связанные с авиацией, железными дорогами и перевозками по воде добавили к ним еще тысячи жертв. В Соединенных Штатах, как ни высоки их стандарты, жертвами дорожно-транспортных происшествий в 2015 году стали более 35 000 человек – это в семь раз больше всех несчастных случаев на производстве вместе взятых {27} 27 Статистика ДТП со смертельным исходом: http://fortune.com/2017/02/15/traffic-deadliest-year/ . Когда в 2016 году у нас была об этом панельная дискуссия в Остине, штат Техас, на ежегодном совещании Ассоциации за развитие искусственного интеллекта, израильский ученый Моше Варди выступил по этому поводу исключительно эмоционально и заявил, что искусственный интеллект не только может сократить количество жертв на дорогах, но и должен это сделать: “Это наш моральный императив!” – заявил он. Поскольку почти все дорожные происшествия – следствие человеческой ошибки, широко распространено мнение, что автомобили-беспилотники смогут сократить смертность на дорогах как минимум на 90 %, и этот оптимизм сильно подогревает прогресс в фактическом выведении беспилотных автомобилей на дороги. Илон Маск уверен, что будущие беспилотные автомобили не только будут безопаснее, но и смогут зарабатывать деньги своим владельцам, конкурируя в свободное время с Убером и Лифтом [21] Lyft – базирующаяся в Сан-Франциско частная компания, обеспечивающая с помощью мобильного приложения поиск сотрудничающих с ней частных водителей, которые готовы предоставлять транспортные услуги. На начало 2017 года компания работала более чем в 300 американских городах, а в 2018-м получила большое распространение и в Канаде. Успешно конкурирует в этих странах с Убером. – Прим. перев. .