Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

До сих пор автомобили без водителя действительно показывали значительно более высокий уровень безопасности, чем автомобили с водителем-человеком, и несчастные случаи, которые иногда все-таки происходят, подчеркивают важность и сложность валидации. Первый “фендер-бендер” с участием автомобиля-беспилотника от Google случился 14 февраля 2016 года; причиной аварии стало неверное предположение относительно автобуса: что его водитель пропустит отпарковывающуюся перед ним машину. Первая гибель на дороге в результате столкновения беспилотной Tesla с прицепом грузовика, пересекавшего шоссе 7 мая 2016 года, была вызвана двумя неверными предположениями {28} 28 Новостная заметка о первом ДТП со смертельным исходом с участием беспилотного автомобиля Tesla: http://tinyurl.com/teslacrashstory Доклад правительства США: http://tinyurl.com/teslacrashreport : что ярко-белая боковая сторона прицепа – это просто часть яркого неба и что водитель (который, как было впоследствии установлено, смотрел в это время фильм о Гарри Поттере) наблюдает за дорогой и сможет вмешаться, чтобы предотвратить аварию [22] Даже при включении этого ДТП в статистику Tesla-автопилот сокращает их общее количество на 40 %: http://tinyurl.com/teslasafety .

Но иногда и хорошее тестирование, и хорошая валидация недостаточны для того, чтобы избежать несчастных случаев, поскольку нам также нужен хороший контроль : возможность для оператора-человека следить за системой и при необходимости влиять на ее поведение. Для таких систем, включающих человека в контур управления, принципиально, чтобы общение человека с машиной было эффективным. Это означает, что горящий красный огонек на вашей приборной панели своевременно предупредит вас, если вы случайно оставите багажник вашей машины открытым. Но ничего такого не оказалось перед глазами капитана британского парома “Herald of Free Enterprise”, когда он покидал порт Зебрюгге 6 марта 1987 года с открытым носовым визором, и вскоре после этого паром затонул, а вместе с ним и 193 человека {29} 29 О крушении парома “Herald of Free Enterprize” см. кн.: R. B. Whittingham. The Blame Machine: Why Human Error Causes Accidents . Elsevier, 2004. .

Еще один случай утраты контроля, закончившийся трагедией, хотя ее вполне можно было избежать путем улучшения коммуникации человека и машины, произошел в ночь на 1 июня 2009 года, когда самолет авиакомпании Air France, рейс 447, упал в Атлантический океан, а все 228 человек, находившиеся на борту, погибли. В официальном сообщении о трагедии говорится: “Экипаж самолета не понимал, что происходит сваливание, и, следовательно, так и не совершил восстановительный маневр”, который заключается в том, чтобы немного опустить нос самолета, – пока не стало слишком поздно. Специалисты по безопасности полетов утверждают, что катастрофы можно было бы избежать, если бы в кабине пилотов был индикатор угла атаки, который показал бы им, что нос самолета слишком задран {30} 30 Документальный фильм о крушении французского самолета, выполнявшего рейс Air France 447: https://www.youtube.com/watch?v=So9iFv0NoZw Официальное сообщение о крушении: http://tinyurl.com/af447report Независимый анализ: http://tinyurl.com/thomsonarticle .

Когда 20 января 1992 года самолет авиакомпании Air Inter, рейс 148, разбился, врезавшись в гору Вогезского горного массива недалеко от Страсбурга, во Франции, погубив 87 человек, причиной этого несчастного случая стало не отсутствие достаточной коммуникации человека и машины, но сбивающий пользователя с толку интерфейс. Пилоты ввели на клавиатуре число “33”, предполагая начать снижение под углом в 3,3 градуса, но автопилот интерпретировал команду как 3 300 футов в минуту, потому что он был в это время не в том режиме, а экран был слишком мал, чтобы позволить пилотам увидеть это и понять ошибку.

В деле производства и распределения электроэнергии благодаря информационным технологиям произошли настоящие чудеса: сложные алгоритмы позволяют поддерживать производство и потребление энергии в электрических сетях по всему миру в равновесии, и сложные системы управления удерживают электростанции в состоянии максимальной эффективности и безопасности. Грядущий прогресс искусственного интеллекта может сделать эту “умную” сеть еще умнее, оптимально скоординировав изменения спроса и предложения на всех уровнях, вплоть до солнечной батареи на одной отдельной крыше и домашней аккумуляторной батареи. Но в четверг, 14 августа 2003 года, без электричества остались 55 миллионов человек в Соединенных Штатах и Канаде, многие из них были лишены электроэнергии на протяжении нескольких дней. Основной причиной, как показало расследование, в этом случае тоже была недостаточная коммуникация человека и машины: программный “глюк” помешал операторам в Огайо обратить внимание на необходимость перераспределения энергии, пока незначительные проблемы (перегруженность линий, оказавшихся внутри разросшейся листвы) не спровоцировали неконтролируемые каскадные отключения {31} 31 Официальное сообщение о веерном отключении энергоснабжения в США и Канаде в 2003 году: http://tinyurl.com/uscanadablackout .

Утечка теплоносителя на атомной электростанции в Три-Майл-Айленде в Пенсильвании 28 марта 1979 года обошлась почти в миллиард долларов, потраченных на очистку местности, и повлекла череду митингов против ядерной энергетики. Окончательный отчет о причинах происшествия называет много факторов, включая путаницу, возникшую из-за неудачного пользовательского интерфейса {32} 32 Итоговый отчет президентской комиссии об инциденте в Три-Майл-Айленде: http://large.stanford.edu/courses/2017/ph241/blackwood1/docs/kemeny.pdf . В частности, световой сигнал, который, по мнению операторов, должен был предупреждать их о срабатывании контрольного клапана и его закрытии после этого, в действительности сообщал о том, была ли послана команда, и поэтому они так до конца и не поняли, что клапан все время оставался открытым.

Все эти аварийные ситуации, возникшие на транспорте и в энергетических системах, учат нас, что, когда мы возложим на искусственный интеллект управление какой бы то ни было физической системой, мы должны будем приложить серьезные исследовательские усилия не только на то, чтобы машины хорошо работали сами по себе, но и на то, чтобы они эффективно сотрудничали с контролирующими их работу людьми. По мере того как искусственный интеллект становится “умнее”, “умнее” должен становиться не только сам машинный “интеллект”, не только интерфейс, с помощью которого он обменивается данными с людьми, но важна и постоянная забота о том, чтобы оптимально распределить задачи в системе человек-машина – в частности, это выявление ситуаций, когда управление должно быть передано на высший уровень, с передачей человеку необходимой для этого информации, но без потока несущественных сообщений, отвлекающих его.