Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Наконец, совершенствование восприятия позволило роботам с ИИ выйти за пределы фабрик, где они зависели от жестко ограниченного расположения объектов, в реальный, неструктурированный, хаотичный мир, где их камерам есть на что посмотреть.

В конце 1950-х гг. Джон Маккарти мечтал, что однажды его доставит в аэропорт автоматизированное транспортное средство. В 1987 г. Эрнст Дикманнс продемонстрировал фургон «мерседес» с автопилотом на автобане в Германии; он был способен держать ряд, следовать за другой машиной, перестраиваться и совершать обгон [85] Самый ранний отчет о появлении самоуправляемого автомобиля на дороге общего пользования: Ernst Dickmanns and Alfred Zapp, «Autonomous high speed road vehicle guidance by computer vision», IFAC Proceedings Volumes 20 (1987): 221–26. . Через 30 с лишним лет у нас все еще нет полностью автономного автомобиля, но мы к нему намного ближе. Центр разработки давно переместился из научно-исследовательских лабораторий в крупные корпорации. На 2019 г. лучшие тестовые автомобили «намотали» миллионы километров езды по общественным дорогам (и миллиарды километров в дорожных симуляторах) без серьезных инцидентов [86] Показатели безопасности транспортных средств Google (впоследствии Waymo): «Waymo safety report: On the road to fully self-driving», 2018. . К сожалению, некоторые автономные и полуавтономные транспортные средства убили несколько человек [87] На данный момент произошло по меньшей мере две аварии со смертельным исходом для водителя и одна с гибелью пешехода. Привожу несколько ссылок с краткими цитатами, описывающими случившееся. Danny Yadron and Dan Tynan, «Tesla driver dies in first fatal crash while using autopilot mode», Guardian , June 30, 2016: «Датчики автопилота Model S не различили на фоне яркого неба белый автотягач с прицепом, пересекавший перекресток». Megan Rose Dickey, «Tesla Model X sped up in Autopilot mode seconds before fatal crash, according to NTSB», TechCrunch , June 7, 2018: «Начиная с третьей секунды до столкновения и до времени соприкосновения с отбойником скорость Tesla увеличивалась от 100 км/ч до 114 км/ч; предшествующее удару срабатывание тормозов или движения по уклонению от препятствия зафиксированы не были». Devin Coldewey, «Uber in fatal crash detected pedestrian but had emergency braking disabled», TechCrunch , May 24, 2018: «Экстренное торможение не допускается, когда транспортное средство находится под управлением компьютера, с целью снижения риска неустойчивого поведения транспортного средства». .

Почему потребовалось так много времени для достижения безопасной автономной езды? Во-первых, из-за очень высоких требований к результативности. Водители в Соединенных Штатах попадают примерно в одну аварию с человеческими жертвами на 160 млн км пути, что высоко поднимает планку. Чтобы автономные транспортные средства были приняты в эксплуатацию, они должны показывать намного лучшие результаты: скажем, одна авария со смертельным исходом на 1 млрд км, или 25 000 лет безаварийной езды по 40 часов в неделю. Вторая причина заключается в том, что предполагаемый обходной вариант — передача управления человеку, если машина дезориентирована или выходит за рамки безопасных условий эксплуатации, — попросту не работает. Когда машина едет сама, люди отвлекаются от дорожной ситуации и не могут включиться в нее достаточно быстро, чтобы успеть взять управление на себя. Более того, попутчики и пассажиры такси на заднем сиденье вообще не имеют возможности подключиться к управлению машиной, если что-то пошло не так.

Текущие проекты ставят целью достижение автономии четвертого уровня по классификации Общества автомобильных инженеров [88] Ассоциация инженеров-автомобилестроителей (SAE) определяет шесть уровней автоматизации, где уровень 0 соответствует ее отсутствию, а уровень 5 — полной автоматизации: «Постоянное осуществление автоматической системой вождения на всех дорожных покрытиях и при любых погодных условиях всех аспектов задачи динамического вождения, которые могут осуществляться водителем-человеком». . Это означает, что транспортное средство должно быть в любой момент способно двигаться самостоятельно или безопасно остановиться, с учетом географических ограничений и погодных условий. Поскольку погода и дорожная ситуация меняются и могут сложиться необычные условия, с которыми автомобиль уровня 4 не сумеет справиться, человек должен находиться в машине наготове при необходимости взять управление на себя. (Уровень 5, неограниченная автономность, не требует водителя, но еще более труднодостижим.) Автономия уровня 4 далеко выходит за рамки простых рефлекторных задач на соблюдение дорожной разметки и избегание препятствий. Транспортное средство должно, опираясь как на текущие, так и на прошлые наблюдения, оценивать целевые и вероятные будущие траектории движения всех релевантных объектов, в том числе таких, которые могут быть невидимыми. Далее, с помощью опережающего поиска автомобиль должен найти траекторию, оптимизирующую определенную комбинацию безопасности и движения. Некоторые проекты используют более прямые подходы, основанные на обучении с подкреплением (главным образом, разумеется, в симуляторах) и на контролируемом обучении, для которого используются видеозаписи сотен водителей, но не похоже, чтобы эти подходы достигли требуемого уровня безопасности.

Потенциальный выигрыш от полностью автономных транспортных средств безграничен. Каждый год 1,2 млн человек в мире гибнут в автомобильных авариях, десятки миллионов получают увечья. Разумной целью для автономных транспортных средств было бы сокращение этих показателей в десять раз. Некоторые аналитики также предсказывают огромное снижение транспортных расходов, парковочных структур, пробок и загрязнения. Крупные города перейдут от личных автомашин и больших автобусов к вездесущим шеринговым автономным электромобилям, осуществляющим обслуживание от двери до двери и обеспечивающим высокоскоростные общественные перевозки между хабами [89] Прогноз экономических последствий внедрения автоматизации в отношении стоимости транспортировки: Adele Peters, «It could be 10 times cheaper to take electric robo-taxis than to own a car by 2030», Fast Company , May 30, 2017. . При затратах, нижний предел которых оценивается в три цента на пассажиро-милю {3} 3 Менее двух центов на пассажиро-километр. — Прим. пер . , большинство городов, вероятно, согласились бы предоставлять этот сервис бесплатно — попутно обрушивая на ездоков бесконечные потоки рекламы.

Конечно, чтобы воспользоваться всеми этими благами, индустрия должна обратить внимание на риски. Если случается слишком много смертей по вине плохо сконструированных экспериментальных авто, регламентирующие органы могут запретить их запланированное внедрение или ввести экстремально строгие нормы, недостижимые в течение десятилетий [90] Влияние ДТП на возможность наложения регуляторных ограничений на автономные транспортные средства: Richard Waters, «Self-driving car death poses dilemma for regulators», Financial Times , March 20, 2018. . Разумеется, и люди могут решить не покупать автономные транспортные средства и не ездить на них, если те не докажут, что безопасны. Опрос 2018 г. показал существенное снижение уровня доверия потребителей к технологии автономных автомобилей по сравнению в 2016 г. [91] Влияние ДТП на отношение общественности к автономным транспортным средствам: Cox Automotive, «Autonomous vehicle awareness rising, acceptance declining, according to Cox Automotive mobility study», August 16, 2018. Даже если технология окажется успешной, переход к повсеместной автономности создаст очень странную ситуацию: водительские навыки людей могут атрофироваться, а «безрассудный антисоциальный акт» личного управления автомобилем, возможно, вообще окажется под запретом.