Джарон Ланир - На заре новой эры. Автобиография отца виртуальной реальности

Но записи с VideoSphere можно усовершенствовать. Можно сделать наложение виртуальных объектов; отрисованные в компьютерной графике персонажи будут передвигаться по захваченному реальному пространству и будут полностью интерактивны. Они будут реагировать на вас, и вы ощутите эффект присутствия. Компьютеры стали достаточно мощными, чтобы мы могли в интерактивном режиме изменять происходящее в захваченном пространственном видео.

Пространственное видео модифицировать легче, чем обычное двумерное, поскольку алгоритмы располагают более надежными зацепками в рабочих данных. Если мы располагаем традиционным двумерным видео, скажем, о перестрелках с участием полицейских, определить, было ли это видео модифицировано, не так уж и сложно. Какая-то деталь будет не на месте или будет виден шов. Но модифицировать пространственную многонаправленную видеозапись намного проще, потому что можно отследить любой шов и спрогнозировать любую потенциальную ошибку. Если алгоритмы получат доступ, например, к форме руки и пистолета, будет проще убедиться в том, что тени, которые они отбрасывают, отображаются корректно, даже если действия изменены.

Эта проблема быстро станет политической. Новая волна журналистов окружает сферическое видео утопическим ореолом. Как же это напоминает мне старые времена. Я предсказывал, что широкое распространение пространственного видео приведет к миру во всем мире. Усилит эмпатию. Люди увидят, насколько ужасны насилие и войны, и не смогут этого вынести. На земле воцарится мир. Поживем – увидим. Пока чем чаще используют технологию коммуникаций, тем больше с ее помощью лгут.

В любом случае Грэм посвятил несколько десятилетий своей жизни тому, чтобы облегчить жизнь детей, вынужденных находиться в больнице, и развлечь их эффектом присутствия. Он нашел однозначный способ сделать мир лучше.

Скотт Фишер проектировал для VPL технологию 3D-звука. Поскольку офис VPL располагался в домике на причале, инженеры часто жили в лодках и при случае перемещались на работу и обратно под парусом, но Скотт, единственный из всех, добирался на небольшом самолетике. Он прилетал с летной полосы за Йоемити и садился на поле рядом с нашим домиком на причале.

Скотт проектировал специальные компьютерные платы для обработки трехмерного звука. Результат можно было услышать через наушники, встроенные в шлем EyePhone.

Что такое трехмерный звук? Это сложно! Вы слышите мир в объеме потому, что у вас два уха и мозг может сравнивать то, что они слышат. Звуки поступают в уши с небольшой разницей во времени, и мозг может использовать ее для определения оси направления влево-вправо, в зависимости от источника, откуда приходит звук. Но это лишь первая линия восприятия.

Наш мозг также отлично расшифровывает эхо. Не так хорошо, как летучие мыши, но лучше, чем мы привыкли считать. Вы слышите повторяющиеся рисунки эхо, которые сообщают вам информацию о форме пространства, материале, из которого состоят пространство и составляющие его поверхности, степени влажности воздуха и вашего положения в этом пространстве.

Так что звуковая подсистема в виртуальной реальности выполняет две очевидные обязанности. Она должна регулировать время поступления звуков в каждое ухо по отдельности и приближать эхо, которое не отзывается в реальном пространстве.

Но затем в игру вступают ушные раковины, эти странные части уха, торчащие на голове. Зачем им такая неправильная спиральная форма? Она позволяет им собирать звуки от источников, находящихся прямо перед вами, немного лучше, чем от других источников, но она также придает звуку разный тембр в зависимости от направления его источника.

Платы Скотта использовали скрученную форму для имитации функций ушной раковины. Скручивание можно было воспринимать как математическую метафору. Если отмечалось изменение первоначального сигнала, изменялся и новый сигнал. Мы постоянно использовали скручивание в виртуальной реальности.

Мы помещали несчастных студентов-выпускников в тихую камеру, в которой полностью отсутствовало эхо, – безэховую камеру – с небольшими микрофонами, очень неудобно засунутыми в уши. Другой человек голосом подавал тестовые тональные сигналы, перемещаясь по всей камере. Затем алгоритмы скручивания анализировали звуки, записанные внутри уха, и применяли те же самые трансформации к любым новым звукам, которые исходили из виртуального мира.

Результат получился неожиданно хорош. Оказалось, что незрячие пользователи могли ориентироваться по звуку в виртуальных мирах лучше, чем в физической среде. Имитированные пространственные звуки были более отчетливыми, чем в реальности.

Сегодня процессоры стали настолько качественными и дешевыми, что 3D-звук для систем виртуальной реальности воспринимается как должное. Тем не менее во многих новых системах 3D-звук откалиброван не вполне корректно. Когда что-то стоит недорого, мы работаем грубо.

Сороковое определение VR: универсальное средство усиления когнитивных функций.

Но описание пространственного звука будет неполным, если не упомянуть драматичную историю мошенничества, которая с ним связана. Есть легкий способ получить неинтерактивный пространственный звук, и он работает с самого начала существования аудиозаписи. Нужно поместить два микрофона в голову манекена в тех местах, где расположены барабанные перепонки человека. Затем микрофоны собирают звуки, проходящие через ушные раковины головы манекена.

Существует несколько классических демозаписей с головой манекена, которые раз в десяток лет открывают заново. Самая распространенная – стрижка. Я уже не помню точно, как ощущается настоящая стрижка, но люди, которые помнят, говорят, что ощущение звука ножниц, щелкающих у твоей головы (с записи парикмахера, который щелкает ножницами рядом с головой манекена), настолько живое, что людей пробирает озноб и у них бегут мурашки по телу. (Если вы склонны к злобным шуткам, можете создать ощущение того, как ножницы щелкают внутри чужой головы. Все, что вам нужно, – это проделать в голове манекена отверстие и сунуть в него ножницы.)

Эту эффектную демозапись постоянно использовали на протяжении нескольких десятилетий, чтобы получать баснословные суммы от глупых инвесторов, которые не понимали, насколько легко провернуть этот трюк.

Половину времени существования компании мы провели устраивая демонстрационные показы и стараясь избежать демонстрационных показов. Наши машины были настолько дорогими, что место действия нельзя было приспособить только для развлечения посетителей, а еще нам приходилось постоянно доказывать то, что их цена полностью себя оправдывает. Демонстрационный показ VPL подарил нам уникальный опыт.