Джарон Ланир - На заре новой эры. Автобиография отца виртуальной реальности

Дэвид в Массачусетском технологическом экспериментировал с языком визуального программирования под названием dataflow. Я поговорил с Чаком и остальной командой, и мы решили выпустить промежуточный продукт, который будет включать в себя разработанные нами характеристики, например архитектуру пошагового компилятора, и понятную парадигму dataflow для программного обеспечения виртуальной реальности. Мы сочли, что эти решения определенно будут комбинироваться друг с другом [67]. Дэйв как раз получил степень и приехал поработать с нами. (Современным художникам, возможно, знаком инструмент разработки MAX, использующий dataflow.) Чак назвал нашу новую программу контроля виртуальной реальности Body Electric.

Нам нужна была еще программа 3D-проектирования, но тогда невозможно было взять и купить ее. Янг занялся этой проблемой и начал проект, который в конце концов превратился в Swivel 3D.

Мы также очень долго отслеживали другую проблему, которой будет посвящена следующая глава.

Когда Том сделал первые перчатки, они считывали информацию лишь о сгибании пальцев, а о положении руки в пространстве и ее наклоне – нет. (Для того чтобы описать расположение и ориентацию объекта в трехмерном пространстве, нужны шесть цифр: x, y, z, поворот, наклон, смена направления.)

Очевидно, что если мы хотели заставить руку аватара поднять виртуальный объект, то нам необходимо было знать, как расположена в пространстве и под каким углом наклонена рука человека. Устройства, которые считывают информацию о расположении объекта в пространстве, обычно называют трекерами.

Подходящие для отслеживания движений человека трекеры уже были в продаже, хотя цены на них и кусались. Как ни странно, лидировал по производству подобных устройств штат Вермонт. Там располагались сразу четыре такие компании с единым представительством в Вермонт Вэлли. Их клиенты оснащали трекерами роботов, промышленное оборудование и даже авиасимуляторы.

В те годы к внешнему устройству всегда прилагалась базовая станция, служившая для трекеров точкой привязки. Например, две основные компании из Вермонта по производству трекеров (Polhemus и Ascension) специализировались на отслеживании с использованием магнитных полей. Во внушительных размеров корпусе располагался большой электромагнит, испускавший пульсирующее поле, а маленькие сенсоры магнитного поля встраивались в перчатку, а позже в шлем.

Существовало множество других потенциальных способов отслеживания: лазеры, радиоволны и многое другое. Мы долгое время разрабатывали смелые алгоритмы отслеживания.

Вы спросите, зачем встраивать трекер в шлем? Помните шпионскую подводную лодку? Она должна исследовать.

Вспомним фундаментальный принцип зрительного восприятия в виртуальной реальности, который упоминался в главе «Что показывает зеркало»: «Для отработки визуального аспекта в VR нужно просчитать, что должны видеть ваши глаза в виртуальном мире, когда вы смотрите по сторонам. Ваш взгляд блуждает, и компьютер виртуальной реальности должен постоянно и очень быстро рассчитывать, какая панорама перед вами открылась бы, если бы виртуальный мир был реальностью. Когда вы оборачиваетесь и смотрите вправо, виртуальный мир в качестве компенсации должен повернуться налево, создавая иллюзию, что мир статичен и не зависит от вас».

Я должен четко изложить наиважнейший момент: само по себе качество визуального отображения – далеко не самая главная составляющая визуальных ощущений в виртуальной реальности. Намного важнее отслеживание [69]– то, насколько быстро и хорошо визуальное отображение реагирует на движения головы или глаз.

Всеобщая проблема чувственного восприятия заключается в том, что это довольно длительный процесс. Если вы станете профессионалом мира виртуальной реальности, вас попросят использовать для обозначения задержек в VR-системах термин «запаздывание».

Первостепенная значимость запаздывания наглядно проявилась в начале 1980-х годов. При научно-исследовательском центре НАСА открылась лаборатория виртуальной реальности, которой руководили сначала Майк МакГриви, а затем Скотт Фишер.

Майк поставил эксперимент. Он сконструировал шлем виртуальной реальности с черно-белым изображением, имевшим разрешение 100 × 100 пикселей на каждый глаз. Это было самое высокое возможное разрешение с учетом визуальных технологий того времени. Основная обработка осуществлялась в формате векторной графики; камера фиксировала векторные изображения, управляя дисплеем с пиксельной структурой. В то время само использование пикселей для шлема было в новинку. Это, возможно, был первый пример, не считая летных симуляторов.

Тридцатое определение VR: технология, в которой внутренние данные и алгоритмы доступны для восприятия в виде изменений реального времени и человеческих ощущений с определенного угла зрения и которая тем самым вдохновляет смотреть вглубь любопытным взглядом.

Разрешение 100 × 100 подходит скорее для иконки, для виртуальной реальности оно совершенно несообразно. Не забывайте о том, что изображение займет все поле вашего зрения и каждый пиксель будет выглядеть как плитка кафеля на стене! Тем не менее эффект получился крайне интересным.

У меня отвисла челюсть, когда я посмотрел в шлеме Майка на простой набросок спутника. Он выглядел изумительно! Можно было разглядеть детали размером меньше пикселя и прочувствовать 3D-форму странного объекта.

Секрет крылся в быстром и точном отслеживании движений головы. Чем меньше запаздывание, тем лучше визуальные ощущения! Как будто разрешение магическим образом увеличилось.

Визуальное восприятие основано на интеграции всего, что вы видите, и ожидании того, что вы увидите в следующий миг. Мозг видит больше, чем видят глаза [70].

При движении головы в НШД [71]Майка мозг считывал картинки разных ракурсов виртуального мира, лишь немного отличавшихся друг от друга. Пока движения были точными, а это обеспечивал хороший трекер, точными были и ракурсы. Это означало, что мозг мог совмещать поток изображений с низким разрешением с точным внутренним ощущением более высокого разрешения.

Ничего особенного с точки зрения мозга, просто еще один рабочий день. Человеческий глаз – удивительный сенсор, но при этом нестабильный, причудливый и хрупкий. Благодаря мозгу мы видим лучше, чем должны бы, учитывая природу наших глаз. Мозг рад угадывать и обманывать, делая так, чтобы виртуальная реальность выглядела лучше, но то же самое он делает и в обыденной реальности.