Коллектив Авторов - Цифровой журнал «Компьютерра» № 34

Действующий прототип интерактивной системы OASIS был продемонстрирован летом 2010 года на конференции Research@Intel Day, а подробнее о ней было рассказано на проходящем в эти дни осеннем Форуме Intel для разработчиков (IDF Fall 2010). Система формирует интерактивные поверхности, которые сами разработчики называют «островами», в любых необходимых местах — например, на кухонном рабочем столе.

При помощи пикопроекторов, камер глубины («пролётных», TOF-камер или RGB+D-камер) и алгоритмов распознавания объектов и жестов OASIS может создавать интерактивные дисплеи практически на любых плоских поверхностях.

Система отслеживает появление и изменение физических и виртуальных объектов, демонстрирует графический интерфейс, включая меню и кнопки, распознаёт жесты пользователя, а также выводит разнообразный контент из локальных и удалённых баз данных, в том числе из интернета.

В системе, продемонстрированной на Research@Intel Day, всё программное обеспечение OASIS работало на обычном ноутбуке Dell Inspiron с двухгигагерцевым двухъядерным процессором. Среди этого ПО есть самые разнообразные программы, включая софт для трёхмерного рендеринга, калибровки, распознавания образов и формирования графического интерфейса.

Компьютер не обязательно должен находиться на виду — его можно спрятать, например, в ящик стола, ведь всё взаимодействие с системой осуществляется через интерактивную поверхность.

В процессе демонстрации в такую интерактивную поверхность превратился выделенный на столе прямоугольник размером около 24 х 36 дюймов (61 х 91 см). В состав демонстрационного стенда вошли светодиодный видеопроектор с разрешением SVGA и яркостью 170 люмен, а также TOF-камера, способная помимо цветной картинки с разрешением 320 х 240 пикселей получать c помощью инфракрасных датчиков данные о «глубине» этой картинки, то есть о расстоянии до фиксируемых объектов. Камера была установлена на расстоянии около 30 дюймов (108 см) над столом. Производитель пикопроектора — компания Microvision, камера была предоставлена фирмой PrimeSense.

По словам Беверли Гаррисон, все комплектующие, камера и проектор, использованные в демонстрационном стенде — это прототипы. Со временем она рассчитывает применять в системах OASIS лазерные пикопроекторы, к достоинствам которых относятся миниатюрность и экономичность.

Дело в том, что подобным системам не требуются проекторы с регулируемым фокусом: при стационарной установке, к примеру, над кухонным столом нужно просто подобрать объектив с подходящим фокусным расстоянием, а это означает возможность использовать самые простые модели. Более того, для питания таких проекторов достаточно низковольтных линий, которые обычно прокладываются в кухонной мебели для подключения подсветки.

Гаррисон подчёркивает, что системы OASIS значительно дешевле, чем интерактивные столы Microsoft Surface (о последнем поколении таких столов мы писаливесной) и гораздо проще в установке. Ключевыми компонентами, благодаря которым стало возможным создание подобной интерактивной системы, это камеры, измеряющие глубину и пикопроекторы.

Действительно, OASIS — во многом плод самых современных технологий. Ведь ещё 15 лет назад системы распознавания мало в чём превосходили магазинные сканеры штрих-кодов, а видеопроекторы были тяжёлыми и громоздкими и могли использоваться, в основном, в конференц-залах и домашних кинотеатрах.

Перед командой Беверли Гаррисон стояло три принципиальных задачи: разработать теоретическую основу конструирования объектно-ориентированных интерактивных систем; понять, каким образом пользователи предпочитают взаимодействовать с такими системами и, наконец, создать интерактивную систему, способную создавать свои «островки» в обычной обстановке.

Ключевая особенность системы OASIS в её способности производить над физическими объектами виртуальные действия, причём эти действия кажутся пользователям совершенно естественными. Система может создавать и удалять новые виртуальные объекты, объединять их в группы и сохранять их для последующего использования. Кроме того, существует возможность отменять ошибочные команды.

Для распознавания физических объектов в OASIS применяется компьютерное «зрение». К примеру, если вы кладёте на кухонный стол апельсин, система при помощи камеры, программного обеспечения и базы данных определяет, что это именно апельсин, а не помидор.

Затем пикопроектор «прикалывает» рядом с апельсином виртуальный ярлычок, над которым проецируется виртуальная кнопка. Как заверяют разработчики, ярлычок и кнопка появляются на столе менее чем через секунду после того, как на него положен объект.

После нажатия на виртуальную кнопку на стол выводится круговое меню, в котором можно выбрать одно из нескольких действий: найти рецепты приготовления блюд из апельсинов, найти похожие фрукты или совместимые продукты, найти подробную информацию в интернете или внести апельсины в список будущих покупок, указав их точное количество.

В основе системы распознавания лежит трёхмерная модель стола, на котором нет ни одного объекта. Когда на него помещаются новые объекты, то OASIS сравнивает изначально пустую 3D-модель с новой, рассчитывая глубину объектов на основе измерений в инфракрасном свете. Более того, поскольку система имеет дело с 3D-моделью поверхности, она совершенно не обязательно должна быть плоской.

Испытания показали, что OASIS работает с поверхностями практически любой фактуры — от полированного гранита до меди. Проблемы могут возникнуть лишь с отображением текстовых ярлыков и меню: их будет сложно разобрать, к примеру, на дереве с выраженной волокнистой структурой.

Благодаря использованию камеры, измеряющей расстояние до объектов, система способна отличить руку, проносящуюся над столом от пальца, касающегося поверхности и нажимающего на виртуальную кнопку. Для этого OASIS определяет расположение кончика пальца в трёхмерном пространстве и устанавливает, не находится ли он в определённой точке, перпендикулярной поверхности.