Коллектив Авторов - Цифровой журнал «Компьютерра» № 179

Вот как он действует: вместо единственного кадра камера по команде снимает целую последовательность. Первый кадр последовательности имеет минимальную выдержку, поэтому на нём лучше проработаны самые яркие детали, но всё остальное тонет в тени. Выдержка второго уже подольше, следующего ещё дольше — и так далее до самого последнего кадра, снятого с максимальной выдержкой. Он, наоборот, ужасно пересвечен, но зато позволяет разглядеть самые тёмные детали.

Когда последовательность готова, все кадры программно сливаются воедино. Изображение, которое получается в результате, имеет идеально проработанные детали и в светлых областях сцены, и в тенях. Информация о тенях извлекается из кадров с долгой экспозицией, а о свете — из кадров с короткой.

Фотографы часто используют HDR для того, чтобы достичь особого художественного эффекта: почти сверхъестественной освещённости и детализации сюжета, вызывающей ассоциации, скорее, с компьютерным рендером, чем с реальностью.

Мобильным устройствам HDR нужен для другого: алгоритм позволяет выжать максимум из не очень качественных матриц и плохонькой оптики. Разработчики Google Glass не открыли Америки: обработчик HDR с некоторых пор имеется в iPhone и множестве других смартфонов, а nVidia даже включила аппаратную поддержку этого алгоритма в чипсет Tegra 4.

Извлечение информации по крупицам из последовательности снимков, сделанных с разными настройками — один из важнейших методов вычислительной фотографии. Кроме переменной выдержки, как в случае HDR, используется съёмка с переменной диафрагмой, переменной резкостью и даже переменной освещённостью.

Вот, например, алгоритм Flash — No Flash, который предложило исследовательское подразделение Microsoft. Как можно догадаться по названию, идея состоит в объединении двух снимков, первый из которых снят со вспышкой, а второй — без.

Фотографии, сделанные со вспышкой, всегда хорошо освещены, но это очень специфическое освещение, которое никак не назовёшь естественным. Если же отключить вспышку, то возникает другая проблема: при съёмке с низкой освещённостью становится заметен цветовой шум матрицы, а вынужденно долгая выдержка не идёт на пользу чёткости.

По замыслу исследователей из Microsoft, камера должна очень быстро снять два кадра. Чёткий кадр, сделанный со вспышкой, будет источником информации о деталях сцены, а цвета и естественную освещённость сообщит второй кадр, полученный без вспышки.

Тот же метод подходит для подавления эффекта красных глаз, улучшения баланса белого и интерактивной настройки мощности вспышки.

Съёмку последовательности кадров можно использовать и в других целях. Например, это может быть простым способом повысить чёткость при съёмке с рук при низкой освещённости. Из-за долгой выдержки такие снимки часто оказываются смазанными. Если же камера делает не один снимок, а целую последовательность, то процессор может автоматически выбрать из них самый чёткий и сохранить только его.

Амит Агравал из исследовательского центра Mitsubishi Electric приспособил для борьбы со смазыванием движущихся объектов алгоритмы машинного зрения. Эффект превосходит ожидания.

Самый, пожалуй, радикальный метод вычислительной фотографии называется записью светового поля. В отличие от обычных цифровых снимков, фиксирующих лишь освещённость ячеек фоточувствительной матрицы, камера светового поля записывает ещё и направление каждого луча света, составляющего снимаемую сцену.

Между матрицей и объективом камеры светового поля (её также называют плёноптической камерой) имеется дополнительная деталь: сетка с тысячами микролинз. Чтобы выяснить направление луча, достаточно определить его путь от линзы до сенсора. Из этого следует кое-что интересное: зная направление луча, можно вычислить, что с ним произойдёт, если фокальная плоскость изменит своё положение. Иными словами, эта информация позволяет точно моделировать изменение фокусировки объектива на уже готовом снимке.

Проще всего это проиллюстрировать кадром, который получен с помощью любительской плёноптической камеры Lytro. Чтобы сфокусироваться на размытой области кадра, достаточно кликнуть по ней. Глубина резкости изменится, и выбранная точка станет чёткой.

У Lytro и других плёноптических камер есть несколько менее очевидных достоинств. Поскольку фокусировка выполняется уже после съёмки, объектив может состоять из неподвижных деталей. Это не только упрощает его конструкцию, но ещё и позволяет начать съёмку практически мгновенно и не тратить время на автофокус. Кроме того, поскольку диафрагма Lytro зафиксирована в максимально открытом положении, камера не требует долгой выдержки даже при относительно плохой освещённости.

В этой бочке мёда непременно должна быть ложка дёгтя, и она, увы, есть: разрешение Lytro зависит от количества микролинз, а оно не так уж велико. Камера делает снимки с разрешением 525 на 525 пикселей, что по нынешним временам просто слёзы.

Немногочисленные элементы вычислительной фотографии можно встретить в мобильных устройствах и дешёвых компактных камерах-мыльницах. Более серьёзные фотоаппараты — это крайне консервативные устройства, наотрез отказывающиеся признавать свою компьютерную сущность.

Дело осложняется неправдоподобным по меркам компьютерной индустрии градусом проприетарности, который производители фотокамер считают нормой. То, что в этой области нет открытых стандартов, — ещё полбеды. Хуже то, что электронную начинку камеры, как правило, не просто не документируют — её держат в строгом секрете.

Это, на самом деле, серьёзная проблема для специалистов по вычислительной фотографии. Чтобы найти камеру, подходящую для испытания новых идей, приходится потрудиться. Открытые программные интерфейсы обычных фотоаппаратов имеют слишком много ограничений. Они годятся для того, чтобы автоматизировать съёмку, но не позволяют перехватить «сырые» данные с матрицы или, скажем, перепрограммировать автофокус.