Алексей Кутовенко - Профессиональный поиск в Интернете

В настоящее время различают несколько основных типов CBIR-систем, которые отличаются способом составления поискового запроса.

Первый вариант – уточнение запроса путем отбора похожих изображений пользователем. Сначала в базе системы по ключевым словам находится некоторое подмножество картинок нужной тематики, после чего пользователь выбирает среди них похожие на то, что он хотел бы увидеть в итоге. Ориентируясь на эти указания, поисковик предлагает новый набор картинок, отобранный по образцу одобренных пользователем изображений.

Второй тип CBIR-систем позволяет вести поиск изображений по точно заданными визуальным параметрам. В этом случае пользователь указывает точные значения различных характеристик необходимого изображения, которые затем сравниваются с имеющимися в базе поисковика.

Третий тип CBIR-систем работает с графическим запросом. Системе предъявляется некий образец, она производит его анализ, после чего проводит в своей индексной базе поиск изображений со сходными параметрами.

Финский экспериментальный поисковик Tiltomo является примером реализации технологии уточнения запроса с помощью похожих изображений. Разработчики Tiltomo решили не тратить ресурсы на формирование самостоятельной базы изображений, а предпочли работать с готовой базой фотохостинга Flickr. Здесь действует ограничение – поиск идет не во всей многомиллионной базе Flickr, а в тестовой выборке, объем которой постоянно увеличивается и в настоящее время составляет несколько сотен тысяч фото.

Поиск начинается вводом ключевого слова-тега, которое нужно для формирования первоначальной выборки снимков с различными визуальными характеристиками. Начинать поиск можно также со случайного набора снимков, предлагаемого системой.

Интерфейс выдачи Tiltomo максимально прост. Пользователь работает со страницей, содержащей пару десятков миниатюр фотоснимков, сопровожденных несколькими ссылками-переключателями (рис. 7.4). Далее доступны два варианта действий: уточнение темы запроса и поиск по характеристикам изображения. Для уточнения темы достаточно выбрать понравившийся снимок-пример и щелкнуть на ссылке Find Similar by Theme, которая находится под каждой миниатюрой. Допустим, вам требуются фотоснимки обычных съедобных яблок – никаких проблем, выбирайте соответствующий образец и получайте новую страницу результатов, на которой все снимки будут содержать изображения яблок в различных ситуациях и ракурсах.

Рис. 7.4. Поисковик Tiltomo позволяет подбирать визуально похожие изображения

Другой инструмент поиска, запускаемый ссылкой Find Similar by Color/Texture, призван искать изображения, схожие по характеристикам цвета и очертаний. Получив такую обратную связь, поисковик ищет в своей базе картинки, визуальные индексы которых близки к отобранным изображениям. В результате пользователь получает новый список выдачи, картинки в котором визуально похожи на указанный им пример. Цикл может повторяться несколько раз, напоминая обычное уточнение запроса на универсальном поисковике, только инструментами здесь выступают не дополнительные ключевые слова, а содержимое изображения. Попадания могут быть достаточно точными – если, допустим, на снимке-образце была лужайка, мы получим набор фотоснимков с изображением различных зеленых растений. Справедливости ради заметим, что «тематический» фильтр при этом начинает давать сбои, поэтому для получения максимально точного результата приходится повторять поиск несколько раз.

Использование переключателей позволяет Tiltomo достойно справляться со словами-синонимами. Для примера: в списке выдачи по запросу «apple» система позволяет уточнить, что имеется в виду: продукция компьютерной компании Apple, яблоки и яблони разных сортов или же фотографии. Нью-Йорка, известного также как «Big Apple».

Поисковик Retrievr, разработанный австрийской фирмой System One, реализует режим поиска по графическому запросу. Любопытно, что движок сервиса полностью написан на языке Python. Как и Tiltomo, Retrievr работает с фотоснимками, размещенными на сервисе Flickr, однако использует другой способ составления запросов. Здесь предлагается сделать ручной набросок искомого изображения или вести поиск по представленному пользователем образцу.

Интерфейс Retrievr разделен на две части. Слева располагается боковая панель, содержащая инструменты составления запроса. Справа выводятся результаты поиска – миниатюры подходящих под условия запроса изображений (рис. 7.5).

Рис. 7.5. Система Retrievr позволяет искать по наброску

Retrievr работает с двумя типами графических запросов: наброском, который можно нарисовать от руки, и загружаемой на сервер картинкой-примером. Переключаются режимы кнопками Sketch Search и Image Search.

Для рисования применяется специальная Flash-панель. Она содержит небольшую рабочую область, на которой и предлагается подготовить графический запрос. Кроме того, на ней находится набор круглых кистей разного размера, а также палитра, с помощью которой выбираются нужные оттенки. Анализ рисунка происходит практически в режиме реального времени. Прямо в ходе рисования на страницу подгружаются результаты поиска, позволяя немедленно корректировать набросок.

Результаты такого поиска пока неоднозначны. Простейшая «рожица» позволяет исправно получать галерею портретов, белый круг на черном фоне – фотоснимки Луны. В то же время попытки изобразить деревце или еще что-нибудь более детальное ведут пока к серьезному разброду в результатах. Для получения хорошего результата нужно рисовать крупными мазками, не пытаться изображать мелкие детали, а постараться передать общий колорит.

Что интересно, пользовательские наброски сохраняются и им присваиваются собственные URL-адреса, которые можно сохранить или отправить по электронной почте. Кроме того, на сайте имеется галерея набросков, уже сохраненных в системе, причем при желании можно проголосовать за понравившиеся. Эта информация используется для совершенствования алгоритмов системы.

Второй режим поиска Retrievr – по представленной пользователем фотографии, которая и исполняет в данном случае роль запроса. В настоящее время принимаются только файлы в формате JPEG. Снимок можно загрузить со своего компьютера или же указать его URL-адрес, если он находится в сети. Качество такого поиска сейчас мало чем отличается от поиска по наброску – основное внимание уделяется цветовой гамме при заметном пренебрежении к деталям изображения. Поработать в данном режиме также можно, не загружая свой фотоснимок, а взяв за образец любую миниатюру со страницы результатов поиска. Если задержать на такой миниатюре указатель мыши, появляется значок с лупой, при щелчке на котором Retrievr начинает искать похожие на миниатюру изображения.