М. Абрамзон - Яндекс для всех

Идея делать автоматические именные указатели была навеяна журналом "Власть" и его "Лицами, упомянутыми в номере". Поскольку журналов, газет и прочих поставщиков текстовых документов в "Интегруме" больше трех тысяч, мы решили не мелочиться и сделать подобный именной указатель, но один для всех источников и полностью автоматический.

В большинстве случаев (малочисленные путины, фрадковы, грефы — не в счет), один человек за короткий промежуток времени (1–3 дня) упоминается как участник одного события. Мне показалось, что рубрики и сюжеты Яндекс. Новостей станут интереснее, а главное, читатель сможет быстрее и лучше понять, что к чему, если применить к ним ту же технологию.

Главной особенностью программы является отсутствие какого бы то ни было заранее заданного списка людей — новые несловарные фамилии автоматически определяются и приводятся к словарной форме по специфическому контексту (имя, инициалы и др.). Кроме того, с высокой точностью разграничиваются однофамильцы и разрешается родовая омонимия (ср. Валентина Матвиенко, Александра Лебедева — мужчина или женщина?).

А вот, например, с какими проблемами и ошибками пришлось столкнуться.

• Имена омонимичны обычным словам. В самом начале в "Сегодня в лицах" фигурировали такие персонажи: Гера Советского, Вячеслав Богу, Надежда Доброй.

• Фамилии могут совпадать с отчествами. Бывшие бизнес-партнеры Борис Абрамович Березовский и Роман Аркадьевич Абрамович и в придачу президент компании "КрасЭйр" Борис Михайлович Абрамович доставили нам немало хлопот.

• Некоторые фамилии склоняются, некоторые нет. И если их нет в словаре, по их внешнему виду (по буквам) понять, к какому типу относится фамилия (и если склоняется, то как) далеко не всегда удается. Ардзинба и Анкваба. Поняли, что первая фамилия в именительном падеже, а вторая — в родительном? А так похожи.

• Мужские и женские имена тоже очень часто имеют общие формы (см. ранее).

• Есть такие народы, в которых одного имени человеку недостаточно. Мы этого не понимаем и ошибаемся. Без энциклопедического багажа совершенно не понятно, сколько человек тут упомянуто: Джон Рональд Руэл Толкиен.

Как бы то ни было, но сервис Новости в лицахбыл создан, и через год после начала разработки был предъявлен посетителям. Сейчас этот сервис не выделяется отдельной страницей, как было при его создании, но превратился в поставщика информации для блоков Сюжеты в лицах.

Главной особенностью программы, анализирующей тексты новостей, является отсутствие заранее заданного списка персон — при обработке сообщения программа самостоятельно находит в тексте имена и фамилии и добавляет их в рейтинг.

Списки имен создаются отдельно для каждой рубрики, региона, сюжета и результатов поиска. Таким образом, пользователь может наблюдать, как меняется состав лиц, о которых пишут журналисты, от Нижнего Новгорода к Иркутску, кто сегодня является наиболее заметной фигурой спортивной сферы, а кто — культурной.

Рейтинги обновляются каждые 10 минут — одновременно с появлением новых сообщений на Яндекс. Новостях, — что позволяет быстро находить упоминания ньюсмейкеров в актуальных сюжетах. Списки имен представлены на всех страницах службы, когда данные позволяют набрать достаточную статистику.

Отзывы об этом сервисе превзошли все ожидания, захотелось двигаться дальше, и тогда появились пресс-портреты.

Читая новость о каком-либо событии, зачастую, если в тексте упоминается какой-либо человек, хочется узнать о нем побольше. Кто он такой, чем и когда занимался, какого его отношение к различным событиям. Самостоятельно собрать подобные сведения об интересующем вас человеке довольно сложно, для этого придется проводить обширный поиск нужной информации.

Яндекс. Новости решил выполнить эту работу за нас. Теперь в составе Новостей появился дополнительный сервис — пресс-портреты. Вот как было написано в пресс-релизе по поводу открытия этого сервиса:

В пресс-портрете на сегодняшний день представлено три типа сведений о человеке: свободные определения человека, послужной список и цитаты. Свободные определения — это звания (полковник, доцент), ученые степени (доктор экономических наук), профессии (литературный критик, известный адвокат) и любые другие описания (хороший семьянин, старый знакомый Маши Ивановой, самый богатый человек в мире). В послужной список входят факты, состоящие из названия организации (Юкос, Министерство экономического развития) и должности (президент, генеральный директор, секретарь), которую человек в ней занимал, занимает (или займет в будущем). В третьем блоке содержатся цитаты человека и цитаты о нем других людей. Каждый факт снабжен текстовой иллюстрацией фрагментом новостного сообщения, из которого была извлечена информация. Кроме того, для каждого факта можно получить все его упоминания в Яндекс. Новостях.

Справочная часть службы Яндекс. Новости состоит более чем из 1 млн пресс-портретов, 30 тыс. из которых обновляется ежедневно. Новостная служба Яндекса была открыта семь лет назад, поэтому большая часть пресс-портретов создана на основе анализа сообщений СМИ с 2000 года, в настоящее время к службе подключаются архивы новостных источников за предыдущие годы, что повышает полноту и точность сервиса.

Как и все остальные работы в Новостях, формирование пресс-портретов выполняется полностью автоматически. Поэтому одной из проблем является создание пресс-портретов для однофамильцев, когда совпадают еще и их имена и фамилии. Поэтому идеальный результат, когда одному человеку соответствует один пресс-портрет, получается не во всех случаях.

Примером может служить поиск человека Иван Иванов. На странице результатов поиска, помимо сюжетов и новостей, приведены ссылки на упоминающихся в этих новостях лиц. Но в списке наиболее известных лиц Ивана Иванова нет. Впрочем, под списком ведущей пятерки есть ссылка на все пресс-портреты, относящиеся к этому поиску, а их 93. Перейдя по этой ссылке, увидим список, в котором "Иван Иванов" встречается на первой странице, затем еще несколько раз в продолжении этого списка.

Искать людей можно не только по фамилии (например, Черномырдин или Михаил Булгаков), но и по названию организации (например, Антей, ibm или Палата лордов) — в этом случае будут найдены все, кто, по сведениям СМИ, имеет или имел к ней отношение.

Миллион пресс-портретов — величина весьма впечатляющая. Но вместе с тем нельзя ожидать, что каждый пресс-портрет содержит все информационные блоки, о которых говорилось выше. Встречаются люди, о которых известно лишь место работы либо упоминание в прессе, без привязки к месту работы, поэтому такая информация входит в блок общих сведений.