Коллектив Авторов - Цифровой журнал «Компьютерра» № 186

Вначале мы с Сашей хотели просто заработать по пять тысяч рублей на переводе бумажного словаря в электронную форму — и, довольные (при стипендии в 55 рублей такие деньги казались огромными), разойтись. Но оказалось, что даже вдвоем реализовать этот проект крайне сложно. Нужно было не только разработать собственно программу для ПК, но также найти финансирование под создание контента, а затем — людей, которые подготовят этот самый электронный контент по нашей спецификации, исправить все ошибки, выпустить документацию, упаковку… и в конце концов кому-то этот контент продать. Про реализацию такого проекта в одиночку не могло быть и речи… Повторю, даже вдвоём это было предельно сложно. Сегодня я не очень понимаю, как нам удалось всё это сделать за девять месяцев :-).

Д. З.Получается, ваша логика была такая: «Это неподъёмно — значит, мы нанимаем много людей, а я разработкой продукта сам детально не занимаюсь»?

Д. Я.Это сегодня в ABBYY работает 2 000 человек и офисы в 14 странах… А в 1989 году «много людей» — это Саша Москалёв и я. Саша один в первые полтора года заменял десятерых: аналитика, интерфейс-дизайнера, графического дизайнера, архитектора, инженеров по базе данных, оболочке, резидентной программе, инсталятору, системе защиты, тестера, выпускающего QA инженера и пр.

Мы понимали, что нужно писать резидентную программу, которая позволила бы сделать словарь, «всплывающий» поверх окон Word или Excel и показывающий на экране перевод. TSR-программирование, надо сказать, тогда казалось чем-то фантастичным: эта техника толком нигде не была описана, книжек о ней почти не было (помню, первые из них появились в Доме научно-технической книги на Ленинском проспекте), знания передавались фактически из уст в уста.

Д. З.Резидентное программирование всегда было «на грани фола»: формально ведь этим заниматься было нельзя, по спецификациям MS DOS это было запрещено. Только некоторые инструменты внутри операционной системы позволяли резидентным программам переключать на себя обработку прерываний — и эти механизмы не были нигде задокументированы, их опытным путём обнаруживали отдельные люди. Я лично хорошо помню, что мы, наблюдая за работой таких «гуру», часто слышали просьбу: «А теперь, пожалуйста, отвернитесь». Всё было именно на таком уровне неизвестности. И достичь того, чтобы резидентные программы работали «без запинки», было действительно чем-то из области фантастики.

Д. Я.Сейчас мы продолжаем заниматься «магией» — только теперь в иной плоскости. Теперь эта «ворожба» посвящена поиску способов вычленить факты из естественного языка.

Д. З.Есть мнение, что такой подход, как «интерлингва» (вычленение смысла из фразы на одном языке, а затем перевод этой мысли на другой язык), в принципе неправилен. Как относиться к таким суждениям? Я знаю много людей, которые идеально владеют двумя иностранными языками (или языками программирования): они используют именно технику интерлингвистики. Но ведь семантика — это всегда сумма коммуникации в данный момент и коммуникативного опыта. А у программы такого опыта нет…

Д. Я.В разных культурах существует большая часть пересекающихся языково независимых понятий, которые укладываются в определённую иерархию. Существует множество академических исследований и проектов по этому поводу, а коммерческих попыток свести все понятия языка к универсальному дереву понятий и использовать его совместно с синтаксисом языка и статистикой не было.

Фактически это иерархия с собранными в ней сущностями, между которыми есть отношения близости. Одни из них — родительские, другие — дочерние; это деление образует основную структуру. Если наполнить основную «ёлку» иерархии массой существующих в языке семантических классов, то любой новый класс сможет занять чёткое место в этой системе. Качество «пристраивания» нового элемента при этом определяется минимумом новых связей, которые будут необходимы, чтобы покрыть все возможности применения этого концепта в реальном мире. Скажем, для концепта «зрелость» соседствующими элементами будут «зрелый»/«незрелый», «зелёный»/«перезрелый», «гнилой» и так далее.

То есть в системе заложены главным образом связи между понятиями смысловой близости. Кстати, в нашей команде работают люди, мыслящие на нескольких языках; с ними мы пытаемся анализировать параллельные тексты. При этом мы стараемся вычленить из этой естественной формы языка все наблюдаемые семантические классы, отнести наиболее конкретные из них на более низкие уровни, более общие — на верхние ступени иерархии. Например, семантический класс «средство передвижения» расположен выше классов «наземный транспорт», «воздушный транспорт» и «другой транспорт». Конечно, выстраивание таких цепочек — творческий процесс. Скажем, есть множество возможностей для встраивания в иерархию омонимов: «тополь» — это ведь и растение, и средство вооружения. Собственно говоря, из-за большого числа значений каждого слова в системе семантических категорий так много горизонтальных связей.

В целом работа системы включает ряд сложных этапов: лексико-морфологический анализ, грубый и точные синтаксический анализ, семантический анализ, синтаксический синтез, синтез линейного порядка и, наконец, морфологический синтез. Не буду вдаваться в подробности, и без того очевидно, что задача очень сложная — и именно потому очень многие считают интерлингвистические подходы невозможными…

Д. З.Но ведь это — как спор математиков и инженеров: первым решение кажется всегда недостижимым, вторые — уверены, что найдут реальное решение, которое выполнит задачу на 99%.

Д. Я.В прикладной лингвистике действительно много «подводных камней». Например, появляются новые семантические концепты; то, какими они будут, никогда нельзя предсказать. Скажем, концепт «социальная сеть»: раньше только на каком-то высочайшем уровне абстракции его можно было сопоставить с концептом «средство общения», сегодня же в этом сочетании — вполне конкретный смысл.

Мы уверены, что, обработав таким способом критическое число параллельных текстов на двух языках, мы «устаканим» иерархии. Сейчас над этим работает команда из трёхсот человек; в общей сложности в такой масштабный проект компания ABBYY вложила уже более $70 млн.