Энди Спенсер - Перевод в электронный формат, кодированные наборы шрифтов и система Оптического Распознавания Символов для многошрифтовых информационных ресурсов на примере “Летописи журнальных статей”

5-ая Европейская Конференция Исследования и Продвинутой Технологии для Цифровых Библиотек

Дармштадт, Германия, 4-8 сентября 2001.

Многоязычные информационные ресурсы, состоящие из текстов на нескольких языках, которые трудно отразить одной 8-битовой системой кодирования, в настоящее время могут быть представлены схемой кодирования символов Unicode. Однако использование Unicode может привести к снижению точности системы Оптического Распознавания Символов (Optical Character Recognition) из-за наличия букв в разных алфавитах, изображаемых одинаково, но имеющих различную фонетическую нагрузку. Это ухудшение может существенно увеличить время необходимое для корректировки полученных текстов. Проект перевода в электронную форму двадцати летнего периода публикации “Летопись журнальных статей”, осуществляемый Цифровой библиотекой университета Индианы, представляет собой пример проекта библиотечной оцифровки многошрифтового информационного ресурса для кодировки которого был использован Unicode.

Спецификой данного проекта является использование нескольких шрифтов в рамках одного документа, обусловленное содержанием материалов, представленных в Летописи журнальных статей. Большинство электронно-текстовых документов, созданных в рамках библиотечных проектов оцифровки, содержат тексты, использующие один или два набора шрифтов. Для выполнения подобных задач обычно достаточно восьми-битовых систем кодирования, позволяющих отразить 256 символов. Данное количество возможных символов позволяет отразить заглавные и строчные буквы для более чем одного языка в пределах одной таблицы кодирования. В последние годы были разработаны различные 8-битовые таблицы кодирования для обмена и обработки информации, в диапазоне от основного латинского шрифта до различных комбинаций шрифтов или комбинированных символов. Таким образом одна таблица кодирования, например, может представлять текст на английском и русском языках таким образом, что символы английского языка находятся в нижнем конце цифрового ряда, а кириллические символы в верхнем. Такая восьми-битовая система кодирования приводит к использованию так называемой “ограниченной многоязычной” языковой поддержки [1]. Тем не менее 256 символов явно недостаточно для представления нескольких шрифтов в рамках одного документа.

В каждом номере Летописи журнальных статей регистрируются публикации из различных областей знаний: науки об обществе, гуманитарные и точные науки, медицина, технология и промышленность, и так далее. В то время как основной объем текста “Летописи журнальных статей” использует русскую разновидность кириллического шрифта, во многих секциях точных наук библиографии присутствуют отдельные символы, слова и фразы латинского и греческого алфавита наряду с научными/математическими выражениями и формулами. В латинском шрифте встречающиеся повсюду в Летописи журнальных статей слова и фразы представляют собой комбинацию символов из западно-европейских таблиц кодировки (CP-1252, ISO- 8859-1) и восточноевропейских (CP-1250, ISO-8859-2). Например, ссылка на статью, напечатанную в советском журнале, представляющую собой перевод статьи опубликованной в другой стране, как правило содержит часть сведений относящихся к названию журнала, в котором опубликован оригинал статьи, на национальном языке. Большинство статей были первоначально опубликованы в журналах, издаваемых в странах бывшего СЭВ, однако есть также значительное число публикаций из стран Запада.

В силу многошрифтовой специфики “Летописи журнальных статей” использование обычных кириллических наборов символов таких как CP-1251, KOI-8 или ISO-8859-5 было явно недостаточно. Для полного отражения содержания “Летописи журнальных статей” необходимо применение не только кириллического шрифта, но и основного латинского алфавита с западноевропейскими производными символами, а также восточноевропейских производных символов и греческого шрифта. Так, при избрании к примеру наборов символов Микрософт (таблиц кодирования) необходимо будет одновременно использовать как минимум следующие наборы символов: CP-1251, CP- 1252, CP-1250 и CP-1253. Если же избрать в качестве основы соответствующие наборы символов ISO, необходимо будет использовать символы ISO-8859-5, -1, -2, -7. Современные компьютерные web-брoузеры могут показывать только один набор символов, что очевидно неприемлемо для текстовых источников, использующих несколько различных шрифтов. В информационном источнике, содержащем относительно небольшое количество символов, не входящих в избранный базовый набор символов, возможны обходные приемы такие как вставки графических символов или ссылки на графические примитивы. Однако такие способы делают проблематичным компьютеризированный поиск по таким текстам. Существует более обширный набор символов, явившийся попыткой выйти за пределы лимита символов в 256 знаков, WGL-4 (Windows Glyph List 4), по сути объединяющий в себе таблицы кодирования Windows CP-1250, 1251, 1252, 1253 и 1254. Однако с учетом избрания Unicode специалистами Microsoft для Windows NT/2000 семейства операционных систем, WGL-4 в настоящее время используется редко [5].

На сегодняшний день наилучшим остающимся возможным вариантом кодирования многошрифтовых текстов является многобайтовая система кодирования символов Unicode. Unicode был задуман с целью разрешения проблемы “распространения множественных несопоставимых и неадекватных систем шрифтов”[2]. К сожалению в последующие с момента начала разработки стандарта Unicode годы были разработаны схемы кодирования, представляющие собой различные вариации на тему стандарта Unicode, такие как стандарт UTF (Unicode Transformation Format)-8, UTF-16 формат с обратным порядком байтов и UTF-16 с прямым порядком байтов.

Использование Unicode для текстовых файлов, которые кодировались при помощи XML для “Летописи журнальных статей” предполагало принятие ряда других важных решений, таких как выбор редактора для кодирования и поисковой системы для обеспечения доступа к данным. Спецификация XML предполагает распознавание всеми XML синтаксическими анализаторами версий UTF-8 и UTF-16 стандарта Unicode[8]. Тем не менее комбинирование Unicode и XML постепенно развивается с использованием редакторов XML и XML поисковых систем. Кроме того, некоторые программные продукты используют UTF-8 в качестве дефолт- схемы Unicode, в то время как другие используют для этих целей тот или иной вид UTF-16.

В результате тестирования различных текстовых редакторов дружественных Unicode, а также редакторов XML, совместимых с Unicode, мы пришли к выводу, что Unicode создаваемый или редактируемый в одном редакторе далеко не всегда читаем в другом Unicode редакторе.