Джон Уолш - Создание инструмента научных исследований на основе XML: Проблемы и методология

В своем докладе я опишу процесс создания электронного исследовательского инструмента, имеющего в своей основе печатный библиографический указатель, который предназначен для использования в научных целях, а также проанализирую некоторые трудности, с которыми мы столкнулись в ходе реализации данного проекта, и расскажу об избранных нами вариантах решения возникших проблем. Проект разрабатывается Цифровой Библиотечной Программой университета Индианы при поддержке в форме гранта от Департамента Образования США. Наш проект предполагает перевод в электронный формат двадцатилетнего периода (1956—1975) библиографического указателя советского периода «Летопись журнальных статей», в котором собраны ссылки на статьи из более чем 1700 научных и популярных журналов из различных областей человеческих знаний, как точных, так и гуманитарных наук.

Этапы проекта:

Создание цифровых изображения 250 000 страниц текста с бумажных оригиналов печатного выпуска Летописи.

Обработка изображений страниц системой Оптического Распознавания Символов с целью получения редактируемого электронного текста.

Разработка DTD.

Программное и ручное кодирование текста, его корректирование и проверка на соответствие тредованиям XML.

Создание Web-основанного интерфейса для поиска, просмотра и визуального представления электронного варианта «Летописи журнальных статей».

Проект «Летопись журнальных статей» предполагает комбинацию технических требований, связанных с исследовательскими и научными электронными публикациями, а также проблем, связанных с XML.

Проблемы проекта:

Очень большие и сложные документы XML и DTD. XML документы научно- исследовательского содержания, такие как коллекции полных текстов литературных работ, обширные словари или указатели масштаба «Летописи журнальных статей», имеют тенденцию разрастаться до огромных размеров, от сотен мегабайтов до более чем гигабайта. Соответственно, многие широкоупотребляемые DTD электронных библиотек, такие как Инициатива Кодирования Текста (TEI) или Кодированные Архивные Описания (EAD) отличаются своими большими масштабами и сложностью. Мы пришли к выводу, что несмотря на то, что эти DTD действительны, не все доступные инструменты (редакторы, XML процессоры, хранилища информации, и т.д.) способны справиться с задачами обработки документов и DTD такого размера и сложности. Поддержка Unicode. В «Летописи журнальных статей» в основном используется русский язык и кириллический алфавит. Однако, в тексте присутствуют и другие языки — английский и греческий, в основном в форме ссылок на иностранные источники, что обусловливает использование добавочных алфавитов. Подобное сочетание языков и алфавитов характерно для академической среды. Стандарт Unicode разрешает многие проблемы, связанные с перемешиванием различных наборов символов в одном электронном документе. Одним из требований проекта является надежная система поддержки стандарта Unicode во всех инструментах, используемых в разработке этого и других проектов цифровых библиотек. Быстрые, гибкие и сложные инструменты поиска и индексирования. Для того, чтобы такие масштабные коллекции исследовательских данных как «Летопись журнальных статей» использовались в полную силу необходимы высококачественные инструменты поиска. Необходим быстрый поиск по ключевым словам по всему тексту документа, а также более сложный поиск, с использованием преимуществ структуры XML и кодировки.

В своей презентации я расскажу об этапах развития проекта, наших вариантах решения обозначенных выше проблем и инструментах, которые мы проанализировали, и которые мы создали. Я также продемонстрирую прототип Web-основанного интерфейса электронной версии «Летописи журнальных статей».

Данный доклад посвящен трудностям, с которыми мы столкнулись, и методологии и инструментам, применяемым Цифровой Библиотечной Программой университета Индианы в рамках реализации проекта «Летопись журнальных статей».

Некоторая вводная информация представлена на web-сайте проекта: ( http://webapp1.dlib.indiana.edu/letopis/index.jsp?lang=ru). Это кракий обзор проекта «Летопись журнальных статей»:

Цифровая Библиотечная Программа университета Индианы получила грант от Департамента Образования США в рамках Раздела IV «Технологическая программа» с целью перевода в электронный формат и представления на World Wide Web «Летописи журнальных статей» за период в двадцать лет (1956—1975 гг.), библиографического указателя советских периодических изданий, издающегося с 1926 года по настоящее время. Указатель охватывает более чем 1700 журналов, серий и продолжающихся публикаций академий, университетов, научно-исследовательских институтов в областях гуманитарных, естественных наук, наук об обществе, а также популярную периодическую литературу. Переведенная в электронный формат и помещенная в World Wide Web Летопись обеспечит доступ к периодической литературе важного периода российской истории, начинающегося с хрущевской «оттепели», следующей за двадцатым съездом коммунистической партии советского союза (КПСС), и продолжающегося вплоть до первой половины так называемой брежневской «эпохи застоя». Студенты и ученые, изучающие российскую политологию, литературу или историю периода 1956—1975 гг. безусловно оценят по достоинству «Летопись журнальных статей».

Стимулов осуществления проекта оцифровывания было два. Первый — увеличение возможностей использования указателя. Использование печатного варианта Летописи представляет определенные трудности. Летопись издавалась еженедельными выпусками, общего указателя по Летописи не существует, так что поиск по ней довольно сложен и занимает много времени. Цифровая версия позволит осуществлять поиск по всему двадцатилетнему периоду Летописи, который мы переводим в электронный формат, что существенно облегчит использование и увеличит полезность указателя.

Второй мотивирующий фактор реализации проекта это необходимость сохранения указателя. Печатная версия была издана на бумаге с высоким содержанием кислоты, которая со временем стала очень хрупкой и в настоящее время стремительно разрушается. Перевод в электронный формат поможет сохранить ценный научный источник, каким является Летопись. Помимо XML версии указателя мы заархивируем оцифрованные изображения страниц.