Далчи Грей - Пособие по журналистике данных

«Посольская депеша, помеченная тегом SIPDIS, автоматически загружается на секретный сайт посольства. Оттуда к ней может получить доступ не только любой человек в Госдепартаменте, но также и любой в американской военной структуре, у кого есть доступ к закрытой информации уровня «секретно», пароль и компьютер, подсоединенный к SIPRNet»

что удивительным образом охватывает более 3 миллионов человек. Тут есть несколько уровней данных; вплоть до SECRET NOFORN, тэга, который означает, что эта информация никогда и ни в коем случае не может быть показана иностранному гражданину. Такие документы, как предполагается, должны читаться чиновниками в Вашингтоне вплоть до уровня госсекретаря Хиллари Клинтон. Депеши обычно составляются местным послом или его подчиненными. К документам, на которых стоит гриф «совершенно секретно», или указание еще более высокого уровня сохранения тайны, не может быть получен доступ через SIPRNet.

В отличие от предыдущих релизов, тут, в случае с депешами, это был преимущественно текст, не выраженный в количественной форме и не содержавший идентичных данных. Вот что включали в себя депеши:

Источник

Посольство или орган, направивший депешу.

Список получателей

Обычно депеши отправлялись в ряд других посольств и организаций.

Поле «Тема»

Обычно краткое содержание депеши.

Тэги

Каждая депеша была снабжена рядом ключевых аббревиатур.

Основной текст

Собственно сама депеша. Мы решили не публиковать эту часть полностью по причинам безопасности объективного характера.

Один интересный нюанс этой истории заключается в том, как депеши смогли создать фактически утечки по заказу, в самый нужный момент. Они фигурировали в главных новостях в течение нескольких недель с момента публикации – а сейчас, когда бы ни возникал сюжет о том или ином коррумпированном режиме или международном скандале – доступ к депешам дает нам и доступ к новым новостным сюжетам и новым материалам.

Анализ депеш – огромная, масштабная задача, которая, возможно, никогда не будет завершена.

— Это неотредактированная версия главы, которая впервые была опубликована в проекте «Факты священны» (Facts are Sacred): данные – Саймон Роджерс, The Guardian

Рис 41. Mapa76 (Hacks/Hackers Buenos Aires)

Мы открыли буэнос–айресскую главу истории Hacks/Hackersв апреле 2011 года. Мы провели две первоначальных встречи для того, чтобы предать гласности идею более тесного сотрудничества между журналистами и разработчиками программного обеспечения, на каждом из мероприятий присутствовало от 120 до 150 человек. На третью встречу мы организовали 30–часовой хакатон в составе восьми человек на конференции по цифровой журналистике в городе Розарио в 300 километрах от Буэнос–Айреса.

Повторяющейся темой на этих встречах было желание выкопать огромные объемы данных из интернета, а потом представить их визуально. Чтобы содействовать решению этой задачи, родился проект Mapa76.info, который помогает пользователям извлекать данные, а потом отображать их, используя карты и графики. Непростая задача.

Почему Mapa76? 24 марта 1976 года в Аргентине произошел переворот, который длился до 1983 года. В этот период примерно 30 000 человек бесследно исчезли, тысячи погибли, и около пятисот детей родилось в неволе из–за действий военной диктатуры. Более тридцати лет спустя число людей в Аргентине, осужденных за преступления против человечности, совершенные в годы диктатуры, достигло 262 человек (по состоянию на сентябрь 2011 года). Сейчас идет 14 судебных процессов, и еще в отношении 7 определены даты начала рассмотрения дел. В различных открытых судебных делах фигурируют 802 человека.

Эти процессы генерируют огромное количество данных, которые весьма сложны в обработке и для исследователей, и для журналистов, и для правозащитных организаций, и даже для судей, прокуроров и всех остальных. Данные появляются совершенно разным образом, и следователи и исследователи зачастую не могут воспользоваться преимуществами обработки их программными средствами при их интерпретации. В конечном итоге, это означает, что факты зачастую упускаются из виду, а гипотезы часто получаются ограниченными. Mapa76 – это расследовательский инструмент, предоставляющий открытый доступ к этой информации в журналистских, юридических, судебных и исторических целях.

Чтобы подготовиться к хакатону, мы создали платформу, которую разработчики и журналисты могли использовать для общения и взаимодействия в день мероприятия. Мартин Сарсале разработал несколько базовых алгоритмов для извлечения структурированных данных из простых текстовых документов. Некоторые библиотеки также были взяты с DocumentCloud.org и использованы в проекте, но таковых было немного. Платформа позволяла автоматически анализировать и извлекать имена и фамилии, даты и места из текстов – и давала возможность пользователям изучать ключевые факты о различных случаях (даты рождения, места арестов, предполагаемые места исчезновения, и так далее).

Нашей целью было предоставить платформу для автоматического извлечения данных по приговорам и решениям судов времен военной диктатуры в Аргентине. Мы хотели найти способ автоматически (или, по крайней мере, полуавтоматически) показывать ключевые данные, связанные с делами 1976–1983 годов, основанными на письменных свидетельствах, аргументах и приговорах. Извлеченные данные (имена, фамилии, места и даты) собираются, хранятся и могут быть проанализированы, просеяны и улучшены исследователем. Также их можно использовать при помощи карт, графиков и инструментов сетевого анализа.

Проект позволяет журналистам и следователям, работникам прокуратуры и свидетелям отслеживать историю жизни человека, включая ход их пленения, и последующего исчезновения или освобождения. Там, где информация отсутствует, пользователи имеют возможность прошерстить огромное количество документов в поисках информации, которая, возможно, может иметь отношение к делу.

Для того, чтобы собрать хакатон, мы сделали публичное объявление через Hacks/Hackers Buenos Aires, в котором тогда было около 200 членов (на момент написания главы их уже 540). Мы также вступили в контакт со многими ассоциациями защиты прав человека. На встрече присутствовали около сорока человек, включая журналистов, представителей правозащитных организаций, разработчиков и дизайнеров.

Во время хакатона мы определили задачи, которые разные типы участников могли бы пытаться решать независимо, чтобы способствовать тому, чтобы процесс шел мягко и безболезненно. Например, мы попросили дизайнеров поработать над интерфейсом, который сочетал бы карты и графики и временные шкалы, мы попросили разработчиков поискать способы извлечения структурированных данных и алгоритмы для устранения возможности различного толкования названий, а журналистов мы попросили посмотреть, что произошло с конкретными людьми, сравнить разные версии материалов и прошерстить документы, чтобы рассказать истории о конкретных случаях.