Далчи Грей - Пособие по журналистике данных

Для реализации проекта мы использовали следующие инструменты: Excel и Google Refine для очистки данных и их анализа, Cytoscape для сетевого анализа, и Illustrator и Flash для создания визуализаций. На самом деле вместо Flash должен был использоваться HTML5, но нам не хватило времени.

Чему мы научились? Возможно, самым важным уроком было то, что структуры данных могут быть очень сложными. Если оригинальные данные существуют в неподходящем формате, переподсчет и конвертация их отнимут много времени.

Рис 39. Выборы 2011 года (Hacks/Hackers Buenos Aires)

«Хакинг выборов» ( Electoral Hack)  — это проект из области политического анализа, который визуализирует данные предварительного результата голосования 23 октября 2011 года на выборах в Аргентине. Система также содержит информацию с предыдущих выборов, и социально–демографическую статистику со всей страны. Проект обновлялся в режиме реального времени информацией, поступающей по ходу предварительного подсчета голосов на национальных выборах 2011 года в Аргентине, и представил итоговые результаты выборов. Это была инициатива группы Hacks/Hackers Buenos Aires, которую она осуществила совместно с политологом Энди Тоу (Andy Tow). Проект был осуществлен совместными усилиями журналистов, разработчиков, дизайнеров, аналитиков, политологов и других специалистов из местного отделения Hacks/Hackers.

Все данные поступали из официальных источников: Национальное избирательное бюро предоставило доступ к данным предварительного подсчета Indra; Министерство внутренних дел предоставило информацию о тех постах, на которые выбирались кандидаты, и о кандидатах от разных политических партий; университетский проектпредоставил биографическую информацию и информацию о политических платформах каждого кандидата в президенты; а социально–демографическая информация поступила от Национальной переписи населения и жилищных условий (INDEC) 2001 года и аналогичной переписи 2010 года, а также от Министерства здравоохранения.

Приложение было задумано и начало создаваться во время предвыборного хакатона 2011 года, проводившегося Hacks/Hackers Buenos Aires за день до выборов 23 октября 2011. В хакатоне участвовали 30 добровольцев, представляющих самые разные области. Electoral Hack был разработан как открытая платформа, которая могла с течением времени улучшаться и дополняться. Что касается технологий, то мы использовали Google Fusion Tables, Google Maps и библиотеки векторной графики.

Мы работали над строительством векторных многоугольников для отображения географических карт и избирательных демографических данных. Объединяя векторные многоугольники в программном обеспечении для геоинформационных систем и геометрические таблицы в Google Fusion Tables мы создали таблицы с ключами, соответствующими избирательной базе данных Министерства внутренних дел, Indra и социодемографическим данным переписи INDEC. на этой основе мы сделали визуализации в Google Maps.

Используя интерфейс программирования приложений Google Maps, мы опубликовали несколько тематических карт, представляющих информацию о пространственном распределении голосовавших при помощи разных оттенков цвета, где насыщенность цвета показывала процент проголосовавших за разных президентских кандидатов в разных административных округах и на разных избирательных участках, с особым вниманием к крупным городским центрам – Буэнос–Айресу, 24 районам большого Буэнос–Айреса, Кордобе и Розарио.

Мы использовали такую же технику, чтобы сгенерировать тематические карты по предыдущим выборам, а именно президентским праймериз 2011 года и выборам 2007 года, а также по распределению социодемографических данных, таких как уровень бедности, детская смертность и условия жизни, что дало возможность провести сравнительный анализ. Проект также продемонстрировал пространственное распределение разницы в процентах голосов, набранных каждым кандидатом на всеобщих выборах в октябре, по сравнению с предварительными выборами в августе.

Позднее, используя часть данных предварительного подсчета голосов, мы создали анимированную карту, отображающую анатомию подсчета, в которой показан весь процесс подсчета голосов – начиная с момента закрытия избирательного участка и до следующего утра.

 Мы хотели найти и представить данные и мы смогли это сделать. Под рукой у нас была база социодемографических данных ЮНИСЕФ, a также база данных кандидатов, созданная группой yoquierosaber.org из Университета Торквато ди Тела. Во время хакатона мы собрали огромный объем дополнительных данных, которые мы так и не закончили включать в проект.

 Было ясно, что журналистская и программистская работа была сильно обогащена научными знаниями и вкладом исследователей. Без помощи Энди Тоу и Хиларио Морено Кампоса проект никогда бы не реализовался.

 Социодемографические данные, которыми мы пользовались, были не самыми свежими (большинство было из переписи 2001 года), и к тому же они были не очень подробными. Например, они не включали в себя данные о среднем ВВП на местном уровне, об основной экономической активности, об уровне образования, о числе школ, о врачах на душу населения, и много другого, что было бы здорово иметь.

 Изначально система задумывалась как инструмент, который мог использоваться для объединения и отображения любых произвольно выбранных данных, чтобы журналисты могли легко демонстрировать интересующие их данные в сети. Но нам пришлось отложить это до лучших времен.

 Так как проект реализовывался добровольцами и в короткие сроки, было невозможно сделать все, что мы хотели сотворить. Тем не менее, мы добились значительного прогресса в нужном направлении.

 По той же причине вся работа сотрудничавших в проекте тридцати человек в конце концов сконцентрировалась в работу одного программиста, когда начали появляться правительственные данные, и у нас возникли определенные проблемы с импортированием данных в режиме реального времени. Эта проблема была решена за несколько часов.

Платформа Electoral Hack оказала большое влияние и была активно замечена в прессе, на телевидении, радио, в печатных СМИ и на онлайн–ресурсах. Карты из проекта использовались несколькими медиа–платформами во время выборов и в последующие дни. С течением времени карты и визуализации обновлялись, что еще больше подстегнуло рост трафика. В день выборов сайт, созданный в этот самый день, набрал почти 20 000 уникальных посетителей, а представленные на нем карты были воспроизведены на главной странице газеты Página/12, и пребывали там последующие два дня. Также были и статьи в La Nación. Несколько карт появилось в печатной версии газеты Clarín. Это был первый случай в истории аргентинской журналистики, когда использовалось интерактивное отображение карт реального времени. На центральных картах можно легко увидеть победу Кристины Фернандес де Киршнер, которая набрала 54% голосов, и это отражается насыщенностью цвета. Проект также помог пользователям понять некоторые конкретные моменты, когда местные кандидаты одерживали внушительные победы в провинциях.