Далчи Грей - Пособие по журналистике данных

R создавался главным образом как инструмент визуализации научных данных. Вы вряд ли найдете метод визуализации или обработки данных, который не встроен в R. R содержит в себе все, это универсальное средство анализа визуальных данных. Единственный недостаток, о котором вам следует знать: вам придется выучить (еще один) язык программирования, так как R использует собственный язык. Но как только вы немного освоитесь, то поймете, что более мощного инструмента, чем R, нет. Подготовленные журналисты используют R для анализа огромных массивов данных, который выходит за пределы возможностей Excel (например, если вы работаете в таблице с миллионом строк).

Чем действительно хорош R, так это тем, что вы можете хранить точный «протокол» всех действий с данными на протяжении всего процесса, начиная с чтения CSV–файла до создания таблиц. В случае изменения данных, вы можете создать таблицу заново одним кликом мышки. Если кто–то усомнится в безошибочности вашей таблицы, вы сможете показать источник данных, который позволяет любому самостоятельно в точности воссоздать эту таблицу (или найти ваши ошибки, если они есть).

NumPy и MatPlotLib позволяют делать примерно то же самое, но на языке Python. Они подойдут вам, если вы уже хорошо программируете на Python. По сути NumPy и MatPlotLib — примеры ПО, созданного на Python. Их можно использовать для анализа и визуализации данных, но только для статической визуализации. В них нельзя создавать интерактивные графики с всплывающими подсказками и прочими наворотами.

Я не работаю в MapBox, но слышал, что в нем можно делать сложные диаграммы на основе OpenStreetMap. Например, можно настроить под пользователя стили диаграмм (цвета, легенды и т.д.). У MapBox есть дополнительное приложение, Leaflet. По сути это та же библиотека на JavaScript для составления диаграмм и графиков, но более высокого уровня. Leaflet позволяет с легкостью переключаться с одного поставщика карт на другого (OSM, MapBox, Google Maps, Bing…).

RaphaelJS — библиотека для визуализаций более низкого уровня, которая позволяет работать с базовыми элементами (круги, линии, тексты) и создавать на их основе анимацию, добавлять интерактивные элементы. Шаблонов для столбчатых диаграмм в нем нет, так что придется нарисовать пару прямоугольников самостоятельно.

Тем не менее, все графики Raphael будут открываться в Internet Explorer. Многие другие (даже очень хорошие) библиотеки для визуализации (например, d3) такого свойства не имеют. К сожалению, многие пользователи до сих пор работают в IE, а ни один ньюсрум не имеет права игнорировать 30% своей аудитории.

Помимо RaphaelJS, можно создавать резервный вариант флэш для IE. Именно так поступают в New York Times. Это значит, что каждое приложение придется создавать дважды.

Не уверен насчет полной совместимости визуализаций в RaphaelJS с IE и современными браузерами. Очень часто приложения RaphaelJS работают в IE очень медленно, почти в десять раз медленнее, чем в формате Flash в новых браузерах. Так что резервный вариант в формате Flash может быть хорошим решением, если вам нужна высококачественная визуализация для всех пользователей.

Open Knowledge Foundation — Грегор Эйш

Для меня самый надежный инструмент – Excel, который может справиться с большинством автоматизированных задач журналистики. Более того, он прост в использовании и доступен большинству журналистов. Для объединения таблиц я обычно использую Access, затем экспортирую объединенную таблицу обратно в Excel и работаю дальше. Для географических анализов я использую ArcMap от ESRI. Им пользуются многие агентства, которые собирают геокодированные данные.

TextWrangler отлично подходит для изучения текстовых данных в замысловатом формате и разделителями. Он также может выполнять сложный поиск и замену с распространенными выражениями. Когда мне нужны статистические методы (линейная регрессия), я использую SPSS. У него очень удобное и простое меню. Для мудреных заданий (например, массивов данных с миллионами записей, которые нуждаются в сортировке и программировании переменных трансформаций) я используют SAS.

Школа журналистики имени Уолтера Кронкайта — Стив Дойг

Мы используем Python и Django для обработки, очистки и переработки данных. PostGIS, QGIS и MapBox мы используем для создания навороченных веб–карт. R и NumPy + MatPlotLib сейчас борются за превосходство в анализе научных данных, хотя последнее время мы все чаще обращаемся к «доморощенному» инструменту, CSVKit. Практически все, что мы делаем, происходит в облаке.

Chicago Tribune — Брайан Бойер

В La Nacion мы используем: * Excel для очистки, структурирования и анализа данных; * Таблицы Google для публикации и объединения с сервисами типа Google Fusion Tables и Junar Open Data Platform; * Junar для расшаривания данных и внедрения их в статьи и блоги; * Tableau Public для интерактивной визуализации данных; * Qlikview – очень быстрый инструмент бизнес–аналитики для анализа и фильтрования больших массивов данных; * NitroPDF для конвертирования PDF в текстовые и Excel–файлы; * Google Fusion Tables для визулизации карт.

La Nacion (Аргентина) — Анхелика Перальта Рамос

Как стихийное сообщество без предубеждений относительно технических средств, мы в Transparency Hackers используем множество различных инструментов и языков программирования. У каждого из нас свой список предпочтений, и в этом разнообразии наша сила и слабость одновременно. Кто–то разрабатывает дистрибутив Linux от Transparency Hacker, который загружается где угодно и начинает вскрывать данные. Этот набор инструментов имеет несколько любопытных функций и библиотек для работы с данными (Refine, RStudio и OpenOffice Calc), о которых подкованные пользователи обычно забывают, но которые очень полезны для быстрых и мелких операций. Я также часто использую Scraperwiki, чтобы быстро смоделировать и сохранить результаты данных онлайн.

Для визуализации данных и создания схем есть много хороших инструментов. Например, очень много возможностей у Python и NumPy. Кое–кто из нашего сообщества балуется с R, но в конечном счете в большинстве проектов мы все равно используем библиотеки графиков на Javascript типа d3, Flot и RaphaelJS. Наконец, мы много экспериментировали с составлением диаграмм, и для этого нам очень интересным показался Tilemill.

Визуализация крайне важна для анализа данных. Это главная линия нападения, открывающая запутанные структуры в данных, которые нельзя получить другим способом. Мы находим то, что не ожидали найти, и ставим под вопрос то, что было ожидаемо.

— Уильям С. Кливленд: визуализация данных

Сами по себе данные, состоящие из битов и байтов в файле на жестком диске, невидимы. Чтобы увидеть данные и разобраться в них, нужно их наглядно представить. В этой главе я расскажу о более широком понятии визуализации, которая включает и чисто текстовое представление данных. Например, уже загрузка массива данных в программу создания таблиц будет визуализацией. Невидимые данные внезапно превращаются во вполне видимую картинку на экране. Вопрос не в том, нужно или нет журналистам наглядно представлять данные, а какой вид представления данных может быть наиболее наглядным в конкретном случае.