Джон Келлехер - Наука о данных. Базовый курс

Другим ключевым компонентом плана тестирования является выбор подходящих показателей для оценки. Обычно модели оцениваются на основе того, насколько часто их выходные данные соответствуют выходным данным из тестового набора. Если целевой атрибут является числовым значением, то одним из способов измерения точности модели на тестовом наборе будет сумма квадратов ошибок. Если целевой атрибут является номинальным или порядковым, то самый простой способ оценить точность модели — вычислить долю в тестовом наборе правильно полученных ею примеров. Однако в некоторых случаях важно включить анализ ошибок в процесс оценки. Например, если модель используется для медицинской диагностики, при диагностировании больного пациента как здорового последствия могут быть гораздо серьезнее, чем при обратной ошибке. Диагностика больного пациента как здорового может привести к тому, что пациента отправят домой без соответствующей медицинской помощи. Если же модель диагностирует здорового пациента как больного, то с большой вероятностью эта ошибка будет обнаружена в ходе последующего обследования, назначенного пациенту. Таким образом, при оценке производительности модели требуется придать одному типу ошибки больший вес, чем другому. После создания плана тестирования специалист по данным может начать обучение и оценку моделей.

Эта глава началась с того, что наука о данных — партнерство между специалистом по данным и компьютером. Машинное обучение представляет собой набор алгоритмов, которые генерируют модели из большого набора данных. Однако пригодность этих моделей зависит от опыта специалиста по данным. Для успешного выполнения проекта набор данных должен быть репрезентативным для исследуемой области и включать в себя соответствующие атрибуты. Специалист по данным оценивает ряд алгоритмов машинного обучения, чтобы найти, какие из них генерируют лучшие модели. Процесс оценки модели должен следовать золотому правилу, согласно которому модель нельзя тестировать на тех же данных, на которых она была обучена.

В большинстве проектов науки о данных основным критерием выбора модели является ее точность. Однако в ближайшем будущем на выбор алгоритмов машинного обучения могут повлиять правила использования данных и конфиденциальности. Так, например, 25 мая 2018 г. в Евросоюзе вступил в силу Общий регламент по защите данных (General Data Protection Regulation, GDPR). Подробнее мы обсудим GDPR в главе 7, а сейчас просто отметим, что в нем есть отдельные статьи, которые наделяют человека «правом на получение разъяснений» в отношении автоматизированных процессов принятия решений {6} . Потенциальное значение такого права состоит в том, что использование труднообъяснимых моделей, таких как нейронные сети, для принятия решений, касающихся отдельных лиц, может стать проблематичным. При таких условиях прозрачность и простота объяснения других моделей, например деревьев решений, могут сделать их использование более подходящим.

И последнее: мир меняется, а модели — нет. В процессе построения набора данных, обучения модели и ее оценки предполагается, что будущее будет таким же, как и прошлое. Это так называемое предположение о стационарности, которое, по сути, означает, что моделируемые процессы или модели поведения являются постоянными во времени (т. е. не меняются). Наборы данных изначально имеют исторический характер в том смысле, что представляют собой наблюдения, сделанные в прошлом. Поэтому алгоритмы машинного обучения ищут в прошлом закономерности, которые можно обобщить и интерполировать в будущее. Очевидно, что это предположение не всегда работает. Для описания того, как процесс или поведение могут со временем изменяться, специалисты по данным используют понятие дрейфа. По причине дрейфа модели перестают работать и нуждаются в переподготовке, именно поэтому процесс CRISP-DM включает в себя внешний круг, подчеркивающий итеративность науки о данных. Эти процессы должны внедряться после развертывания модели, чтобы проверить ее на устаревание, и, если устаревание имеет место, модель должна пройти переподготовку. Большинство подобных решений не могут быть автоматизированы и требуют человеческой проницательности и знаний. Компьютер ответит на поставленный вопрос, но сам вопрос может оказаться неверным.

‹1›. Le Cun, Yann. 1989. «Generalization and Network Design Strategies.» Technical Report CRGTR-89-4. Univeristy of Toronto Connectionist Research Group.

‹2›. Kelleher, John D. 2016. «Fundamentals of Machine Learning for Neural Machine Translation.» In Proceedings of the European Translation Forum.

‹3›. Quinlan, J. R. 1986. «Induction of Deciston Trees.» Machine Learning 1 (1): 81–106. doi:10.1023/A:1022643204877.

‹4›. Kelleher, John D., Brian Mac Namee, and Aoife D’Arcy. 2015. Fundamentals of Machine Learning for Predictive Data Analytics. MIT Press.

‹5›. Wolpert, D. H., and W. G. Macready. 1997. «No Free Lunch Theorems for Optimization.» IEEE Transactions on Evolutionary Computation 1 (1): 67–82. doi:10.1109/4235.585893.

‹6›. Burt, Andrew. 2017. «Is There a ‘Right to Explanation’ for Machine Learning in the GDPR?» https://iapp.org/news/a/is-there-a-right-to-explanation-for-machine-learning-in-the-gdpr/.

Одним из важнейших навыков специалиста по данным является способность сформулировать насущную проблему как стандартную задачу науки о данных. Большинство проектов в этой области можно отнести к одному из четырех основных классов задач:

• кластеризация (или сегментация);

• обнаружение аномалий (или выбросов);

• поиск ассоциативных правил;

• прогнозирование (включая подзадачи классификации и регрессии).

Понимание того, на какую задачу нацелен проект, облегчит принятие многих проектных решений. Например, для обучения модели прогнозирования требуется, чтобы каждый из объектов в наборе данных содержал значение целевого атрибута, а это, в свою очередь, дает ориентиры (через запросы) с точки зрения проектирования набора данных. Понимание задачи также определяет, какие алгоритмы машинного обучения использовать. Существует множество алгоритмов машинного обучения, и каждый предназначен для конкретной задачи глубинного анализа данных. Например, алгоритмы, генерирующие модели дерева решений, в первую очередь предназначены для решения задач прогнозирования. Каждой задаче соответствует множество алгоритмов машинного обучения, поэтому знание задачи определяет не конкретный алгоритм, а их набор. Поскольку задача влияет как на структуру набора данных, так и на выбор алгоритмов машинного обучения, определиться с ее типом необходимо на раннем этапе жизненного цикла проекта, в идеале — на этапе понимания бизнес-целей CRISP-DM. Чтобы лучше понять типы задач, ниже мы покажем, как некоторые стандартные проблемы бизнеса соотносятся с ними.