Мэттью Джокерс - Код бестселлера

Журнал книжной индустрии Publishers Weekly публикует список книг года – чемпионов по уровню продаж. ( Примеч. авторов. )

The Spy Who Came in from the Cold, John le Carré.

Lord of the Flies, William Golding.

On the Road, Jack Kerouac.

Animal Farm, George Orwell.

A Time to Kill, John Grisham.

Списки бестселлеров в разных странах немного различаются, но мы будем говорить исключительно о списке NYT, поскольку он неизменно играет роль культурного стандарта и наиболее важен для книжной отрасли. В интернете легко найти критику методов, по которым составляются подобные списки, поскольку ни один из них не покрывает абсолютно все продажи из всех источников. Список NYT учитывает примерно 75 % всех продаж и строится на данных Nielsen BookScan. ( Примеч. авторов. )

The Shack, William P. Young.

House of Leaves, Mark Z. Danielewski.

Jimmy Corrigan: The Smartest Kid on Earth, Chris Ware.

Определенный артикль в английском языке.

Предлог, в русском языке ему могут соответствовать разные предлоги, такие как «из», «от» и др. ( Примеч. перев. )

Общее описание нашего метода содержится в послесловии. ( Примеч. авторов. )

Неопределенный артикль в английском языке.

Предлог, в русском языке ему могут соответствовать разные предлоги, такие как «в», «через» и др. ( Примеч. перев. )

Она ( англ .).

Jane Eyre, Charlotte Brontё.

The Devil Wears Prada, Lauren Weisberger.

The Bonfire of the Vanities, Tom Wolfe.

The Quickie, James Patterson.

Extremely Loud & Incredibly Close, Jonathan Safran Foer.

Первую попытку выявления бестселлеров мы предприняли в первом нашем эксперименте, в Стэнфорде, еще в 2008 г. Наш корпус текстов состоял из 20 000 романов, но параметров для анализа у нас было гораздо меньше, всего 505. Такой большой корпус текстов был полезен для определенных видов анализа, но при этом он был составлен с уклоном в пользу более ранних периодов – в нем содержалось слишком много книг XIX века, а среди более современной литературы преобладали научная фантастика, фэнтези и любовные романы. Несмотря на эти недостатки, мы получили хорошие результаты: точность определения бестселлера колебалась в пределах 70–80 %.

При написании этой книги мы построили совершенно новый корпус текстов: более разнообразный и более современный. В нем содержалось почти 5000 произведений, в том числе электронные книги, не ставшие бестселлерами, романы, опубликованные традиционным путем, а также бестселлеры из списка NYT числом чуть больше 500. ( Примеч. авторов. )

Pride and Prejudice and Zombies, Seth Grahame-Smith.

Не знаю что ( фр .).

Джонсон Адам (р. 1967) – американский писатель, лауреат Пулитцеровской премии.

Многие методы, упомянутые в данной книге, описаны в учебнике авторства Мэтта «Text Analysis with R for Students of Literature». Этот учебник представляет собой вводное пособие в анализ текста и извлечение данных и предназначен для читателей, не имеющих подготовки в области компьютерных наук. Другая книга Мэтта, «Macroanalysis: Digital Methods and Literary History», содержит подробное описание методов, использованных нами в данной работе, в том числе моделирования темы (обсуждается во 2-й главе) и стилеметрии (в 4-й главе). Для тех, кому нужно еще более подробное описание методов, лежащих в основе наших исследований, мы рекомендуем труд Christopher Manning, Prabhakar Raghavan и Hinrich Schutze «Introduction to Information Retrieval» издательства Cambridge University Press, а также Gareth James, Daniela Witten, Trevor Hastie и Robert Tibshirani «An Introduction to Statistical Learning» издательства Springer. Обе эти книги требуют некоторого знакомства с предметом, но вместе они дают полный и очень хорошо написанный обзор дисциплин анализа текста и машинного обучения. ( Примеч. авторов. )

The Goldfinch, Donna Tartt.

Сокращение расшифровывается как «Стандарты и обмен информацией в книжном деле».

On Writing: A Memoir of the Craft, Stephen King.

To Kill a Mockingbird, Harper Lee.

В отдельных случаях примеры адаптированы для русского читателя. ( Примеч. ред .)

Мы использовали латентное размещение Дирихле – алгоритм моделирования тем, предложенный Дэвидом Блеем, сотрудником Колумбийского университета. Слово «латентный» в названии метода Блея отражает то, что некоторые темы могут присутствовать в тексте в неявном виде. ( Примеч. авторов. )

В 8-й главе своей книги «Macroanalysis: Digital Methods and Literary History» (UIUC Press, 2013) Мэтт более подробно описывает алгоритм моделирования тем. В 13-й главе своей книги «Text Analysis with R for Students of Literature» (Springer, 2014) Мэтт объясняет читателям, как проводить моделирование тем на алгоритмическом языке R (и как создавать словесные облака, которые вы увидите на этих страницах). Мэтт также опубликовал несколько объяснений для неспециалистов у себя в блоге ( www.matthewjockers.org), в том числе: «The LDA Buffet is Now Open; or, Latent Dirichlet Allocation for English Majors» (29.09.2011) и «“Secret” Recipe for Topic Modeling Themes» (12.04.2013). ( Примеч. авторов. )

A Clockwork Orange, Anthony Burgess. Использован перевод «Заводного апельсина», сделанный Е. Г. Синельщиковым.

A River Runs through It, Norman Maclean.

Rogue Lawyer, John Grisham.

All the Light We Cannot See, Anthony Doerr.

The Girl on the Train, Paula Hawkins.

Go Set a Watchman, Harper Lee.

The Nightingale, Kristin Hannah.

O Alquimista, Paulo Coelho.

Ready Player One, Ernest Cline.

Роман Селесты Инг. Everything I Never Told You, Celeste Ng.

Роман Кристины Бейкер Кляйн. Orphan Train, Christina Baker Kline.

Роман Колма Тойбина. Brooklyn, Colm Tóibín.

House Rules, Jodi Picoult.

Точность измеряется с помощью перекрестной проверки. В этом случае мы использовали два типа перекрестной проверки: в первом (скажем для читателей, которых интересуют подробности) сначала использовалось многократное обучение на случайной выборке 90 % книг, а затем проверка результатов на оставшихся 10 %. Во втором мы использовали принцип «все, кроме одной», заключавшийся в том, что мы обучали модель на множестве всех книг, изымая оттуда лишь по одной книге единомоментно. В обоих экспериментах успехом считалось, когда машина правильно угадывала класс (бестселлер или небестселлер) изъятой книги (или книг, при первом подходе). Это длительный и кропотливый процесс, включающий в себя обучение и испытание множества моделей. При обучении этих моделей нам приходилось использовать уже изданные книги, про которые было известно, стали они бестселлерами или нет. Первая модель была построена в 2011 г. Добавив в корпус текстов все бестселлеры и некоторое количество небестселлеров, вышедшие за следующие пять лет, мы смогли снова испытать модель и в каком-то смысле проверить, работают ли наши наблюдения, сделанные в 2011-м, для 2015 г. Оказалось, что да. Подкрепив свою уверенность с помощью перекрестной проверки, мы можем исследовать прогноз и связанные с ним показатели вероятностей для каждой книги. По поводу некоторых книг модель не смогла прийти к окончательному выводу, и такие книги получали индекс 51 %. Поскольку случайная догадка имеет вероятность 50 на 50, это не очень высокая степень уверенности. В таком случае мы исследовали все остальные характеристики текста – например стиль или сюжет, – прежде чем сделать вывод о вероятности успеха. Но для других книг модель прогнозировала индекс успеха с большой уверенностью и присваивала им соответствующий рейтинг. ( Примеч. авторов. )