Андреас Вайгенд - BIG DATA. Вся технология в одной книге

Я впервые узнал об этом методе из выступления соосновательницы Future Challenges (Berlin) Линды Уолтер на панельной дискуссии “Будущее видео: документирование, технологии и ответственность” в рамках конференции RightsCon в 2016 году – Silicon Valley, Mission Bay Conference Center, San Francisco, CA, March 30, 2016, https://rightscon.sched.org/event/6Isn/the-promise-of-video-documenters-technology-accountability.

Интересно, что истинная личность изобретателя биткойна по-прежнему неизвестна, несмотря на все усилия журналистов-расследователей и, в еще большей степени, властных структур всего мира. Известен только псевдоним – Сатоси Накамото. См. Nakamoto, Satoshi, “A Peer-to-Peer Electronic Cash System”, Bitcoin.org, October 31, 2008, http://www.bitcoin.org/bitcoin.pdf.

На самом деле, в блокчейне можно отражать все что угодно, не связанное ни с операциями в биткойнах, ни с деньгами вообще.

Buterin, Vitalik, “On Public and Private Blockchains”, Ethereum Blog, August 7, 2015, https://blog.ethereum.org/2015/08/07/on-public-and-private-blockchains.

Krause, Andreas, and Eric Horvitz, “A Utility-Theoretic Approach to Privacy in Online Services”, Journal of Artificial Intelligence Research 39 (September – December 2010), pp. 633–662, http://research.microsoft.com/en-us/um/people/horvitz/pvoijair_jair.pdf.

Bertrand, Marianne, and Sendhil Mullainathan, “Are Emily and Greg More Employable Than Lakisha and Jamal? A Field Experiment on Labor Market Discrimination”, National Bureau of Economic Research working paper no. 9873, July 2003, http://www.nber.org/papers/w9873; “No Names, No Bias?”, The Economist, October 31, 2015, http://www.economist.com/news/business/21677214-anonymising-job-applications-eliminate-discrimination-not-easy-no-names-no-bias.

Я привожу в качестве примера вибраторы, поскольку у меня с коллегами был конкретный опыт в Amazon. За неделю до Дня матери на домашней страничке покупателя в Amazon всегда появляются рекомендации по выбору подарков маме. Рекомендательные алгоритмы сначала работают на случайно отобранных товарах соответствующих категорий, а затем постепенно начинают показывают те, которые кликают чаще всего. По ходу дня на лидирующей позиции с огромным отрывом оказался вибратор. Это произошло потому, что он относился к категории «Женские товары для здоровья», которая участвовала в промоакции, а люди кликали его, удивляясь, что вибратор рекомендуют в качестве подарка ко Дню матери.

Kemp, Joe, and Daniel Beekman, “‘Pressure Cooker’ and ‘Backpack’ Internet Search Prompts Visit from Feds: Long Island Woman Claims”, New York Daily News, August 1, 2013, http://www.nydailynews.com/news/national/long-island-woman-claims-online-search-pressure-cooker-helped-prompt-visit-feds-article-1.1415101.

Warner, Stanley L., “Randomized Response: A Survey Technique for Eliminating Evasive Answer Bias”, Journal of the American Statistical Association 60, no. 309 (March 1965), pp. 63–69.

Я впервые задумался о мощи таких ручек и движков применительно к данным в 1990-х годах, попользовавшись демо-проектом “HomeFinder”, который создал преподаватель информатики Мэрилендского университета Бен Шнайдерман. Пользователи программы могли подбирать жилье в Вашингтоне и его окрестностях в соответствии с заданными критериями. Человек, желавший снять дом с пятью спальнями не дороже чем за пятьсот долларов в месяц, мог обнаружить, что ничего подобного не предлагается. Но постепенно повышая стоимость аренды или снижая количество спален, можно было найти подходящие варианты. См. Shneiderman, Ben, “Information Visualization: Dynamic Queries, Starfield Displays, and LifeLines”, in Ben Shneiderman, ed., Sparks of Innovation in Human-Computer Interaction (Norwood, NJ: Ablex Publishers, 1993), http://www.cs.umd.edu/hcil/members/bshneiderman/ivwp.html.

Этот принцип лучше всего передает заповедь веб-дизайна, которую сформулировал Стив, Круг, – «Не заставляйте меня думать». См. Krug, Steve, Don’t Make Me Think, Revisited: A Common Sense Approach to Web and Mobile Usability, 3rd ed. (San Francisco: New Riders, 2014).

Mayer-Schönberger, Viktor, and Kenneth Cukier, Big Data: A Revolution That Will Transform How We Live, Work, and Think (New York: Houghton Mifflin Harcourt, 2004).

В Amazon также применяются электронные адреса для каждого товара. В прошлом Amazon выделял продукцию, особенно популярную среди людей с электронными адресами одного доменного имени. Эту практику прекратили, когда очень известные компании стали жаловаться, что она может давать предстваление об их стратегических решениях. Чисто теоретически, скачок спроса на книги о блокчейне со стороны покупателей с адресами домена @gs.com или с доставкой по адресу 200, Уэст-стрит, Нью-Йорк, мог бы навести на мысль о том, что в Goldman Sachs начинают внедрять блокчейн еще до официального объявления об этом.

Vara, Vauhini, “How an Airline Fare Loophole Could Hurt Passengers”, The New Yorker, January 5, 2015, http://www.newyorker.com/business/currency/united-skiplagged-problem-hidden-city-ticketing; and Jansen, Bart, “Judge Throws Out United Airlines Case Against Skiplagged”, USA Today, May 4, 2015, http://www.usatoday.com/story/todayinthesky/2015 /05/04/united-skiplagged-lawsuit-federal/26864961.

Tversky, Amos, and Daniel Kahneman, “Judgment Under Uncertainty: Heuristics and Biases”, Science 185, no. 4157 (September 27, 1974), pp. 1124–1131. В качестве введения в предмет рекомендую ознакомиться с этим прекрасным сборником: Kahneman, Daniel, Paul Slovic, and Amos Tversky, eds., Judgment Under Uncertainty: Heuristics and Biases (Cambridge: Cambridge University Press, 1982).

Anders, George, “LinkedIn Offers College Choices by the Numbers”, MIT Technology Review, January 22, 2014, https://www.technologyreview.com/business-report/ data-and-decision-making.

Некоторые инфопереработчики предоставляют возможность получения необработанной информацинной выгрузки. В качестве примеров можно привести Google Takeout, скачиваемую информацию Facebook и историю покупок Amazon.

Cook, James, “Uber’s Internal Charts Show How Its Driver-Rating System Actually Works”, Business Insider, February 11, 2015, http://www.businessinsider.com/leaked-charts-show-how-ubers-driver-rating-system-works-2015–2.

Многие из этих подробностей основаны на беседах с водителями четырех континентов и с разработчиками некоторых сервисов такси. См. Herrera, Doug, “Fired from Uber: Why Drivers Get Deactivated, and How to Get Reactivated”, Ride Sharing Driver blog, April 21, 2016, http://www.ridesharingdriver.com /fired-uber-drivers-get-deactivated-and-reactivated.

Конкретная цифра зависит от города. В Lyft в оценку включаются принятые, но не выполненные заказы: Оценка = (Количество выполненных заказов + Количество подач отметкой «Неявка пассажира» / (Общее количество заказов).

В некоторых местах от водителей требуется быть в наличии в определенных «горячих зонах» в определенные интервалы времени, за что они получают гарантированную почасовую оплату. Some markets also required drivers to be available to pick up riders in specific “hot zones” during the window of time when guaranteed hourly earnings were offered. См. Huet, Ellen, “Uber’s Clever, Hidden Move: How Its Latest Fare Cuts Can Actually Lock In Its Drivers”, Forbes, January 9, 2015, http://www.forbes.com/sites/ellenhuet/2015/01/09/ubers-clever-hidden-move-how-fare-cuts-actually-lock-in-its-drivers; and “Guarantees Terms and Conditions”, Uber Newsroom, April 16, 2016, https://newsroom.uber.com/sf/guarantees-terms-and-conditions.

Wenger, Albert, “Labor Day: Right to an API Key (Algorithmic Organizing)”, Continuations blog, September 1, 2014, http://continuations.com/post/96355016855/labor-day-right-to-an-api-key-algorithmic.

Более подробно о правах частично занятых работников см. Grossman, Nick, and Elizabeth Woyke, Serving Workers in the Gig Economy: Emerging Resources for the On-Demand Workforce (Boston: O’Reilly Media, 2016), http://www.oreilly.com/iot/free/serving-workers-gig-economy.csp.

Информацией об ABS я обязан Клаусу Маю из Bosch. Желающим подробно изучит историю ABS Клаус рекомендует книгу: Johnson, Ann, Hitting the Brakes: Engineering Design and the Production of Knowledge (Durham, NC: Duke University Press, 2009).