Ханна Фрай - Hello World. Как быть человеком в эпоху машин

Вернуться

17

Классифицировать алгоритмы можно по-разному, и я не сомневаюсь, что специалисты по компьютерным наукам будут недовольны столь упрощенным подходом. Более подробный перечень действительно включил бы в себя еще несколько категорий: например, алгоритмы картирования, сведения одних задач к другим, регрессивного анализа и кластеризации. Но я все-таки остановилась на этой классификации, потому что она покрывает все основные случаи и, что немаловажно, помогает дать представление об этой огромной и сложной области науки. См. Nicholas Diakopoulos, Algorithmic Accountability Reporting: On the Investigation of Black Boxes (New York: Tow Center for Digital Journalism, Columbia University, 2014)

Вернуться

18

Kerbobotat: “Зашел на Amazon купить бейсбольную биту и получил интересные предложения аксессуаров”, Reddit , 28 Sept. 2013, https://reddit.com/r/funny/comments/1nb16l/went_to_buy_a_baseball_bat_on_amazon_they_have/.

Вернуться

19

Sarah Perez, Uber debuts a “smarter” UberPool in Manhattan, TechCrunch , 22 May 2017, https://techcrunch.com/2017/05/22/uber-debuts-a-smarter-uberpool-in-manhattan/.

Вернуться

20

Слово “теоретически” я употребила неслучайно. Так бывает не всегда. Над некоторыми алгоритмами не один год трудились сотни, а то и тысячи разработчиков, и каждый из них на том или ином этапе добавлял свои операции. С каждой новой строкой кода система становится все более сложной, до тех пор пока логические нити не переплетутся на манер порции спагетти. В конце концов алгоритм приобретает настолько разветвленную структуру, что человеческий разум уже не в силах разобраться в ней и уследить за всеми переходами.

В 2013 году компания Toyota должна была выплатить три миллиона долларов компенсации после автокатастрофы с участием одного из ее автомобилей. Машина неконтролируемо разогналась, хотя сидевшая за рулем женщина жала на педаль тормоза, а вовсе не газа. На суде выступавший свидетелем специалист сказал, что виновата случайная команда, скрытая где-то в путаной схеме программного обеспечения. См. Phil Koopman, A case study of Toyota unintended acceleration and software safety (Pittsburgh: Carnegie Mellon University, 18 Sept. 2014), https://users.ece.cmu.edu/~koopman/pubs/koopman14_toyota_ua_slides.pdf.

Вернуться

21

Эта иллюзия называется “ваза Рубина”, по имени придумавшего ее Эдгара Рубина. (Здесь приведен пример со страницы https://commons.wikimedia.org/wiki/File: Vase_of_rubin.png). Это пример двойственного изображения, или обратимых фигур — вы видите два темных профиля и белую вазу. На этом рисунке очень легко переключиться с одной формы на другую, но, чтобы сместить равновесие в ту или иную сторону, достаточно добавить пару штрихов. Скажем, подрисовать тонкие контуры глаз или оттенить ножку вазы.

Из той же серии пример с распознаванием изображения собаки и машины. Программисты подобрали картинку на стыке двух категорий, внесли одну маленькую поправочку, и, по мнению компьютера, картинка переместилась из одной категории в другую.

Вернуться

22

Jiawei Su, Danilo Vasconcellos Vargas and Kouichi Sakurai, One pixel attack for fooling deep neural networks , arXiv:1719.08864v4 [cs.LG], 22 Feb. 2018, https://arxiv.org/pdf/1710.08864.pdf.

На русском языке см. https://habr.com/ru/post/498114/ (Прим. науч. Ред.).

Вернуться

23

Перефразированный комментарий, который дал в 2015 году программист и пионер в области машинного обучения Эндрю Ын. См. Tech Events, ‘GPU Technology Conference 2015 day 3: What’s Next in Deep Learning’, YouTube , 20 Nov. 2015, https://www.youtube.com/watch?v=qP9TOX8T-kI.

Вернуться

24

Международный научный проект OpenWorm преследовал именно такую цель — смоделировать мозг червя. Ученые хотели создать искусственную сеть из 302 нейронов, как в мозге червя C. elegans . Для сравнения, у человека примерно 100 000 000 000 нейронов. См. сайт OpenWorm : http://openworm.org/.

Вернуться

25

Chris Brooke, “I was only following satnav orders” is no defence: driver who ended up teetering on cliff edge convicted of careless driving, Daily Mail , 16 Sept. 2009, http://dailymail.co.uk/news/article-1213891/Driver-ended-teetering-cliff-edge-guilty-blindly-following-sat-nav-directions.html#ixzz59vihbQ2n).

Вернуться

26

Ibid.

Вернуться

27

Robert Epstein and Ronald E. Robertson, The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections, Proceedings of the National Academy of Sciences , vol. 112, no. 33, 2015, pp. E4512–21, http://pnas.org/content/112/33/E4512.

Вернуться

28

Epstein and Robertson, The search engine manipulation effect (SEME).

Вернуться

29

Linda J. Skitka, Kathleen Mosier and Mark D. Burdick, Accountability and automation bias, International Journal of Human — Computer Studies , vol. 52, 2000, pp. 701–717, http://lskitka.people.uic.edu/IJHCS2000.pdf.

Вернуться

30

KW v. Armstrong, US District Court, D. Idaho, 2 May 2012, https://scholar.google.co.uk/scholar_case?case=17062168494596747089&hl=en&as_sdt=2006.

Вернуться

31

Jay Stanley, Pitfalls of Artificial Intelligence Decision making Highlighted in Idaho ACLU Case, American Civil Liberties Union , 2 June 2017, https://aclu.org/blog/privacy-technology/pitfalls-artificial-intelligence-decisionmaking-highlighted-idaho-aclu-case.

Вернуться

32

K. W. v. Armstrong, Leagle.com, 24 March 2014, https://www.leagle.com/decision/infdco20140326c20.

Вернуться

33

Ibid.

Вернуться

34

Stanley, Pitfalls of Artificial Intelligence Decision-making .

Вернуться

35

ACLU, Ruling mandates important protections for due process rights of Idahoans with developmental disabilities , 30 March 2016, https://aclu.org/news/federal-court-rules-against-idaho-department-health-and-welfare-medicaid-class-action.

Вернуться

36

Stanley, Pitfalls of Artificial Intelligence Decision-making .

Вернуться

37

Ibid.

Вернуться

38

Ibid.

Вернуться

39

Ibid.

Вернуться

40

Ibid.

Вернуться

41

Kristine Phillips, The former Soviet officer who trusted his gut — and averted a global nuclear catastrophe , Washington Post , 18 Sept. 2017, https://washing-tonpost.com/news/retropolis/wp/2017/09/18/the-former-soviet-officer-who-trusted-his-gut-and-averted-a-global-nuclear-catastrophe/?utm_term=.6546e0f06cce.

Вернуться

42

Интервью Станислава Петрова Павлу Аксенову. “СССР — США: 23 минуты на грани Апокалипсиса”, BBC, https://bbc.com/russian/multimedia/2013/09/130925_v_petrov_anno.

Вернуться

43

Там же.

Вернуться

44

Stephen Flanagan, Re: Accident at Smiler Rollercoaster, Alton Towers, 2 June 2015: Expert’s Report , prepared at the request of the Health and Safety Executive, Oct. 2015, http://chiark.greenend.org.uk/~ijackson/2016/Expert%20witness%20report%20from%20Steven%20Flanagan.pdf.

Вернуться

45

Последовательное игнорирование предупреждений автоматической системы безопасности также явилось одной из причин аварии на Чернобыльской АЭС в 1986 г. (Прим. науч. ред.)

Вернуться

46

Paul E. Meehl, Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence (Minneapolis: University of Minnesota, 1996; first publ. 1954), http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.693.6031&rep=rep1&type=pdf.

Вернуться

47

William M. Grove, David H. Zald, Boyd S. Lebow, Beth E. Snitz and Chad Nelson, Clinical versus mechanical prediction: a meta-analysis, Psychological Assessment , vol. 12, no. 1, 2000, p. 19.

Вернуться

48

Любопытный факт: в конце 1950-х и в 1960-х годах цикл исследований в области “диагностики” (словечко не мое — так выразились авторы) гомосексуальности послужил иллюстрацией к редкому исключению из правила превосходства алгоритмов. В данном случае люди дали гораздо более точные оценки и обошли машину по всем показателям — по-видимому, то, что касается сугубо человеческой природы, невозможно адекватно описать с помощью цифр и математического аппарата.