Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Эта статья содержит интересные оценки вычислительной мощности человеческого мозга: Hans Moravec. When will computer hardware match the human brain. Journal of Evolution and Technology . 1998. Vol. 1.

Первая механическая птица: https://www.ted.com/talks/a_robot_that_flies_like_a_bird

Цит. по: Ray Kurzweil, The Singularity is Near , Viking Press, 2005.

См.: сценарий Бена Гёрцля: https://wiki.lesswrong.com/wiki/Nanny_AI

Статья об отношениях людей и машин (можно ли считать машины нашими рабами): http://tinyurl.com/aislaves

Мысленные преступления обсуждаются Бострёмом в его книге Superintelligence и, с несколько большим количеством технических деталей, в статье: Nick Bostrom, Allan Dafoe & Carrick Flynn (2016) Policy Desiderata in the Development Of Machine Superintelligence, http://www.nickbostrom.com/papers/aipolicy.pdf

Воспоминания бывшего подполковника восточногерманских спецслужб см.: http://www.mcclatchydc.com/news/nation-world/national/article24750439.html

Наводящие на размышления суждения о том, что может подталкивать людей к совершению поступков с ни для кого не желательными последствиями, можно найти в: Scott Alexander, Meditations on Molloch ( http://slatestarcodex.com/2014/07/30/meditations-on-moloch)

Интерактивная хроника настораживающих событий, которые доказывают, что ядерная война может начаться случайно: http://tinyurl.com/nukeoops

О компенсационных выплатах жертвам ядерных испытаний в США см.: https://www.justice.gov/sites/default/files/civil/legacy/2014/10/20/Tre_SysClaimsToDateSum.pdf

Доклад комиссии США об угрозе электромагнитного импульса, возникающего в результате ядерного взрыва: http://www.empcommission.org/docs/A2473-EMP_Commission-7MB.pdf

Независимые исследования американских и советских ученых, предупреждавших Рейгана и Горбачева об опасности ядерной зимы:

– Crutzen, P. J. & Birks, J. W. (1982) The atmosphere after a nuclear war: Twilight at noon, Ambio ,11;

– Turco, R. P., Toon, O. B., Ackerman, T. P., Pollack, J. B. & Sagan, C. (1983) Nuclear winter: Global consequences of multiple nuclear explosions, Science , 222, 1283–1292;

– Aleksandrov, V. V. & Stenchikov, G. L. (1983) On the modeling of the climatic consequences of the nuclear war, Proceeding on Applied Mathematics , 21: Computing Centre of the USSR Academy of Sciences, Moscow (см. рус. вариант статьи: Александров В. В., Стенчиков Г. Л. Об одном вычислительном эксперименте, моделирующем климатические последствия ядерной войны // Ж. вычисл. матем. и матем. физ . 2014. 24:1, 140–144);

– Robock, A. (1984) Snow and ice feedbacks prolong effects of nuclearwinter, Nature , 310, 667–670.

Расчеты климатических изменений после ядерной войны см. в: Robock A., Oman, L. & Stenchikov, L. (2007). Nuclear winter revisited with a modern climate model and current nuclear arsenals: Still catastrophic consequences, J. Geophys. Res ., 12, D13107.

Подборка ресурсов, посвященных сфере Дайсона, подготовленная Андерсом Зандбергом: http://tinyurl.com/dysonsph

Ключевая статья Фримена Дайсона о сферах, носящих его имя: Freeman Dyson (1959) Search for Artificial Stellar Sources of Infrared Radiation, Science , 131: 1667–1668.

Крейн и Вестморланд объясняют принцип работы двигателя на черной дыре в: http://arxiv.org/pdf/0908.1803.pdf

Иконографика от CERN об элементарных частицах: http://tinyurl.com/cernparticles

В этом ролике показан безъядерный прототип, приводимый в движение взрывами бомб и разработанный в рамках проекта “Орион”. Он иллюстрирует идею ядерных взрывов в качестве ракетного двигателя: https://www.youtube.com/watch?v=E3Lxx2VAYi8

Учебное введение в принцип действия лазерного паруса: http://www.lunarsail.com/LightSail/rit-1.pdf

Джей Олсон анализирует возможности космической экспансии цивилизаций: http://arxiv.org/abs/1411.4359

Первый подробный анализ нашего далекого будущего: Dyson, Freeman J. (1979) Time without end: Physics and biology in an open universe, Reviews of Modern Physics, 51.3, 447, http://tinyurl.com/dysonfuture(см. рус. пер. в: Далекое будущее Вселенной. Эсхатология в космической перспективе / под ред. Дж. Эллис. М.: ББИ, 2012).

Упомянутая выше формула Сета Ллойда говорит нам, что выполнение вычислительной операции в течение времени τ требует расхода энергии в E ≥ h/4τ где h – постоянная Планка. Если вы хотите выполнить одну за другой N операций, то τ = T / N , откуда следует, что, расходуя энергию Е за время Т, можно выполнить N ≤ 2√ ET / h операций. Таким образом, и время, и энергия – это ресурсы, которых хотелось бы иметь побольше. Если вы распределите свою энергию Е между n параллельными вычислениями, то они будут осуществляться медленнее и эффективность вырастет. Ник Бострём оценивает количество операций, требуемых на симуляцию 100 лет человеческой жизни, в 10 27.

Если вы хотите получить веский аргумент, почему возникновение жизни требует довольно редкой флуктуации, из-за чего наши ближайшие соседи оказываются за 10 1000метров от нас, я советую посмотреть видео физика и астробиолога из Принстона Эдвина Тёрнера: https://www.youtube.com/watch?v=Bt6n6Tu1beg

Эссе Мартина Риса о поиске внеземных цивилизаций см.: https://www.edge.org/annual-question/2016/response/26665

Популярное изложение статьи Джереми Ингланда о диссипативно направленной адаптации см. в: https://www.scientificamerican.com/article/a-new-physics-theory-of-life/

Основные идеи взяты из книги: Ilya Prigogine & Isabelle Stengers (1984) Order Out of Chaos: Man’s New Dialogue with Nature , Bantam (см. рус. пер.: Пригожин И., Стенгерс И. Порядок из хаоса: Новый диалог с природой / пер. с англ. Ю. А. Данилова. М.: Прогресс, 1986. – Прим. перев. ).

О чувствах и их физиологических причинах см.:

– William James (1890) Principles of Psychology , Henry Holt & Co.;

– Robert Ornstein (1992) Evolution of Consciousness: The Origins of the Way We Think , Simon & Schuster;

– António Damásio (2005) Descartes’ Error: Emotion, Reason, and the Human Brain , Penguin;

– António Damásio (2012) Self Comes to Mind: Constructing the Conscious Brain , Vintage.

Элиезер Юдковски обсуждал возможность приведения в соответствие с целями дружественного искусственного интеллекта не просто наших целей, а наших целей (“волений”), гладко экстраполированных в будущее (coherent extrapolated volition, CEV). Образно говоря, это то, чего хотела бы идеализированная версия нас самих, если бы мы знали больше, думали быстрее и были бы в большей степени людьми, чем сами бы хотели. Юдковски начал критиковать идею CEV вскоре после предания ее гласности в 2004 году: ( http://intelligence.org/files/CEV.pdf) и потому, что ее сложно применить, и потому, что неясны возможности преобразования ее во что-нибудь хорошо определенное.

В подходе обратного обучения с подкреплением ключевая идея состоит в том, что искусственный интеллект стремится к максимальному удовлетворению не своих целей, а целей его владельца-человека. Поэтому он должен проявлять осторожность в тех случаях, когда непонятно, чего в точности хочет владелец, и надо поначалу с этим разобраться. Тогда проблемы с выключением не возникает: оно указывает на возникшее непонимание истинных намерений владельца.