Ник Бостром - Искусственный интеллект

Необходимое пояснение: формулировка не обязательно предполагает отсутствие в постпереходный период прав собственности на искусственный сверхразум или алгоритмы и данные, из которых он состоит. Она нейтральна к тому, какие правовые или политические системы будут лучше с точки зрения организации транзакций в гипотетическом постчеловеческом обществе будущего. Что формулировка точно предполагает, так это то, что выбор такой системы в той мере, в какой он определяется типом создаваемого сверхразума, следует делать на базе указанного критерия; то есть система устройства постпереходного общества должна работать на благо всего человечества и служить общим этическим идеалам, а не интересам тех, кто оказался первым создателем сверхразума.

48.Очевидно, что принцип распределения сверхдоходов можно уточнить. Например, порог распределения может быть сформулирован в суммах на душу населения, или доля сверхдохода, которую может оставить у себя победитель, должна быть выше средней, чтобы сильнее мотивировать­ будущее производство (например, использовать принцип теории справедливости Ролза). Можно, в принципе, уйти от сумм в денежном выражении и описать задачу следующим образом: «влияние на будущее человечества», «степень того, насколько интересы каждой из сторон будут учитываться в функции полезности будущего синглтона» или что-то подобное.

Глава 15. Цейтнот

1.Некоторые исследования важны не потому, что приводят к открытиям, но по каким-то иным причинам, например, потому что развлекают, развивают, возвеличивают или вдохновляют тех, кто ими занят.

2.Я не имею в виду, что никто не должен заниматься чистой математикой или философией. Или что эти направления означают пустую трату времени по сравнению со всеми остальными областями науки или жизни в целом. Вероятно, очень хорошо, что некоторые люди могут посвятить себя интеллектуальной деятельности и следовать за своим научным любопытством, куда бы оно ни завело, независимо от любых соображений относительно полезности или возможных последствий этих занятий. Я имею в виду, что как минимум некоторые из этих лучших умов могли бы, поняв, что в обозримом будущем их когнитивная эффективность может совершенно обесцениться, пожелать переключить свое внимание на теоретические проблемы, скорость решения которых имеет для человечества некоторое значение.

3.Однако следует быть внимательными в случаях, когда неопределенность может быть полезна, — вспомните, например, модель риска, связанного с гонкой вооружений (врезка 13), где мы выяснили, что дополнительная стратегическая информация может быть вредна. Говоря в общем, нас должна беспокоить потенциальная опасность информации, см.: [Bostrom 2011 b]. Возникает соблазн сказать, что нам нужно больше анализировать потенциально опасную информацию. Вероятно, это правда, хотя в таком случае нас не может не беспокоить, что в результате такого анализа, в свою очередь, появится потенциально опасная информация.

4.См.: [Bostrom 2007].

5.Я благодарен Карлу Шульману за то, что он подчеркнул этот момент.

Библиография

Acemoglu 2003 — Acemoglu Daron . Labor- and Capital-Augmenting Technical Change // Journal of the European Economic Association, 2003, 1 (1), p. 1–37.

Albertson, Thomson 1976 — Albertson D. G., Thomson J. N . The Pharynx of Caenorhabditis Elegans // Philosophical Transactions of the Royal Society B: Biological Sciences, 1976, 275 (938), p. 299–325.

Allen 2008 — Allen Robert C . A Review of Gregory Clark’s «A Farewell to Alms: A Brief Economic History of the World» // Journal of Economic Literature, 2008, 46 (4), p. 946–973.

American Horse Council, 2005 — National Economic Impact of the US Horse Industry // American Horse Council, 2005 (Retrieved 2013, July 30; http://www.horsecouncil.org/national-economic-impact-us-horse-industry).

Andres et al. 2012 — Andres B., Koethe U., Kroeger T., Helmstaedter M., Briggman K. L., Denk W., Hamprecht F. A . 3D Segmentation of SBFSEM Images of Neuropil by a Graphical Model over Supervoxel Boundaries // Medical Image Analysis, 2012, 16 (4), p. 796–805.

Armstrong 2012 — Armstrong Alex . Computer Competes in Crossword Tournament // I Programmer, 2012, March 19.

Armstrong 2007 — Armstrong Stuart . Chaining God: A Qualitative Approach to AI, Trust and Moral Systems // Unpublished manuscript, 2007, October 20 (Retrieved 2012, December 31; http://www.new­european­century.org/­GodAI.pdf).

Armstrong 2010 — Armstrong Stuart . Utility Indifference. Technical Report 2010–1. Oxford: Future of Humanity Institute, University of Oxford, 2010.

Armstrong 2013 — Armstrong Stuart . General Purpose Intelligence: Arguing the Orthogonality Thesis // Analysis and Metaphysics, 2013, 12, p. 68–84.

Armstrong, Sandberg 2013 — Armstrong Stuart , Sandberg Anders . Eternity in Six Hours: Intergalactic Spreading of Intelligent Life and Sharpening the Fermi Paradox // Acta Astronautica, 2013, 89, p. 1–13.

Armstrong, Sotala 2012 — Armstrong Stuart , Sotala Kaj . How We’re Predicting AI — or Failing To // Beyond AI: Artificial Dreams / Eds. Jan Romportl, Pavel Ircing, Eva Zackova, Michal Polak, Radek Schuster. Pilsen: University of West Bohemia, 2012, p. 52–75 (Retrieved 2013, February 2).

Asimov 1942 — Asimov Isaac . Runaround // Astounding Science-Fiction, 1942, March, p. 94–103.

Asimov 1985 — Asimov Isaac . Robots and Empire. New York: Doubleday, 1985.

Aumann 1976 — Aumann Robert J. Agreeing to Disagree // Annals of Statistics, 1976, 4 (6), p. 1236–1239.

Averch 1985 — Averch Harvey Allen . A Strategic Analysis of Science and Technology Policy. Baltimore: Johns Hopkins University Press, 1985.

Azevedo et al. 2009 — Azevedo F. A. C., Carvalho L. R. B., Grinberg L. T., Farfel J. M., Ferretti R. E. L., Leite R. E. P., Jacob W., Lent R., Herculano-Houzel S . Equal Numbers of Neuronal and Nonneuronal Cells Make the Human Brain an Isometrically Scaled-up Primate Brain // Journal of Comparative Neurology, 2009, 513 (5), p. 532–541.

Baars 1997 — Baars Bernard J . In the Theater of Consciousness: The Workspace of the Mind. New York: Oxford University Press, 1997.

Baratta 2004 — Baratta Joseph Preston . The Politics of World Federation: United Nations, UN Reform, Atomic Control. Westport, CT: Praeger, 2004.

Barber 1991 — Barber E. J. W. Prehistoric Textiles: The Development of Cloth in the Neolithic and Bronze Ages with Special Reference to the Aegean. Princeton, NJ: Princeton University Press, 1991.

Bartels et al. 2008 — Bartels J., Andreasen D., Ehirim P., Mao H., Seibert S., Wright E. J., Kennedy P . Neurotrophic Electrode: Method of Assembly and Implantation into Human Motor Speech Cortex // Journal of Neuroscience Methods, 2008, 174 (2), p. 168–176.

Bartz et al. 2011 — Bartz Jennifer A., Zaki Jamil, Bolger Niall, Ochsner Kevin N . Social Effects of Oxytocin in Humans: Context and Person Matter // Trends in Cognitive Science, 2011, 15 (7), p. 301–309.

Basten et al. 2013 — Basten Stuart, Lutz Wolfgang, Scherbov Sergei . Very Long Range Global Population Scenarios to 2300 and the Implications of Sustained Low Fertility // Demographic Research, 2013, 28, p. 1145–11466.

Baum 2004 — Baum Eric B . What Is Thought? Bradford Books. Cambridge, MA: MIT Press, 2004.

Baum et al. 2011 — Baum Seth D., Goertzel Ben, Goertzel Ted G . How Long Until Human Level AI? Results from an Expert Assessment // Technological Forecasting and Social Change, 2011, 78 (1), p. 185–195.

Beal, Winston 2009 — Beal J., Winston P . Guest Editors’ Introduction: The New Frontier of Human-Level Artificial Intelligence // IEEE Intelligent Systems, 2009, 24 (4), p. 21–23.

Bell, Gemmel 2009 — Bell C. Gordon, Gemmell Jim . Total Recall: How the E-Memory Revolution Will Change Everything. New York: Dutton, 2009.

Benyamin et al. 2013 — Benyamin B., Pourcain B. St., Davis O. S., Davies G., Hansell M. K., Brion M.-J. A., Kirkpatrick R. M . Childhood Intelligence is Heritable, Highly Polygenic and Associated With FNBP1L // Molecular Psychiatry, 2013, January 23.

Berg, Rietz 2003 — Berg Joyce E., Rietz Thomas A . Prediction Markets as Decision Support Systems // Information Systems Frontiers, 2003, 5 (1), p. 79–93.

Berger et al. 2008 — Berger Theodore W., Chapin J. K., Gerhardt G. A., Soussou W. V., Taylor D. M., Tresco P. A . Brain-Computer Interfaces: An International Assessment of Research and Development Trends. Springer, 2008.

Berger et al. 2012 — Berger T. W., Song D., Chan R. H., Marmarelis V. Z., LaCoss J., Wills J., Hampson R. E., Deadwyler S. A., Granacki J. J. A Hippocampal Cognitive Prosthesis: Multi-Input, Multi-Output Nonlinear Modeling and VLSI Implementation // IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012, 20 (2), p. 198–211.

Berliner 1980 a — Berliner Hans J . Backgammon Computer-Program Beats World Champion // Artificial Intelligence, 1980, 14 (2), p. 205–220.