Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

См.: [Armstrong, Sotala 2012].

См.: [Müller, Bostrom <���В печати>].

См.: [Baum et al. 2011; Sandberg, Bostrom 2011].

См.: [Nilsson 2009].

Безусловно, и в этом случае сохранялось условие, что научная деятельность будет продолжаться «без серьезных сбоев», а в мире не случится никаких цивилизационных катастроф. В интервью Нильсон использовал следующее определение ИИЧУ: «ИИ, способный выполнять приблизительно 80 % работы не хуже человека или даже лучше» [Kruel 2012].

В таблице показаны результаты четырех отдельных опросов, в последней строке даны средние показатели. Первые два опроса проводились среди участников нескольких научных конференций. PT-AI – конференция «Философия и теория ИИ» (Салоники, 2011); опрос состоялся в ноябре 2012 года; всего участников – 88 человек, количество респондентов – 43 человека. AGI – конференции «Универсальный искусственный интеллект» и «Универсальный искусственный интеллект – степень воздействия и угрозы» (Оксфорд, декабрь 2012); всего участников – 111 человек, количество респондентов – 72 человека. EETN – съезд Греческой ассоциации искусственного интеллекта (апрель, 2013); всего участников – 250 человек, количество респондентов – 26 человек. TOP100 – опрос ведущих специалистов по искусственному интеллекту в соответствии с индексом цитирования (май 2013); всего в списке – 100 человек, количество респондентов – 29 человек.

См.: [Kruel 2011] – в работе собраны интервью с 28 специалистами по ИИ и в смежных областях.

На диаграмме показаны перенормированные медианные оценки. Средние значения несколько отличаются. Например, средние значения для варианта «чрезвычайно негативное» были равны 7,6 % (в Tоп-100) и 17,2 % (в объединенной оценке по всем опросам).

В литературе встречается огромное количество подтверждений ненадежности прогнозов экспертов во многих областях, поэтому есть все основания полагать, что подобное положение истинно и для сферы изучения искусственного интеллекта. В частности, делающие прогнозы люди, как правило, слишком уверенные в своей правоте, считают себя более точными предсказателями, чем это есть на самом деле, и поэтому присваивают слишком низкую вероятность возможности, что их любимая гипотеза может оказаться ложной [Tetlock 2005]. (О других документально зафиксированных заблуждениях см., например: [Gilovich et al. 2002].) Однако неопределенность – неотъемлемая черта человеческой жизни, и многие наши действия неизбежно основаны на вероятностных прогнозах, то есть ожиданиях того, какие из возможных событий произойдут скорее всего. Отказ от более четко сформулированных вероятностных прогнозов не устранит эпистемологическую проблему, а лишь задвинет ее в тень [Bostrom 2007]. Вместо этого нашей реакцией на чрезмерную самонадеянность должны стать как расширение доверительных интервалов, или интервалов правдоподобия, так и борьба с собственными предубеждениями путем рассмотрения проблемы с различных точек зрения и тренировки интеллектуальной честности. В долгосрочной перспективе можно также работать над созданием методик, подходов к обучению и институтов, которые помогут нам достичь лучших проверочных образцов. См. также: [Armstrong, Sotala 2012].

Во-первых, этому определению сверхразума наиболее близка формулировка, опубликованная в работах: [Bostrom 2003 c; Bostrom 2006 a]; во-вторых, оно вполне отвечает формализованному условию Шейна Легга: «Интеллект оценивается способностью агента добиваться своей цели в широком диапазоне условий» [Legg 2008]; в-третьих, оно очень напоминает описание, сделанное Ирвингом Гудом, которое приведено нами в главе 1 настоящего издания: «Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека» [Good 1965, p. 33].

По той же причине не буду выстраивать никаких предположений, сможет ли сверхразумная машина обрести «истинную интенциональность», то есть иметь самосознание и действовать преднамеренно (при всем уважении к Джону Сёрлу, она, похоже, и на это способна), поскольку данный вопрос не имеет отношения к предмету нашей книги. Также не собираюсь занимать ничью сторону – ни адептов интернализма, ни последователей экстернализма – в яростно ведущихся среди философов дискуссиях на такие темы, как содержание сознания и расширение сознания, см.: [Clark, Chalmers 1998].

См.: [Turing 1950, p. 456].

См.: [Turing 1950, p. 456].

См.: [Chalmers 2010; Moravec 1976; Moravec 1988; Moravec 1998; Moravec 1999].

См.: [Moravec 1976]; аналогичную аргументацию приводит и Чалмерс, см.: [Chalmers 2010].

Более подробно эта тема раскрывается в статье: [Shulman, Bostrom 2012].

В своей диссертации Шейн Легг предлагает этот подход в качестве аргумента, что люди на воспроизведение эволюционного пути потратят гораздо меньше времени и меньше вычислительных ресурсов (при этом сам автор отмечает, что ресурсы, потребовавшиеся в ходе биологической эволюции, нам недоступны), см.: [Legg 2008]. Эрик Баум утверждает, что часть работы, связанной с созданием ИИ, проделана намного раньше без вмешательства человека, например: само строение генома уже содержит важную информацию об эволюционных алгоритмах, см.: [Baum 2004].

См.: [Whitman et al. 1998; Sabrosky 1952].

См.: [Schultz 2000].

См.: [Menzel, Giurfa 2001; Truman et al. 1993].

См.: [Sandberg, Bostrom 2008].

Обсуждение этой точки зрения, а также анализ функций, определяющих приспособленность организма лишь на основании критерия его умственных способностей, см. в диссертации Легга [Legg 2008].

Более системное и подробное описание способов, с помощью которых специалисты смогут превзойти имеющиеся на сегодня результаты эволюционного отбора, см. в статье «Мудрость природы» [Bostrom, Sandberg 2009 b].

Обсуждая целевую функцию, мы говорим лишь о вычислительных ресурсах, необходимых для моделирования нервной системы живых существ, и не учитываем затраты на моделирование их тел или их виртуальной окружающей среды. Вполне возможно, что расчет целевой функции для тестирования каждого организма потребует гораздо меньше операций, чем нужно для симулирования всех нейронных вычислений, аналогичных нейронным процессам, происходящим в мозгу существа за срок его жизни. Сегодня программы ИИ часто разрабатывают для действий в совершенно абстрактной среде (программы для доказательства теорем – в символических математических мирах; программы-агенты – в турнирных мирах простых игр).