Дэниел Клемент Деннет - Разум: от начала до конца. Новый взгляд на эволюцию сознания от ведущего мыслителя современности

Мы должны надеяться, что новые когнитивные протезы будут по-прежнему разрабатываться в качестве паразитов, инструментов, но не сотрудников. Их единственной «врожденной» целью, заложенной в них создателями, должен стать конструктивный и прозрачный ответ на запросы пользователя. Причина для беспокойства может появиться в машинах глубинного обучения, которые способны постепенно научиться угадывать, в чем мы, их пользователи, возможно, нуждаемся, и овладеть способностью скрывать от нас «воображение». Мы уже сталкиваемся с неудобствами, доставляемыми автоматической «коррекцией» того, что наш дивайс принимает за «орфографические ошибки», и многие из нас даже отключают порой эти функции, поскольку неверное толкование наших намерений встречается все еще довольно часто. Но мы имеем дело с пока всего лишь верхним слоем полупонимания.

Существуют и другие источники сложностей в области последних разработок, которые требуют комментариев. Google разработал программу, которая улучшила поисковую систему, автоматически выясняя, что пользователь действительно хотел узнать, вводя символы в строку поиска (http:// googleblog.blogspot.com/2010/01/helping-computers-understandlanguage.html). Это весьма полезная вещь во многих ситуациях, но не во всех. Как отметил Дуглас Хофстадтер в открытом письме бывшему студенту, работавшему в то время в Google над этим проектом:

Меня беспокоит и глубоко расстраивает тот факт, что Google покушается на вещи, от которых я завишу в повседневной жизни, постоянно.

Когда я ставлю что-то в кавычки в строке поиска Google, я всегда предполагаю, что это будет воспринято буквально, и тому есть серьезная причина. Например (только один пример из многих), как внимательный писатель, я постоянно стараюсь найти лучший способ выразить что-либо на том или ином языке, и поэтому я очень часто сравниваю два предполагаемых выражения друг с другом, чтобы понять, какое из них встречается чаще. Это очень важно для меня, так я узнаю нечто новое о стилистике письма. Если Google не будет принимать мои выражения такими, какие они есть, но позволит себе вставлять другие слова, чтобы заменить то, что я написал, я почувствую себя полностью обманутым и введенным в заблуждение и не смогу понять реальное значение той или иной фразы. Это очень огорчительно для меня.

Я хочу, чтобы машины обладали надежной механикой, а не чем-то ускользающим от выполнения моего конкретного задания. Предполагаемый в машине «интеллект» может быть полезным временами, но может и чудовищно мешать и даже угрожать, и для меня лично искусственный интеллект (я использую слово «искусственный» в смысле «фальшивый», «не настоящий»), который в наши дни запихивают буквально во все дивайсы, стал ужасной помехой.

Поэтому я не просто не в восторге от того, что творит ваша группа, я реально обеспокоен этим. Это еще одна попытка сделать механические устройства ненадежными. Вы просите Google сделать Х, предполагая, что он именно Х и сделает, а он на самом деле делает Y, поскольку «думает», что это то, что вам нужно на самом деле. Меня эта попытка угадать мои мысли ужасно раздражает и даже пугает, поскольку она никогда не бывает успешной и даже близкой к правильному смыслу. Я хочу, чтобы машины оставались надежными, механическими, чтобы я точно знал, с чем имею дело. Я не хочу, чтобы они старались «обхитрить» меня, поскольку все, чего они добьются, это введут меня в заблуждение и запутают меня. Это совершенно элементарно, но почему-то полностью игнорируется Google’ом (или, по крайней мере, вашей командой). Я думаю, что это огромная ошибка (в частной переписке, 2010, с Abhijit Mahabal).

По крайней мере, подобные системы должны бы (1) заранее предупреждать, когда они стараются изображать «телепатов» вместо того, чтобы оставаться «механическими» устройствами и (2) предлагать пользователям возможность выключить нежелательное «понимание» точно так же, как вы можете отключить контроль орфографии. Закон о «строгой ответственности» мог бы обеспечить необходимый стимул для проектировщиков: всякого, кто использует ИИ систему для принятия решений, способных повлиять на жизнь и благополучие людей, следует обязать пройти обучение и предупреждать о серьезном уровне ответственности по аналогии с пользователями любого другого опасного и мощного оборудования; поэтому в интересах разработчиков быть предельно скрупулезными, проявлять здоровый скептицизм и регулярно проверять результаты своих действий, как если бы они работали для себя. Косвенным путем это вдохновит создателей новых систем делать их прозрачными и максимально скромными, поскольку пользователи будут иметь право привлечь их к ответственности за халатность или за что-то и похуже.

Можно также внедрять постепенно политику, которая могла бы помочь удержать под контролем наши когнитивные обязанности. Можно придумывать технологию, «делающую нас сильнее»: для этого есть два пути – путь бульдозера и путь «Наутилуса» [228] «Наутилус» – вымышленный подводный корабль капитана Немо из фантастической трилогии Жюля Верна: «Дети капитана Гранта», «Двадцать тысяч лье под водой» и «Таинственный остров». Подводный корабль обладал невероятными даже для сегодняшнего дня размерами, уровнем комфорта и научной оснащенности. Он стал настолько знаменитым, что в его честь называют электронные приборы, компьютеры, космические аппараты также рестораны, отели, рок-группы и спортивные клубы. . Первый – это путь из серии «сила есть, ума не надо», а второй учит создавать уникальную личную защиту. Большая часть программного обеспечения, которая повысила наши когнитивные способности, относилась к первому типу, от телескопов до микроскопов для секвенирования генома и новых программ глубинного обучения. А могут ли существовать программы «а ля Наутилус» для повышения способностей индивидуальных пользователей? На самом деле еще как могут, еще в 1985 году мы с программистами Стивом Барни и Стивом Коэном создали в Университете Тафтса студию программного обеспечения для учебных программ, главной задачей которой была разработка «протезов для воображения», программ, которые развивали воображение студентов, обнаруживая педагогические недоработки и узкие места, стимулируя учащихся создавать гибкие, динамичные, точные модели сложных явлений, таких как популяционная генетика, стратиграфия (интерпретация геологического строения различных слоев), статистика и информатика. Нашей целью было создание систем, изучив которые студент мог бы улучшить свое понимание и способности к интенсивным самостоятельным исследованиям. Возможно, что сегодня приходит время более масштабных проектов, которые могли бы помочь людям научиться думать креативно и точно о тех сложных явлениях, которые буквально окружают их, сделать людей независимыми, самостоятельно мыслящими, понимающими пользователями эпистемологических протезов, готовыми к развитию, а вовсе не пассивными некритичными потребителями любых технологических продуктов, что попадаются им под руку.