Элиезер Юдковски - Таинственные ответы на таинственные вопросы

Несмотря на то, что я не соглашаюсь с Деннетом касательно некоторых деталей и тонкостей, я всё равно считаю, что введённое им понятие вера в убеждение — ключ к понимаю Кредеруса. Однако, необходимо более широко трактовать понятие «убеждения», не ограничивать его вербальными утверждениями. «Убеждение» может быть невысказанным контроллером ожиданий. «Вера в убеждение» может быть невербальным направляющим когнитивного поведения. С точки зрения психологии, утверждение «Кредерус не убеждён в том, что в его гараже живёт дракон; но он убеждён в том, что полезно быть убеждённым в существовании дракона в гараже» в лучшем случае нереалистично. Но вполне допустимо сказать, что Кредерус рассчитывает на отсутствие дракона, и оправдывается, словно он убеждён в наличии дракона.

Человек может каждый день использовать заурядную мысленную картину своего гаража (без драконов), всегда правильно предсказывающую его ощущения после открытия двери, но ни разу в жизни не произнести про себя предложение «В моём гараже драконов нет». Это почти наверняка случалось и с тобой: открывая дверь гаража, или спальни, или чего-нибудь ещё, и ожидая не увидеть драконов, на сознательном уровне ты думаешь о чём угодно, но не о драконах.

И для того, чтобы человека передёргивало от мысли отказаться от убеждения о драконе — или чтобы его передёргивало от мысли изменить представление о себе как о верящем в дракона — совсем необязательно, чтобы он явно думал «Я хочу верить в дракона, живущем в моём гараже». Обязательно лишь передёргиваться от перспективы признаться себе в своей неправоте.

Для того, чтобы правильно готовить оправдания для будущих экспериментальных результатов, Кредерус должен, во-первых, хранить где-то в разуме правильную модель ситуации, контролирующую его ожидания, и, во-вторых, действовать и мыслить таким образом, чтобы защитить либо своё свободно плавающее убеждение о драконе, либо своё представление о себе, как о верящем в дракона.

Если Кредерус верил в убеждение о существовании дракона, и вдобавок был убеждён в существовании дракона, то проблема была бы уже не так грозна. Кредерус желал бы рисковать, если речь идёт об экспериментальных предсказаниях, и, возможно, даже согласился бы отказаться от убеждения о существовании дракона, если бы его предсказания бы не сбылись (хотя, если Кредерус был бы не до конца уверен в существовании дракона, то его вера в убеждение могло бы помешать этому признанию). Однако, когда кто-то заранее оправдывается, это обычно требует расхождения убеждения и веры в убеждение.

Перевод:

BT

http://lesswrong.com/lw/i4/belief_in_belief/

Байесианское дзюдо

Элиезер Юдковский

Вы можете получить массу удовольствия, общаясь с людьми, чьи ожидания будущего теряют связь с их же верой в убеждениях.

Как-то на одном званом обеде я пытался объяснить человеку, чем я зарабатываю на жизнь; и он сказал: «Я не верю в возможность искусственного интеллекта, ведь лишь Бог может создать душу.»

Я, должно быть, движимый божественным наитием, немедленно ответил:

— То есть, если я смогу создать искусственный интеллект, то это докажет ложность вашей религии?

— Что? — сказал он.

— Ну, если ваша религия предсказывает, что я неспособен создать искусственный интеллект, то факт создания мной искусственного интеллекта будет означать неправоту вашей религии. Либо ваша религия допускает возможность создания ИИ, либо его создание опровергнет вашу религию.

Повисла пауза — он осознал, что только что сделал свою гипотезу фальсифицируемой — и затем он ответил:

— Ну, я не имел ввиду, что вы не сможете создать интеллект. Я хотел сказать, что он не может испытывать эмоции таким же образом, что и мы.

— Итак, если я создам искусственный интеллект, в который не будет заложено ничего навроде заранее написанного сценария, и моё творение начнёт говорить о чём-то, похожем на нашу духовную жизнь, то тогда ваша религия неверна.

— Ну, гм, видимо нам придётся остаться при своих мнениях на этот счёт. «Согласиться не соглашаться» — в таких случаях говорят англичане.

— На самом деле, так нельзя. Есть теорема из области рациональности — теорема Ауманна о согласии — которая говорит о том, что два рационалиста не могут согласиться не соглашаться. Если два человека не соглашаются друг с другом, то хотя бы один из них должен быть в чем-то неправ.

Мы коротко прошлись по этой теме. И, наконец, он сказал:

— Ну, кажется, на самом деле я пытался сказать вот что: я считаю, что вы не можете создать что-то вечное.

— Ну, я тоже так считаю!— ответил я. — Я рад, что мы смогли прийти к консенсусу по этому вопросу, как и требует теорема Ауманна о согласии.

Я протянул свою руку и он пожал ее, а потом побрёл дальше.

Женщина, которая стояла рядом и слушала наш разговор, серьёзно посмотрев на меня, сказала: «Это было прекрасно».

— Большое спасибо, — ответил я.

Перевод:

BT

http://lesswrong.com/lw/i5/bayesian_judo/

Провозглашения и крики ободрения

Элиезер Юдковский

Однажды я посетил конференцию по теме «совместимы ли религия и наука?». Одна женщина-язычник с жаром рассказывала о своих представлениях о сотворении Земли: гигантская первичная корова была рождена в первичной бездне, а затем создала первичного бога при помощи слюны и языка; потомки первичного бога убили корову и сотворили Землю из её плоти, и так далее. История была длинной, подробной и более абсурдной, чем модель мира, в которой Земля покоится на спине огромной черепахи. И эта женщина явно разбиралась в науке достаточно, чтобы это понимать.

Я до сих пор не могу подобрать слов, чтобы описать, как именно говорила эта женщина. Она говорила… гордо? С самодовольством? Осознанно щеголяя собой?

Казалось, что женщина рассказывала этот миф о сотворении целую вечность (на самом деле, вероятно, прошло не более пяти минут). Странное нечто, гордость/удовлетворение/выставление себя напоказ, явно имело какое-то отношение к её знанию того, что эти убеждения были возмутительны с научной точки зрения. И она не презирала науку: она выступала за то, что наука и религия совместимы. Она даже рассказала о том, что, если взглянуть на землю, в которой жили викинги, то нетрудно понять, почему они верили в первичную бездну (этим объяснением она свела свои верования к чему-то заурядному!), но при этом всё равно настаивала на своей вере в этот миф, говоря об этом с исключительным удовлетворением.

Я не думаю, что понятие «вера в убеждение» можно растянуть настолько, чтобы покрыть это событие. Слишком странной была эта речь. Она не повторяла легенду с фанатичной верой кого-то, кому нужно подбодрять себя. Она не надеялась убедить в чём-то аудиторию, и ей не нужна была наша поддержка для того, чтобы чувствовать себя полноценной.