Элиезер Юдковски - Таинственные ответы на таинственные вопросы

Таким вот способом я всё же впихнул историю в уже существующую модель, хотя в глубине души ощущал, что объяснение немного натянуто…

Некоторое время спустя этот товарищ возвращается в чат и сообщает, что его друг целиком всё выдумал: от болей в груди до отказа врачей помочь. Очевидно, это был не самый честный его друг.

И лишь в эту секунду я осознал то, что должен был понять сразу же: слова неизвестного знакомого знакомого по IRC-каналу могут быть не так достоверны(English), как опубликованная в журнале статья. Увы, вера легче неверия; мы верим инстинктивно, но неверие требует сознательного усилия(English).

Но вместо того, чтобы заподозрить розыгрыш, я, сильно постаравшись, заставил свою модель реальности объяснить аномалию, которая никогда не происходила . И я знал , насколько постыдны подобные поступки. Я знал, что полезность модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может. Ничего не запрещающая гипотеза позволяет всё, тем самым терпя неудачу в попытке упорядочить ожидания будущего.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль.

Временами все мы слабы. Тогда я был способен быть сильнее, но, увы, совершил ошибку. У меня была вся информация, необходимая для правильного ответа, я даже заметил проблему — а затем я её проигнорировал. Замешательство было Подсказкой, а я выбросил свою Подсказку.

Ощущение натянутости заслуживает львиной доли внимания.

Замешательство — важная подсказка на пути к истине, часть твоей силы, силы рационалиста. Серьёзный дизайнерский недочёт человеческого мышления заключается в том, что это ощущение лишь тихо шуршит на самой границе восприятия, вместо того, чтобы под вой сирен вешать яркую неоновую надпись «ЛИБО ТВОЯ МОДЕЛЬ НЕВЕРНА, ЛИБО ЭТА ИСТОРИЯ ЛОЖНА».

Перевод:

BT

http://lesswrong.com/lw/if/your_strength_as_a_rationalist/