Бен Орлин - Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность

Я предположил, что восьмилетние будут восприимчивы к ситуации: отдадут игрушку тем, кому так ужасно не повезло игрушку потерять, но не тем, кого постигла несущественная неудача (например, необходимость играть с нелюбимым одноклассником), в то время как пятилетние будут невосприимчивы к такого рода случаям. p -значение этого эксперимента составило 0,15.

Горячо рекомендую: http://www.tylervigen.com/.

Leslie John, George Loewenstein, and Drazen Prelec, «Measuring the Prevalence of Questionable Research Practices with Incentives for Truth Telling», Psychological Science 23, no. 5 (2012): 524–32, http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.727.5139&rep=rep1&type=pdf.

Это не вполне несправедливое сравнение, поскольку даже взломщик p -значения не будет задним числом останавливать исследование при минимальном p -значении. Идея пересчета данных после каждого респондента тоже сомнительна.

Вначале я подумал, что это звучит глупо. Что-то вроде: «Наши американские горки предназначены для людей ростом от 120 см, но дети придумали уловку: один встает другому на плечи и надевает длинный плащ. Поэтому давайте поднимем планку до 150 см». Затем я прочитал актуальную статью: Daniel J. Benjamin et al., «Redefine Statistical Significance», PsyArXiv, July 22, 2017, https://psyarxiv.com/mky9j/. Она меня переубедила. Похоже на то, что снижение планки с 0,05 до 0,005 будет лучше соответствовать интуитивным байесовским порогам, и для снижения количества ложноположительных результатов требуется лишь умеренное увеличение размеров выборки. Кроме того, следует подчеркнуть, что подходы байесовцев хитроумнее и существенно сложнее, чем я изобразил в этой главе. Вопрос, каким должно быть предварительное суждение, можно обойти, проведя анализ со всем многообразием первоначальных оценок и построив графики общих тенденций. Как бы то ни было, Санджай Шривастава убедил меня, что на самом деле переход к байесианизму не устранит кризиса отсутствия повторяемости, однако может быть полезен по другим причинам.

Open Science Collaboration, «Estimating the Reproducibility of Psychological Science», Science 349, no. 6251 (2015): http://science.sciencemag.org/content/349/6251/aac4716.

Jay Mathews, «Jaime Escalante Didn’t Just Stand and Deliver. He Changed U. S. Schools Forever», Washington Post , April 4, 2010, http://www.washingtonpost.com/wp-dyn/content/article/2010/04/02/AR2010040201518.html.

«Mail Call», Newsweek , June 15, 2003, http://www.newsweek.com/mail-call-137691.

Jay Mathews, «Behind the Rankings: How We Build the List», Newsweek , June 7, 2009, http://www.newsweek.com/behind-rankings-how-we-build-list-80725.

Tim Harford, Messy: How to Be Creative and Resilient in a Tidy-Minded World (London: Little, Brown, 2016), 171–73.

Это не выдумка: Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality (New York: Broadway Books, 2016), 135–40.

Jay Mathews, «The Challenge Index: Why We Rank America’s High Schools», Washington Post , May 18, 2008, http://www.washingtonpost.com/wp-dyn/content/article/2008/05/15/AR2008051502741.html.

Я смотрю американский футбол с семи лет и никогда не понимал рейтинг пасующего. Сейчас я решил, что настало время попробовать. Потребовалось несколько минут, чтобы распутать формулу, но, когда мне это удалось, я увидел, что в ней нет ничего сложного. Во-первых, она начисляет и отнимает очки (1 за ярд, 20 за завершенный пас, 80 за тачдаун и –100 за перехват). Во-вторых, она позволяет вычислить среднее количество очков за попытку паса. И в-третьих, пышным цветом расцветают бессмысленные операции сложения и умножения. Или в виде уравнения:

Мы могли бы закончить на этом… однако такая формула может дать отрицательные значения (если перехватов было слишком много), и результат не имеет верхнего предела (в то время как фактический максимум равен 158⅓, и его добились больше 60 квотербеков). Дабы исправить этот изъян, необходимо ограничить число возможных очков по каждой переменной, и тогда получится формула из основного текста книги.

Почему рейтинг пасующего кажется таким запутанным? Как и с большинством жутких формул, роль играют два фактора: (1) она сбивает с толку, потому что в нее входят четыре переменных со странными коэффициентами, к тому же результат каждого умножения ограничен сверху и/или снизу; и (2) кроме того, большинство источников объясняет ее бесполезным, абсурдным и туманным образом. Загляните в «Википедию», чтобы понять, что я имею в виду.

Mathews, «Behind the Rankings».

J. P. Gollub et al., eds., «Uses, Misuses, and Unintended Consequences of AP and IB», Learning and Understanding: Improving Advanced Study of Mathematics and Science in U. S. High Schools , National Research Council (Washington, DC: National Academy Press, 2002), 187, https://www.nap.edu/read/10129/chapter/12#187.

Согласно этому опросу, больше 20 % учителей в стране, преподающих в рамках программы AP, полагали, что «Индекс вызовов» оказал «некое влияние» на количество предлагаемых факультативов AP. В городах и пригородах доля учителей, придерживающихся этого мнения, ближе к трети. Между тем всего 17 % считают, что этот рейтинг — «хорошая идея». Steve Farkas and Ann Duffett, «Growing Pains in the Advanced Placement Program: Do Tough TradeOffs Lie Ahead?» Thomas B. Fordham Institute (2009), http://www.edexcellencemedia.net/publications/2009/200904_growingpainsintheadvancedplacementprogram/AP_Report.pdf.

Valerie Strauss, «Challenging Jay’s Challenge Index», Washington Post , February 1, 2010, http://voices.washingtonpost.com/answer-sheet/high-school/challenged-by-jays-challenge-i.html.

В 2006 году, согласно «Индексу вызовов», Истсайдская государственная школа в Гейнсвилле (штат Флорида) заняла шестую строчку в рейтинге по всему США. Однако лишь 13 % из почти 600 учеников-афроамериканцев в этой школе обладали навыками чтения на необходимом уровне. В школах, которые заняли 21-е и 38-е место, наблюдались схожие несоответствия. Критики решили: это свидетельствует о том, что неподготовленных студентов загоняют на курсы уровня колледжа, чтобы школу заприметил Newsweek . Источник: Michael Winerip, «Odd Math for ‘Best High Schools’ List», New York Times, May 17, 2006, http://www.nytimes.com/2006/05/17/education/17education.html.

John Tierney, «Why High-School Rankings Are Meaningless — and Harmful», Atlantic , May 28, 2013, https://www.theatlantic.com/national/archive/2013/05/why-high-school-rankings-are-meaningless-and-harmful/276122/.

Mathews, «Behind the Rankings».

Jay Mathews, «I Goofed. But as Usual, a Smart Educator Saved Me», Washington Post , June 25, 2017, https://www.washingtonpost.com/local/education/i-goofed-but-as-usual-a-smart-educator-saved-me/2017/06/25/7c6a05d6-582e-11e7-a204-ad706461fa4f_story.html.

Winerip, «Odd Math for ‘Best High Schools’ List».

Jay Mathews, «America’s Most Challenging High Schools: A 30-Year Project That Keeps Growing», Washington Post , May 3, 2017, https://www.washingtonpost.com/local/education/jays-americas-most-challenging-high-schools-main-column/2017/05/03/eebf0288-2617-11e7-a1b3-faff0034e2de_story.html.

Не все ученые согласны с этим. Книга «AP: критическое рассмотрение программы Advanced Placement», вышедшая в 2010 году, излагает общую точку зрения исследователей: рост числа сдающих AP означает уменьшение эффективности этой программы. Один из редакторов Филипп Сэдлер сказал: «Факультативы AP не дают волшебных преимуществ школьникам, которые, возможно, извлекли бы больше пользы, если бы проходили курс обучения не ради увеличения символического капитала колледжа». Источник: Rebecca R. Hersher, «The Problematic Growth of AP Testing», Harvard Gazette, September 3, 2010, https://news.harvard.edu/gazette/story/2010/09/philip-sadler/.