А. Новиков - Как работать над диссертацией

Необходимо сделать еще одно предупреждение об использовании дихотомической шкалы (т.е. шкалы, имеющей всего 2 значения: да-нет, 0 и т.д.), а также любых дискретных шкал с ограниченным числом градаций (трихотомических и т.д.). Их можно успешно использовать для установления различий в результатах каких-либо педагогических воздействий в диагностических, констатирующих, «срезовых» целях. Но если Вы исследуете динамику развития какого-то педагогического процесса, например, процесса становления у учащихся того или иного навыка, то такие шкалы в этом случае принципиально не годятся, так как они существенно искажают динамику процесса. К примеру, на так называемых кривых обучения – графиках, показывающих изменение того или иного параметра в зависимости от времени обучения, появляются своеобразные ступени, «этапы», которых нет в действительности, при использовании шкалы отношений, выраженной в мерах физических величин (время и т.п.) [12] [12] См., например: Новиков А.М. Процесс и методы формирования трудовых умений. – М.: Высшая школа, 1986. – 286 с. . По крайней мере, для изучения динамики развития каких-то педагогических процессов во времени необходимо использовать дискретные шкалы измерения с достаточно большим числом градаций.

О применении статистических методов обработки результатов исследования. В большинстве педагогических исследований, как правило, применение методов математической статистики бывает вызвано необходимостью установления достоверности различий между результатами обучения, каких-то воспитательных воздействий в контрольных и экспериментальных группах, классах и т.п. Причем нередко аспиранты, соискатели заимствуют друг у друга используемые статистические критерии достоверности различий, не ориентируясь, какой критерий можно и нужно использовать в том или ином случае В оправдание этому следует сказать, что в большинстве пособий по математической статистике соответствующие разделы написаны настолько нечетко и сложно, что разобраться в них непрофессиональному статистику довольно-таки трудно. Поэтому мы здесь приведем следующий «рецепт» с учетом данной выше информации о шкалах измерений:

1. Если использована шкала отношений или интервалов, если применяются точно и объективно измеряемые оценки, то для проверки статистической достоверности дифференциации (разности) двух средних показателей (среднее значение по одной и по другой группе) применяются t-критерий Стьюдента или F-критерий Фишера. При этом необходимо убедиться в том, что распределение близко к нормальному (распределению Гаусса). В этом можно убедиться, сопоставив значения среднего, моды и медианы. Если среднее, мода и медиана приблизительно совпадают, то распределение можно считать нормальным и можно применять t или F критерии.

2. Если при использовании шкалы отношений данные выборок распределены не по нормальному, а какому-либо иному закону распределения, или в тех случаях, когда нет уверенности в распределении данных по нормальному закону, применяется менее чувствительный Χметод χ 2хи-квадрат метод).

3. Если была использована шкала порядка, то, строго говоря, могут быть использованы только непараметрические критерии: критерий знаков, критерий Уилкоксона-Мана-Уитни, Колмогорова-Смирнова и другие. Но по сравнению с F, t критериями, методом χ 2эти критерии очень малочувствительны, для установления достоверности различий по ним необходимы большие объемы выборок.

Соответствующие формулы и таблицы для оценки достоверности различий достаточно просты. Они приводятся во всех пособиях по математической статистике. Там же, также достаточно просто сформулированы правила, формулы вычисления среднего, моды и медианы распределения, дисперсии, о нем говорилось выше. Более того, сейчас широко распространены компьютерные программы – «статистика» и др., которые выполняют эти вычисления автоматически – в них надо лишь подбавить имеющиеся экспериментальные данные. Обычно в педагогических исследованиях принимается достаточным 95% уровень достоверности различий.

О векторных («комплексных») оценках.Нередко встречаются случаи, когда какое-либо изучаемое явление, процесс характеризуется несколькими независимыми величинами – параметрами, показателями. В таких случаях часто возникает вопрос о возможности однозначной оценки этого явления, процесса или изучаемых их свойств одной величиной – «комплексной» оценкой или, в математическом смысле, некоторым вектором, составными компонентами которого будут входить все отдельные параметры. Так, во многих спортивных состязаниях победитель выявляется по сумме очков, баллов, набранных на отдельных этапах состязания или в отдельных играх. Или же другой пример из образовательной практики – когда категория учебного заведения для установления заработной платы его руководителей по Единой тарифной сетке устанавливается по сумме баллов, которые выставляются отдельно: по числу учащихся, числу учителей, наличию спортивных сооружений, мастерских и т.д.

На практике такие векторные оценки встречаются довольно часто и, очевидно, без них не обойтись, хотя способы их определения нередко и вызывают множество недоуменных вопросов. Но в любом случае такие векторные оценки, применяемые в повседневной жизни, являются либо результатом определенных общественных соглашений, которые признаются всеми участниками, либо установлены каким-либо нормативным актом определенного директивного органа – министерства, ведомства и т.д. и в силу этого также признаются всеми заинтересованными лицами.

Другое дело – применение таких «комплексных», векторных оценок в научном исследовании. Здесь сразу на первое место встает вопрос о научной, в том числе математической строгости применяемой оценки. В частности, не вызывает сомнений возможность использования такой векторной оценки, как суммарные затраты времени на выполнение учащимися отдельных заданий, или суммарное количество ошибок, допущенных учащимися при выполнении отдельных, относительно однородных заданий. Здесь суммируются однородные величины, заданные шкалами отношений. Но как только начинают суммироваться баллы, выставляемые разным учащимся или одному и тому же учащемуся за выполнение, допустим, разных заданий – исследование сразу выходит за рамки научной строгости. Как уже говорилось, операция суммы для шкалы рангов не определяется. Если 5 + 2 = 4 + 3, то «5» и «2» балла – это не одно и то же, что «4» и «3» балла!

Между тем суммирование баллов довольно часто встречается в диссертациях по педагогике. Так, в одной работе диссертант для оценки деятельности учителей использовал большое количество показателей, оцениваемых по пятибалльной шкале: