<<
>>

Нормативно-ориентированный и критериальноориентированный подходы в педагогических измерениях

 

Общие подходы к интерпретации результатов педагогических измерений. При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников.

Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы — выборки учащихся, выполнявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). Согласно другому подходу результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход).

Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими подходами к интерпретации результатов тестирования выделяют нормативно-ориентированные и критериально-ориентированные тесты.

Нормативно-ориентированный подход и нормы. Стандартизация тестов. Основная цель нормативно-ориентированного тестирования заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Для корректной интерпретации результатов тестирования балл каждого учащегося необходимо сравнивать с нормами выполнения теста.

Нормы — это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых — релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых учащихся [1; 22; 60]. К нормам обычно относят среднее значение тестовых баллов и показатель разброса (вариативности) вокруг среднего значения всех остальных баллов, полученных представительной выборкой тестируемых учащихся (методы подсчета среднего значения и показателей вариативности приведены в главе 9).

Имея нормы, можно установить положение каждого результата по отношению к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.

Процесс определения норм называется стандартизацией теста. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой — обязательный момент при определении норм теста.

Относительность норм и выборка стандартизации. Тестовых норм, пригодных для интерпретации результатов всех учащихся по любым тестам, не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью испытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент создания теста и подлежат систематическому обновлению и перепроверке.

К нормам предъявляют следующие требования: нормы должны быть дифференцированными. Например, тесты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего получатся, скорее всего, существенно различающиеся нормы; нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из современной ситуации в образовании; нормы должны быть репрезентативными, поэтому они всегда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной — для ЕГЭ, муниципальной — для аттестации школ, внутришкольной — для аттестации учащихся в школе).

«Норма» — относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стандартизации теста. Таким образом ^ при формировании выборки стандартизации необходимо учитывать две переменные — объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

Стратификация выборки. Для равномерного представления различных групп учащихся в популяции испытуемых используют специальный процесс — стратификацию. Стратификация — расслоение выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности учащихся [381. Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с переменной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где расположена школа, ее принадлежность к числу сельских или городских школ и т.д.

Наличие многих факторов стратификации, необходимость анализа пропорций генеральной совокупности испытуемых, проведение апробационного тестирования для определения норм делают работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нормами с помощью IRT, банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.

Информация, прилагаемая к стандартизированным тестам. К стандартизованному тесту необходимо приложить: нормы выполнения теста, которые определяются на выборке стандартизации; объем выборки стандартизации, основания для ее стратификации и временной период ее использования; необработанные результаты выполнения теста для выборки стандартизации.

Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.

Критериально-ориентированный подход в педагогических измерениях. При критериально-ориентированном подходе в педагогических измерениях результаты учащихся интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. При дихотомическом оценивании («1» или «О») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста.

В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полученный для каждого учащегося процент сравнивается со стандартами выполнения — критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста [1; 48; 60|.

При критериально-ориентированном подходе по результатам тестирования можно: выявить освоенные и не освоенные знания, умения и навыки и построить индивидуальную образовательную траекторию каждого учащегося; ранжировать тестируемых по проценту выполнения и построить рейтинговые шкалы;

- разбить испытуемых на две группы с помощью одного критериального балла или на несколько групп с помощью нескольких критериальных баалов, поставив, например, школьные отметки — «два», «три», «четыре», «пять».

Недостатки критериально-ориентированного подхода. Критериально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100%, в одном тесте. Аттестационные критериально-ориентиро- ванные тесты нередко получаются очень длинными — из 150 — 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при аттестации нередко применяют адаптивное тестирование, позволяющее за счет оптимизации трудности заданий значительно сократить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого критериально-ориентированные тесты нередко применяют для проверки одного-двух умений или навыков, а при охвате более разнородного содержания выбирают нормативно-ориентированные тесты.

Критериально-ориентированные тесты имеют к тому же довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения тестов.

В более сложных и менее структурированных областях знаний, связанных с решением задач творческого уровня, определить верхнггй предел зачастую невозможно.

Иногда при выполнении таких заданий школьник руководствуется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполнением задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте 11 ].

Различия в нормативно-ориентированном и критериально-ориентированном подходах. Нормативно-ориентированные и критериально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов тестирования, методам их обработки, критериям качества тестов и тестовых заданий, а главное, по интерпретации результатов испытуемых, выполнивших тест.

Содержание критериально-ориентированного теста должно быть достаточно полно. В него включают все то, что условно можно принять за 100%-ный объем, планируемый к усвоению. Содержание нормативно-ориентированного теста фрагментарно, в него включают только те разделы, которых достаточно для дифференциации учащихся по уровню учебных достижений.

Рис. 9. Распределение заданий но трудности в нормативно-ориентированном тесте

В критериально-ориентированных тестах, используемых для аттестации, задания достаточно простые, поскольку педагоги всегда стараются спланировать процент «двоек» и ограничить число неаттестованных учеников. Например, если «двойки» не должны превышать 10 % и критерий отсева неуспевающих планируется установить на уровне 70 % (все, кто выполнил меньше 70 % заданий теста, получают «два»), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить 90% тестируемых учеников (рис.

9). Нормативно-ориентированные тесты обычно намного труднее. В них включают от 50 до 70 % заданий средней трудности, т.е. тех, которые смогла выполнить верно только половина тестируемых учеников (рис. 10).

В силу того что распределения сырых баллов репрезентативной выборки испытуемых по нормативно-ориентированным и критериально-ориентированным тестам имеют, как правило, различ-

Рис. 10. Распределение заданий по трудности в критериазьно-ориентиро-

ванном тесте

Рис. 11. Типичное распределение баллов по тестам для репрезентативной

выборки учащихся

ную форму (рис. 11), приходится использовать различающиеся методы оценивания надежности и валидности результатов педагогических измерений, методики шкалирования и выравнивания.

Наиболее существенные различия между нормативно-ориентированными и критериально-ориентированными тестами представлены в табл. 1.

Для учителя наиболее информативной является ситуация, когда оба подхода взаимно дополняют друг друга. Поэтому некоторые

Таблица 1

Различия между нормативно-ориентированными и критериально-ориентированными тестами

Характеристики

Нормативно-ориентированные тесты

Критериально-ориентированные тесты

Типичное среднее число учеников, выполнивших правильно почти все задания теста

5-10 %

80-90 %

Область для сравнения результатов учащихся

Результаты других учеников

Содержательная область или совокупность видов учебной деятельности

Диапазон охвата целей проверки

Широкий, охватывает многие цели и виды учебной деятельности

Узкий, обычно охватывает несколько целей контроля

Ре п ре зе нтати вность охвата содержания предмета

Умеренная, фрагментарная — обычно включают не все раздел ы

Большая, обычно включают все то, что можно операционали-. зироватьи принять за 100 %

Характеристики

Нормативно-ориентированные тесты

Критериально-ориентированные тесты

Разброс результатов учащихся (вариативность баллов)

Высокий, поскольку основная цель тестирования — дифференциация испытуемых по уровню подготовки

Низкий, внутри результатов группы учащихся, превысивших по своим результатам критериальный балл, почти нет вариативности

Подбор заданий по трудности

Распределение оценок трудности близко к нормальному. Основная часть заданий имеет трудность 40 — 60 %

Распределение скошенное. Основная часть заданий имеет трудность 80 — 90 %

тесты разрабатываются с расчетом на то, что результаты учащихся можно соотносить как с нормами, так и с содержанием теста. Пример — контрольно-измерительные материалы (КИМ) ЕГЭ. 

<< | >>
Источник: Звонников В. И.. Современные средства оценивания результатов обучения : учеб, пособие для студ. высш. учеб, заведений. 2007

Еще по теме Нормативно-ориентированный и критериальноориентированный подходы в педагогических измерениях:

  1. Нормативно-ориентированный и критериальноориентированный подходы в педагогических измерениях
- Коучинг - Методики преподавания - Андрагогика - Внеучебная деятельность - Военная психология - Воспитательный процесс - Деловое общение - Детский аутизм - Детско-родительские отношения - Дошкольная педагогика - Зоопсихология - История психологии - Клиническая психология - Коррекционная педагогика - Логопедия - Медиапсихология‎ - Методология современного образовательного процесса - Начальное образование - Нейро-лингвистическое программирование (НЛП) - Образование, воспитание и развитие детей - Олигофренопедагогика - Олигофренопсихология - Организационное поведение - Основы исследовательской деятельности - Основы педагогики - Основы педагогического мастерства - Основы психологии - Парапсихология - Педагогика - Педагогика высшей школы - Педагогическая психология - Политическая психология‎ - Практическая психология - Пренатальная и перинатальная педагогика - Психологическая диагностика - Психологическая коррекция - Психологические тренинги - Психологическое исследование личности - Психологическое консультирование - Психология влияния и манипулирования - Психология девиантного поведения - Психология общения - Психология труда - Психотерапия - Работа с родителями - Самосовершенствование - Системы образования - Современные образовательные технологии - Социальная психология - Социальная работа - Специальная педагогика - Специальная психология - Сравнительная педагогика - Теория и методика профессионального образования - Технология социальной работы - Трансперсональная психология - Философия образования - Экологическая психология - Экстремальная психология - Этническая психология -