<<
>>

             9.5. Оценка характеристик заданий теста

Оценка трудности заданий по классической теории тестов. Оценка трудности тестовых заданий в классической теории тестов осуществляется по формуле


где pj — доля правильных ответов на j-c задание; Rj — количество учеников, выполнивших j-c задание верно; N — число учеников в тестируемой группе; j — номер задания теста (j = 1, 2,              п).

Трудность задания нередко выражают в процентах. Для этого оценку, полученную по формуле (8), умножают на 100%.

Долю правильных ответов на задание pj правильнее было бы назвать легкостью задания, в то время как трудность ассоциируется с долей неправильных ответов qj, которая находится путем вычитания pj из единицы: q-t= 1 - р}. Однако по сложившейся традиции в классической теории тестов за трудность задания принимается именно доля рг

Подбор заданий по трудности в нормативно-ориентированных тестах. В хорошо сбалансированном но трудности тесте всегда есть несколько самых легких заданий со значениями р —» 0 и несколько самых трудных со значением р-*\. Остальные задания по значениям р занимают промежуточное положение между этими крайними ситуациями и имеют в основном трудность 60 — 70%.

Дополнительный аргумент в пользу преимущественного включения заданий средней трудности с р = 0,5 связан с подсчетом дисперсии по каждому заданию теста, которая для дихотомического набора данных будет равна Oj = pjqj (j = 1, 2, ..., п). Так как произведение pflj достигает максимального значения (0,5 ¦ 0,5 = 0,25) при Pj~ 0,5 = qj, в рамках нормативно-ориентированного подхода наиболее удачными считаются задания средней трудности p-q = 0,5, обеспечивающие максимальный вклад в общую дисперсию теста.

В пользу преимущественного выбора заданий средней трудности также говорит подсчет ошибки измерения, которая уменьшается по мере продвижения к центру, где расположены задания средней трудности, и увеличивается на концах распределения.

Связь оценок трудности и валидности заданий. Интересна взаимосвязь показателей трудности и валидности (дискримипативно- сти) заданий теста. Задания с высокой дискриминативностью обычно имеют среднюю трудность, поскольку именно для них характерен в первую очередь высокий дифференцирующий эффект. Однако обратное заключение неверно. Задания с р = 0,5 могут иметь как высокий, так и низкий дифференцирующий эффект.

При подсчете статистик по тесту всегда проводится проверка значимости полученных оценок дисперсии, асимметрии и т.д. Для этого к данным, собранным по тесту, необходимо добавить информацию о принимаемом уровне риска допущения ошибки в статистическом выводе. Наиболее приемлемым для педагогических измерений является уровень в 5 %, который допускает ошибку в 5 случаях из 100. После выбора степени риска проверка зна-

чимости проводится одним из описанных в литературе методов [18; 74].

Гомогенность (содержательная однородность) задания. При конструировании теста необходимо иметь четкое представление о содержании заданий, которые предполагается включить в окончательную версию теста. При одномерных измерениях содержание заданий должно отвечать свойству гомогенности, указывающему на степень его однородности с точки зрения оцениваемого параметра подготовленности ученика. Таким образом, гомогенность (однородность) — это характеристика задания, отражающая степень соответствия его содержания измеряемому свойству ученика. Степень гомогенности содержания обычно оценивают с помощью факторного и корреляционного анализа.

Практическое задание

В приведенной ниже таблице содержатся ответы 30 испытуемых на одно задание теста. Всех испытуемых можно разбить на две подгруппы, в одной из которых — 15 испытуемых с высоким уровнем подготовленности (сильная группа), а в другой — 15 испытуемых с низким уровнем подготовленности (слабая группа). Поданным таблицы вычислите:

а)              среднее значение тестовых баллов по сильной и по слабой группе, сравните их;

б)              дисперсию баллов по всей группе (30 испытуемых);

в)              долю правильных ответов на задание по сильной группе;

г)              долю правильных ответов на задание по слабой группе;

д)              корреляцию между ответами испытуемых на задание и суммой баллов по тесту для сильной группы;

е)              корреляцию между ответами испытуемых на задание и суммой баллов но тесту для слабой группы.

Группа с низкой подготовленностью

Группа с высокой подготовленностью

Испытуе

мый

Ответы на задание

Индивидуальный балл по тесту

Испытуе

мый

Ответы на задание

Индивидуальный балл по тесту

1

0

8

8

1

33

2

0

12

9

0

28

3

0

6

10

1

29

4

0

12

11

1

30

5

0

• 8

12

1

29

6

0

8

13

0

28

7

0

8

14

1

33

Группа с низкой подготовленностью

Группа с высокой подготовленностью

Испытуе

мый

Ответы на задание

Индивидуальный балл по тесту

Испытуе

мый

Ответы на задание

Индивидуальг ный балл по тесту

8

0

11

8

1

32

9

I

13

9

1

32

10

0

4

10

1

33

11

1

14

11

0

34

12

1

13

12

1

35

13

1

10

13

1

34

14

1

9

14

1

38

15

0

8

15

1

37

Дайте интерпретацию полученных результатов.

Наблюдается ли инвариантность вычисленных характеристик задания относительно уровня подготовленности выборки? Как можно объяснить наличие (отсутствие) инвариантности?

<< | >>
Источник: Звонников В. И.. Современные средства оценивания результатов обучения : учеб, пособие для студ. высш. учеб, заведений. 2007

Еще по теме              9.5. Оценка характеристик заданий теста:

  1. 2.2.2.2 Методы исследования реологических свойств теста
  2. Тесты и тестовые задания
  3. Критерии балльных оценок (пример)
  4. Примеры тестов
  5. Лексико-грамматические характеристики
  6. ПЕРВИЧНЫЙ АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ
  7. Занятие 10.3 ПРОВЕРКА НАДЕЖНОСТИ ТЕСТА
  8. 3.3. Косвенные методы оценки прочностных характеристик материала
  9. Методы оценки характеристик трещиностойкости
  10. Целеполагание при планировании содержания педагогического теста
  11. Планирование содержания теста
  12. Предтестовые задания с конструируемым ответом
- Коучинг - Методики преподавания - Андрагогика - Внеучебная деятельность - Военная психология - Воспитательный процесс - Деловое общение - Детский аутизм - Детско-родительские отношения - Дошкольная педагогика - Зоопсихология - История психологии - Клиническая психология - Коррекционная педагогика - Логопедия - Медиапсихология‎ - Методология современного образовательного процесса - Начальное образование - Нейро-лингвистическое программирование (НЛП) - Образование, воспитание и развитие детей - Олигофренопедагогика - Олигофренопсихология - Организационное поведение - Основы исследовательской деятельности - Основы педагогики - Основы педагогического мастерства - Основы психологии - Парапсихология - Педагогика - Педагогика высшей школы - Педагогическая психология - Политическая психология‎ - Практическая психология - Пренатальная и перинатальная педагогика - Психологическая диагностика - Психологическая коррекция - Психологические тренинги - Психологическое исследование личности - Психологическое консультирование - Психология влияния и манипулирования - Психология девиантного поведения - Психология общения - Психология труда - Психотерапия - Работа с родителями - Самосовершенствование - Системы образования - Современные образовательные технологии - Социальная психология - Социальная работа - Специальная педагогика - Специальная психология - Сравнительная педагогика - Теория и методика профессионального образования - Технология социальной работы - Трансперсональная психология - Философия образования - Экологическая психология - Экстремальная психология - Этническая психология -