<<
>>

Предтестовые задания с выбором одного или нескольких правильных ответов

Основные элементы предтестовых заданий с выбором ответов.

В предтестовых заданиях с выбором (закрытых заданиях) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем.

Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных (в том числе и в разной степени) ответов.

Неправильные, но правдоподобные ответы называются duem- ракторами [60; 78]. Если в задании два ответа, один из которых является дистрактором, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракто- ров подбирается таким образом, чтобы задание не было слишком громоздким. Вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или четыре дистрактора и один правильный ответ.

Задания с двумя и тремя ответами обычно используют для экспресс-диагностики, например, в автоматизированных конт-

рольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Однако из-за высокой вероятности угадывания задания с двумя объектами не включают в итоговые тесты.

Правдоподобность дистракторов, их валидность. Если дистрак- торы сформулированы некорректно и не привлекательны даже для самых слабых испытуемых группы, они перестают выполнять свою функцию. На деле получается задание не с запланированным, а с меньшим числом ответов. В худшем случае, если в задании не работают все дистракторы. большинство учащихся выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ.

Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке учащихся с помощью подсчета долей учеников, выбравших каждый из дистракторов в качестве правильного ответа.

Например, если задание с четырьмя дистракторами и одним правильным ответом выполняли 25 учеников и 12 из них ответили неверно, то каждый из четырех дистракторов в качестве правильного ответа должны выбрать 3 ученика. Соответственно доля учащихся для каждого дист- ракгора будет равна 0,25. В этом случае все неправильные ответы к заданию равновероятно правдоподобны и, следовательно, сформулированы удачно. Конечно, точное равенство долей практически недостижимо, но тем не менее, создавая задания, к нему нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора учащимися с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых учащихся, выполнивших верно незначительное число заданий в тесте, то он считается валидным. Если же дистрактор кажется привлекательным в основном сильным ученикам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие ученики выполняют его правильно. а незнающие выбирают любой из дистракторов с равной вероятностью.

Инструкции к предтестовым заданиям с выбором. Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются следующей инструкцией: «Обведите номер (букву) правильного ответа». Задания с несколькими правильными ответами обычно используются в текущем контроле для проверки классификационных и фактуаль- ных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Такие задания сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов. Когда ди- стракторов намного меньше правильных ответов, их легко угадать. В подобной ситуации можно включить в число ответов только один неправильный, а учеников попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета.

Иногда, по замыслу автора, при разработке захтания закладываются несколько правильных ответов, среди которых есть более и менее предпочтительные. В этом случае задание сопровождается следующий инструкцией: «Обведите номер наиболее правильного ответа». При компьютерной выдаче заданий инструкция может иметь такой вид: «Для ответа нажмите клавишу с номером (буквой) правильного ответа».

Обычно если все задания имеют одну форму, то инструкция приводится в начале теста. Если же в тест включены задания разных форм, они сопровождаются различными инструкциями. Легко представить, насколько осложнит выполнение теста чередование инструкций на выбор правильного и неправильного ответов. Невнимательные ученики могут не заметить изменения инструкции и выполнить часть заданий неправильно, даже в том случае, если они наверняка знают правильный ответ. Поэтому рекомендуется менять инструкцию как можно реже — ровно столько раз, сколько требует стратегия предъявления заданий теста.

Преимущества предтестовых заданий с выбором ответов. Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов учеников, возможностью автоматизации процедур проверки ответов учащихся и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является се универсальность; она годится практически для любого предмета.

Недостатки предтестовых заданий с выбором ответов. К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабоподготовленных учеников при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с помощью различных методов научились избегать по/юбных ситуаций. Для этого вводятся специальные инструкций, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки.

При подсчете баллов слабых учеников, полученных по наиболее трудным заданиям теста, добавляются специальные весовые коэффициенты, близкие к нулю, или увеличивается число заданий теста. Иногда применяется специальная формула для коррекции индивидуальных баллов с поправкой на догадку |74|. Последний метод и поясняющая его формула приводятся в конце этой главы.

Отраженное в названии задания действие выбора вызывает необоснованную критику со стороны противников педагогических тестов, которые ошибочно отождествляют действия по выбору ответа с уровнем деятельности, необходимой для выполнении заданий теста. В заданиях, разработанных опытными авторами и не предназначенных для проверки фактологического материала, ученику для получения правильного ответа нередко приходится применять цепочку знаний и умений на продуктивном уровне деятельности. Рад критиков подчеркивает отрицательную роль неправильных ответов, способствующих, по их мнению, запоминанию ошибочной информации при выполнении теста. С этой точкой зрения можно не соглашаться в том случае, если задания с выбором используются при итоговом контроле. Но в текущем контроле, выполняющем корректирующие и обучающие функции, лучше отдавать предпочтение заданиям с конструируемыми ответами.

Реальные, а нс надуманные сложности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний учащимися в незнакомой ситуации, творческими аспектами подготовки, а также в случаях, когда требуется преобразование условий поставленной перед учащимся задачи. В таких ситуациях задания с выбором готовых ответов использовать чаще всего невозможно. В условиях же массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов учеников и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому эта форма нередко доминирует при разработке итоговых тестов.

Разработка предтестовых заданий с выбором ответов. Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста. Они подробно изложены в работах отечественных и зарубежных авторов 154; 67). С ними обязательно следует ознакомиться тем, кто собирается создавать задания теста.

Общая рекомендация — не следует разрабатывать задания накануне тестирования. Готовить задания лучше заранее, с тем чтобы оставить достаточно времени на их переработку. Содержание каждого задания необходимо соотносить с измеряемой переменной и стараться обеспечивать планируемый уровень трудности.

После окончания работы над заданиями до привлечения экспертов следует самостоятельно провести анализ их соответствия спецификации теста, оценить значимость их содержания и ясность формулировок. При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием выполнения другого задания теста. Не стоит использовать в тесте задания, приведенные в учебниках, в противном случае будет проверяться память учащихся, а нс освоение умений. Тесты учебных достижений не должны содержать заданий-ловушек, присутствующих в психологических тестах.

Примеры предтестовых заданий с двумя и тремя ответами. В заданиях с двумя ответами проще всего подбирать дистракторы посредством отрицания того, что является верным. Не рекомендуется использовать вместо дистракторов слова «да», «пет», поскольку в противном случае будет довольно трудно сформулировать утверждения, на которые можно дать однозначный ответ. Например:

Задание 1

Если вычитаемое увеличили на 12 единиц, а разность также увеличилась на 15 единиц, то уменьшаемое увеличилось уменьшилось.

Задания с тремя ответами обычно используют в экспресс-диагностике в тех случаях, когда в силу специфики содержания недостаточно двух ответов. Иногда они появляются вследствие удаления «неработающих» дистракторов.

В целом такие задания неудачны, поскольку они недостаточно кратки и в них высока вероятность угадывания правильного ответа. Например:

Задание 2

Импульс, поступающий по блуждающему нерву учащает работу сердца замедляет работу сердца не влияет на деятельность сердца.

Предтестовые задания с четырьмя и пятью ответами. В большинстве тестов встречаются задания с четырьмя —пятью ответами, из которых один верный. При умелой разработке они могут быть достаточно краткими, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти). Например:

Задание 3

Кадеты считали главным методом решения основных проблем России революционное восстание масс политический террор тактику давления на правительство через представительные органы, парламент всеобщую политическую стачку.

Задание 4

, Древние люди не могли охотиться на

мамонта              ф морскую корову эластомерия иностранцевия глиптодонта.

Наиболее удачными можно считать задания, выполнение которых помимо традиционного длинного пути предгюлатет возможность довольно быстрого (3 — 4 с) ответа. Разумеется, быстрое решение по силам только учащемуся с четкой структурой знаний и твердыми навыками по проверяемому разделу. Слабо подготовленные ученики пойдут по традиционному пути и истратят на задание не 3 — 4 с, а положенные I— 2 мин.

Фасетные задания в тесте. Даже в условиях хорошо организованного процесса тестирования при наличии единственного варианта теста велика вероятность списывания, подсказок и других нежелательных моментов. Поэтому обычно разрабатывают 5 — 8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста [60; 72].

Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов, предлагаемых различным ученикам. В приведенном далее примере содержатся два задания, одно из которых предназначено для выбора архитектурных комплексов окрестностей Москвы, а другое — Санкт-Петербурга:

Задание 5

К дворцовым комплексам окрестностей

относятся Павловск, Ораниенбаум Архангельское, Царицыно Петергоф, Гатчина Царское село, Стрельня.

Особенно легко и удобно создавать фасетные задания по естественному циклу дисциплин путем введения параметров в задания теста. Например, выбирая различные значения параметров я, Ь, с — коэффициентов квадратного уравнения, обеспечивающих неотрицательность его дискриминанта, — можно получить множество однотипных заданий.

Предтестовые задания с выбором нескольких правильных ответов. Задания с несколькими правильными ответами обычно стараются пс включать в итоговые тесты, результаты которых ис

пользуются для административно-управленческих решений в образовании. Появление частично правильных ответов учащихся, возникающих при выборе не всех запланированных верных ответов, приводит к снижению объективности и сопоставимости оценок, получаемых учениками по тесту.

В текущем контроле такие задания, наоборот, желательны, поскольку ученик должен не только найти правильные ответы, но и сам определить их число, что значительно разнообразит и усложняет задачу.

Предтестовые задания на выбор неправильного ответа. Ориентация учащихся на выбор неправильного ответа часто вызывает негативную реакцию у многих педагогов. Особенно неуместны задания на выбор неправильного ответа в тестах по русскому языку или по истории. Недопустимо, например, когда задание нацеливает ученика на неправильное написание слов либо на неверную оценку исторических событий. Однако если нужно проверить знание учеником определенных правил по технике безопасности, например во время проведения химических опытов, то выбор неправильного ответа становится просто находкой.

В случае когда большая часть заданий в тесте ориентирована на выбор правильного ответа, заданий с противоположной инструкцией в тесте должно быть не более двух-трех.

Оценка результатов выполнения заданий, первичный, или сырой, балл. При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает «1», а за неправильный ответ или пропуск — «О». Суммирование веек единиц позволяет вычислить индивидуальный (первичный, или сырой) балл испытуемого, который в случае дихотомической оценки равен количеству правильно выполненных заданий в тесте.

Если правильный ответ не один, то чаще всего используется политомическая оценка, которая пропорциональна числу правильно выбранных ответов.

Коррекция на догадку первичных тестовых баллов. Из-за эффекта угадывания ответов в заданиях с выбором сырые баллы стараются скорректировать путем ввода поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с /с-ответами, из которых только один верный, имеет следующий вид:

где / — номер любого испытуемого группы; XI — скорректированный балл /-го испытуемого; X,- — тестовый балл до коррекции; W, — число невыполненных (неправильно выполненных, пропу

щенных, недостигнутых) заданий теста, a Xj + W, - N, где N -«*¦ число заданий в тесте.

Если в заданиях только один дистрактор и один верный ответ, то к - 1 = 1, поэтому коррекция баллов осуществляется довольно просто. Для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. Например, если в тесте из 60 заданий испытуемый выполнил правильно 50, а неправильно — 10, то скорректированный балл будет равен 50 - 10 = 40. Для более слабого ученика, выполнившего правильно всего 30 заданий из 60, балл после коррекции станет равен 30 - 30 = 0. Таким образом, балл сильного ученика уменьшился в результате коррекции весьма незначительно, всего на 10 единиц. Иначе обстоит дело с баллом учащегося, который выполнил правильно всего половину заданий теста. После коррекции он получит 0 баллов, так как в половине заданий с двумя ответами он вполне мог угадать правильный ответ.

Формула коррекции имеет определенные недостатки, снижающие точность тестовых измерений. Эго связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста. 

<< | >>
Источник: Звонников В. И.. Современные средства оценивания результатов обучения : учеб, пособие для студ. высш. учеб, заведений. 2007

Еще по теме Предтестовые задания с выбором одного или нескольких правильных ответов:

  1. Классификация предтестовых заданий и общие требования к ним
  2. Предтестовые задания с выбором одного или нескольких правильных ответов
  3. Online-тестирование, его применение в дистанционном обучении
- Коучинг - Методики преподавания - Андрагогика - Внеучебная деятельность - Военная психология - Воспитательный процесс - Деловое общение - Детский аутизм - Детско-родительские отношения - Дошкольная педагогика - Зоопсихология - История психологии - Клиническая психология - Коррекционная педагогика - Логопедия - Медиапсихология‎ - Методология современного образовательного процесса - Начальное образование - Нейро-лингвистическое программирование (НЛП) - Образование, воспитание и развитие детей - Олигофренопедагогика - Олигофренопсихология - Организационное поведение - Основы исследовательской деятельности - Основы педагогики - Основы педагогического мастерства - Основы психологии - Парапсихология - Педагогика - Педагогика высшей школы - Педагогическая психология - Политическая психология‎ - Практическая психология - Пренатальная и перинатальная педагогика - Психологическая диагностика - Психологическая коррекция - Психологические тренинги - Психологическое исследование личности - Психологическое консультирование - Психология влияния и манипулирования - Психология девиантного поведения - Психология общения - Психология труда - Психотерапия - Работа с родителями - Самосовершенствование - Системы образования - Современные образовательные технологии - Социальная психология - Социальная работа - Специальная педагогика - Специальная психология - Сравнительная педагогика - Теория и методика профессионального образования - Технология социальной работы - Трансперсональная психология - Философия образования - Экологическая психология - Экстремальная психология - Этническая психология -