<<
>>

Современные программные средства для разработки педагогических тестов

Программные средства для конструирования тестов: общая характеристика. Интенсивное развитие программных средств, реализующих алгоритмы IRT, и классической теории для конструирования новых тестов началось в конце 80-х гг.

XX в. и продолжается в настоящее время. Программные продукты для конструирования тестов нередко путают с инструментальными средствами для компьютерного тестирования, хотя они имеют разное назначение. Первые создаются для анализа эмпирических данных тестирования в целях коррекции характеристик тестов, обеспечения высокого качества педагогических измерений, калибровки заданий при наполнении банков, шкалирования и выравнивания для построения стандартных шкал по данным педагогических измерений. Вторые выполняют исключительно функцию поддержки при проведении компьютерного тестирования и обеспечивают формирование вариантов тестов, их предъявление, накопление баз данных по результатам тестирования и оценку результатов учащихся для выдачи им тестового балла. При правильном положении вещей оба блока программных продуктов должны работать совместно, поскольку информацию о результатах тестирования, накапливаемую в инструментальной оболочке, необходимо передавать дальше для совершенствования характеристик теста.

Часть разрабатываемых в мире программ для конструирования тестов носит закрытый характер и используется исключительно для собственных нужд, как, например, в ETS. Другая часть попадает на рынок благодаря каталогам и Интернету. Материалы, размещенные в Интернете крупнейшими разработчиками и распространителями программного обеспечения для конструирования тестов, включают описания технологий, перечень возможностей программ, демонстрационные версии и т.д.

Виды программных продуктов для конструирования тестов. К числу наиболее интересных программ, созданных мировым лидером в компьютерном тестировании Assessment Systems Corporation (ASC), можно отнести RASCH, RASCAL, Quest, ConQuest, а также XCALIBRE, ASCAL, LOGIMO, MSP, PARELLA и многие другие [91].

Некоторые из разработок корпорации ASC, например, MieroCAT, CAT, позволяют реализовывать адаптивные варьирующие алгоритмы с переменным шагом и осуществлять процессы генерации адаптивных тестов. В настоящий момент наибольший интерес для разработчика и пользователя тестов представляют следующие программы: AGREE, предназначенная для расчета согласованности оценок в номинальных шкалах данных в случае, когда два и более экспертов классифицируют объекты по некоторым категориям номинальной шкалы; ASC Item and Test Analysis Package — пакет программ ASC для анализа качества тестов и шкалирования результатов их выполнения. Программы пакета позволяют осуществить простейший анализ качества заданий по классической теории тестов, в том числе и углубленный дистракторный анализ (1TEMAN), получить оценки параметров подготовленности испытуемых и трудности заданий по однопараметрической модели теории IRT (RASCAL), провести калибровку заданий (XCALIBRE), получить данные входного тестирования для эвалюации (Test Pre-Evaluation), оценить валидность теста (Test Validation), провести автоматизированную оценку результатов выполнения заданий и получить шкалированные баллы учащихся (Test Scoring) и т.д.; BILOGNtw, позволяющая получить оценки параметров тестовых заданий на основе теории 1RT использованием одно-, двух- и трехпараметрических логистических моделей и перейти к наиболее эффективным оценкам параметров по методу максимального подобия с помощью реализации итерационных процессов (только для дихотомических оценок по отдельным заданиям теста); ConQuest — универсальная программа, включающая различные модели IRT, в том числе для политомических оценок по заданиям в случае одномерных и многомерных измерений; FastTESTNrw — 32-bit Windows система для поддержки банка калиброванных тестовых заданий и моделирования различных тестов, поддерживающая режимы бланкового и компьютерного предъявления параллельных вариантов тестов и оценки их качества с помощью моделей 1RT для дихотомических данных по заданиям; FastTEST Professional141™ — система для адаптивного тестирования с использованием теории IRT. Считается наиболее продвинутой системой компьютерного адаптивного тестирования в мире; ITEMAN — статистика заданий и тестов с использованием классической теории тестов и данных опросов (по типу Лайкерта).
Наиболее популярный в мире программный продукт для анализа тестов; MicroCAT — полная оболочка для создания тестов и проведения тестирования (как компьютерного, так и бланкового) и последующего анализа результатов; PARSCALENFW — предназначена для шкалирования результатов учащихся на основе теории IRT, позволяет проводить анализ качества заданий и построение рейтинговых шкал; XCALIBRE, позволяющая получить оценки наибольшего правдоподобия на основе алгоритмов ЕМ для небольших выборок испытуемых или коротких тестов для двух- и трехпараметрических моделей 1RT.

Практические задания Укажите два наиболее сущеетвенных недостатка классической теории тестов, которые вынудили специалистов обратиться к созданию современной теории конструирования тестов. В представленной ниже таблице даны оценки параметров шести заданий, полученных по современной теории конструирования тестов.

Для каждого задания вычислите по трехпараметрической модели вероятность P(Q) для 0 = -3; -2; -1; 0; I; 2; 3. Постройте графики характеристических кривых шести заданий по одно-, двух- и трехпараметрической модели.

Какое задание из представленных в таблице самое легкое?

Какое задание из шести имеет наименьшую дифференцирующую способность, валидность?

Какое из шести заданий для испытуемого с уровнем подготовленности 0 = 0 имеет наибольшую вероятность правильного ответа? Докажите, что для трехпараметрической модели вероятность пра

вильного выполнения задания Р при 0 = (3 будет равна

4. Вероятность правильного ответа /,(9) при заданных величинах 0 (верхняя строка) для грех заданий приведена в таблице. Постройте характеристические кривые грех заданий.

-3.0

-2,5

-2,0

-1,5

-1,0

-0,5

0

0,5

1,0

1,5

2,0

2,5

3,0

1

0,0

0,0

0,0

0,0

0,0

0,1

0,2

0,3

0,5

0,6

0,7

0,8

0,9

2

1

1

2

4

7

3

2

5

0

5

8

7

3

3

0,0

0,0

0,0

0,0

0,1

0,2

0,5

0,7

0,8

0,9

0,9

0,9

0,9

Для заданий № 1 и 2 с = 0.

Определите с помощью графиков характеристических кривых величины (3 — оценки трудности этих двух заданий.

Как можно сопоставить величины параметра а из графиков характеристических кривых трех заданий?

<< | >>
Источник: Звонников В. И.. Современные средства оценивания результатов обучения : учеб, пособие для студ. высш. учеб, заведений. 2007

Еще по теме Современные программные средства для разработки педагогических тестов:

  1. 11.3. Тест для определения результатов обучения
  2. Тесты и тестовые задания
  3. МЕТОДИКА ДИАГНОСТИЧНОГО ОПИСАНИЯ ЦЕЛИ ФОРМИРОВАНИЯ ОПЫТА УЧАЩИХСЯ НА ЭТАПЕ ОПЕРАТИВНОГО ЦЕЛЕОБРАЗОВАНИЯ
  4. Традиционные средства контроля, оценки и отметки
  5. Современные программные средства для разработки педагогических тестов
  6. педагогический тест КАК ОБЪЕКТИВНЫЙ СПОСОБ ОЦЕНИВАНИЯ
  7. ОБЩИЕ ПОДХОДЫ К ОЦЕНКЕ ДОСТИЖЕНИЯТРЕБОВАНИЙ К УРОВНЮ ПОДГОТОВКИВЫПУСКНИКОВ основнойИ СРЕДНЕЙ ШКОЛЫ
  8. ИСПОЛЬЗОВАНИЕ ПРОГРАММНЫХ СРЕДСТВАВТОМАТИЗАЦИИ ХОДА ВЫПОЛНЕНИЯИ ОБРАБОТКИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ
  9. Психолого-педагогическое сопровождение учебной деятельности студентов по подготовке и презентации телеэссе
  10. 1.2. Медиа-образовательные технологии как предмет педагогического анализа
- Коучинг - Методики преподавания - Андрагогика - Внеучебная деятельность - Военная психология - Воспитательный процесс - Деловое общение - Детский аутизм - Детско-родительские отношения - Дошкольная педагогика - Зоопсихология - История психологии - Клиническая психология - Коррекционная педагогика - Логопедия - Медиапсихология‎ - Методология современного образовательного процесса - Начальное образование - Нейро-лингвистическое программирование (НЛП) - Образование, воспитание и развитие детей - Олигофренопедагогика - Олигофренопсихология - Организационное поведение - Основы исследовательской деятельности - Основы педагогики - Основы педагогического мастерства - Основы психологии - Парапсихология - Педагогика - Педагогика высшей школы - Педагогическая психология - Политическая психология‎ - Практическая психология - Пренатальная и перинатальная педагогика - Психологическая диагностика - Психологическая коррекция - Психологические тренинги - Психологическое исследование личности - Психологическое консультирование - Психология влияния и манипулирования - Психология девиантного поведения - Психология общения - Психология труда - Психотерапия - Работа с родителями - Самосовершенствование - Системы образования - Современные образовательные технологии - Социальная психология - Социальная работа - Специальная педагогика - Специальная психология - Сравнительная педагогика - Теория и методика профессионального образования - Технология социальной работы - Трансперсональная психология - Философия образования - Экологическая психология - Экстремальная психология - Этническая психология -