<<
>>

Интерпретация результатов педагогических тестов, использование результатов на различных уровнях управления качеством образования

Цели интерпретации, проблема корректности при анализе данных тестирования. Интерпретация данных тестирования может иметь различные цели и проводиться разными группами лиц, заинтересованных в использовании результатов выполнения тестов.

Ее осуществляют тестологи, которые анализируют данные те- сгирования для коррекции теста. В итоговом контроле в целях повышения качества образования и выявления тенденций в изменении качества интерпретации подвергаются шкалированные баллы учащихся. В текущем контроле педагоги анализируют результаты тестирования для коррекции процесса обучения и диагностики причин отставания отдельных учеников и т.д.

Случаи неправильной или упрощенной интерпретации данных тестирования встречаются при анализе, проводимом без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты выполнения тестов. Наблюдаемые по данным тестирования отставания в итоговых результатах групп учащихся отдельных школ района могут быть следствием неучтенной слабой материально-технической оснащенности учебного процесса, низкой квалификации преподавательского состава, высокого уровня безработицы среди родителей учащихся, а также ошибок при формировании выборочной совокупности учеников для проведения анализа результатов. Результаты интерпретации, получаемые путем намеренного исключения из анализа данных тестирования результатов слабых учащихся, могут быть искусственно завышены.

Некорректная интерпретация данных тестирования в целом приводит к возникновению недоверия к возможностям тестов. Особенно это относится к тем педагогам и руководителям, чья деятельность незаслуженно получает негативные оценки.

Уровни интерпретации результатов тестирования. В тех случаях, когда рассматриваются результаты не тестирования в школе или отдельном,классе, а национальных экзаменов тина ЕГЭ, можно выделить несколько уровней интерпретации результатов учащихся, определив права доступа каждой группы пользователей к различным видам информации.

В частности к таким группам пользователей следует отнести: общество, учащихся и их родителей; педагогов, директоров школ; руководителей и работников органов управления образованием районного уровня; руководителей и работников органов управления образованием регионального (областного) уровня; руководителей и работников органов управления образованием федерального уровня.

Модели для анализа и интерпретации данных тестирования. Зарубежные специалисты по измерениям в образовании полагают, что корректное использование результатов тестирования и повышение справедливости управленческих оценок достигаются на основе применения динамических моделей для анализа данных в сочетании с лонгитюдными измерениями |80]. Неоднократное тестирование учащихся на протяжении определенного периода обучения, позволяющее оценивать скорость прироста учебных достижений, а затем сопоставлять школы на основе средних скоростей прироста, дает более достоверные оценки качества образования по сравнению с одноразовыми измерениями.

Интерпретация данных тестирования, отражающая динамику изменения качества подготовленности учащихся, менее восприимчива к просчетам при формировании выборочных данных для анализа и косвенно принимает во внимание начальные (входные) данные учеников.

Влияние репрезентативности выборки на обоснованность интерпретации результатов тестирования. Репрезентативность выборки является важнейшим фактором, влияющим па обоснованность интерпретации результатов тестирования и качество измерений. На федеральном уровне для формирования репрезентативной выборки выпускников школ регионов необходимо определить генеральную совокупность, включающую всех выпускников текущего года в средних учебных заведениях общего образования Российской Федерации. Затем следует выделить основания по стратификации выборки (например, регион, район, центр региона, город разного типа, поселок, село, школа) и построить планируемую репрезентативную выборку из генеральной совокупности учащихся России, собирая сводную статистику по отдельным стратам.

Требования к использованию результатов тестирования в управлении качеством образования. Проблему использования результатов тестирования в управлении качеством образования лучше всего рассмотреть на примере ЕГЭ. В последнее время в ряде регионов предпринимаются отдельные попытки интерпретации данных ЕГЭ для анализа различных проблем, связанных с качеством образования. Корректная интерпретация результатов ЕГЭ в первую очередь зависит от правильной постановки основной цели их использования в управлении качеством образования. Процесс управления предполагает целенаправленную деятельность по повышению эффективности системы образования и всех ее компонентов. Поэтому приоритетными целями использования результатов тестирования на разных уровнях управления являются анализ, распространение и внедрение в практику функционирования образовательной системы России лучших технологий, опыта и методов работы всех субъектов системы, выявленных на основе анализа и интерпретации результатов ЕГЭ. Таким образом, данные по всем уровням анализа результатов тестирования должны оказывать позитивное воздействие на систему образования путем управленческой, методической и финансовой помощи отстающим образовательным учреждениям, а также внедрения в практику их работы лучшего опыта отечественного образования.

При использовании результатов тестирования в управлении качеством образования необходимо обеспечить сопоставимость результатов выпускников школ но голам, которая требует выполнения ряда специальных требований со стороны теории педагогических измерений к содержанию тестов, их статистическим характеристикам и используемым методам шкалирования результатов учащихся. Помимо этого сопоставимость регламентирует определенные правила анализа данных тестирования для пользователей в управлении качеством образования. В частности для обеспечения сопоставимости данных по годам управленцам необходимо учитывать многие дополнительные факторы, отслеживать их изменение на протяжении анализируемого временного промежутка и их влияние на качество образования.

Для каждого уровня управления и региона необходимо выявить основные показатели, быстро изменяющиеся с течением времени. Таким образом, среди показателей — характеристик качества учебного процесса, кадрового состава, форм и методов дополнительного образования, уровня образованности и обеспеченности родителей учащихся, их социального статуса, миграционных процессов среди населения России и др. — необходимо выделить главные факторы, наиболее существенно влияющие на качество образования в данном регионе. При выполнении прочих условий, предъявляемых теорией педагогических измерений, сопоставление результатов тестирования ио годам на каждом уровне управления возможно лишь в ситуации равенства главных факторов.

Надежность и генерализуемость данных тестирования. Для принятия эффективных управленческих решений необходима высокая объективность и обоснованность информации, базирующейся на результатах измерения. Среди управленцев и педагогов, использующих результаты тестирования, может сформироваться мнение о том, что надежность данных педагогических измерений является проблемой разработчиков тестов. Эта точка зрения верна лишь отчасти, поскольку надежность является составной частью более общей теории генерализации данных педагогических измерений.

Теория генерализации обосновывает качество широкого диапазона компонентов измерений: самих тестов, шкал учебных достижений, моделей измерения, процедур проведения тестирования, методов обработки результатов, поведения экзаменаторов и экспертов и многих других компонентов процессов тестирования, влияющих на величину ошибки при принятии определенных управленческих решений 1801.

Помимо этого теория генерализации обеспечивает оценку возможности распространения результатов тестирования, полученных на выборочной совокупности выпускников, на генеральную совокупность выпускников России или региона. В этой связи перед принятием административных решений на региональном и федеральном уровнях образования поданным тестирования необходимо оценить их генерализуемость, которая характеризует возможность обобщения различных тенденций в образовании, выявг ленных при интерпретации результатов выполнения тестов.

Последовательность работ по использованию результатов тестирования. Использование результатов тестирования для управления качеством образования должно включать определенные этапы, к которым относятся: выбор целей анализа и интерпретации результатов тестирования; определение объектов и уровней анализа; выбор показателей качества и переменных измерения; построение репрезентативных групп испытуемых вероятностно-пропорциональным методом для формирования матриц эмпирических данных тестирования; формирование матриц эмпирических данных по испытуемым выборки; планирование и проведение дополнительного эксперимента для сбора эмпирических данных (если есть потребность согласно задачам исследования); выбор фасетов, формирование дизайна исследования для оценки генерализуемое™ эмпирических данных (на федеральном или региональном уровнях анализа); оценка коэффициентов генерализации для данных тестирования (на федеральном или региональном уровнях анализа) и эмпирических данных дополнительного эксперимента (если они есть); оценка надежности и валидности эмпирических данных; применение количественных (качественных) методов или их сочетания для анализа и обработки эмпирических данных; интерпретация результатов обработки; подготовка выводов и рекомендаций для принятия управленческих решений в целях повышения качества образования.

Среди перечисленных этапов трудно выделить менее или более важный. Все они обязательны в ситуации принятия административных управленческих выводов на муниципальном, региональном или федеральном уровнях управления качеством образования. При использовании результатов тестирования в школе, и тем более в классе, часть этапов можно опустить.

В частности в школе по результатам тестирования могут быть построены радиальные диаграммы для сравнительного анализа тематической структуры усвоения содержания учебной дисциплины отдельными учащимися (на уровне класса или всей школы). Для различных групп учащихся может быть проведено сравнение результатов со средними баллами по школе или по району, а также установлена степень затруднений или успешности обучения отдельных учащихся или целых классов, выявлены слабо усвоенные разделы предметов и причины таких отставаний и т.д.

Для муниципального уровня управления качеством образования с учетом временного фактора можно проследить динамику среднего балла по районам и по различным предметам, провести рейтинг школ внутри районов города и другие сравнительные исследования.

В целом следует отметить, что разработка методики использования результатов тестирования для управления качеством образования — актуальная задача, поскольку в настоящий момент в условиях множества учебных программ, допущенных к использованию, и многообразия школ система упраатения качеством образования нуждается в проведении различных сравнительных исследований. Различаются квалификации преподавателей, условия учебного процесса, в том числе и бытовые, комплектность школ, национальный и гендерный состав и др. Согласно международным исследованиям, все эти факторы серьезным образом сказываются на качестве подготовки выпускников учебных заведений. Поэтому принятие обоснованных управленческих решений сегодня невозможно без использования данных педагогических измерений.

Практические задания и вопросы для обсуждения Какие условия и процедуры тестирования подлежа! стандартизации? Разработайте инструкции для тестирования в классе при текущем контроле для:

а)              случая, когда в тесте есть только задания с выбором одного или нескольких правильных ответов;

б)              случая, когда в тесте совмещены задания разных форм. Соблюдение принципа конфиденциальности предполагает неразглашение сведений о результатах тестирования без согласия ученика. Как вы думаете, правильно ли сообщать результаты ЕГЭ учителям и родителям ученика без его согласия? Сформулируйте административно-управленческие задачи в образовании. при решении которых необходимо проверять данные тестирования на генерализуемость.

<< | >>
Источник: Звонников В. И.. Современные средства оценивания результатов обучения : учеб, пособие для студ. высш. учеб, заведений. 2007

Еще по теме Интерпретация результатов педагогических тестов, использование результатов на различных уровнях управления качеством образования:

  1. 1.5 Основные концепции правового образования
  2. § 2. Методы исследования в педагогической психологии
  3. Стиль деятельности
  4. ПРИЛОЖЕНИЯ
  5. ДИДАКТИЧЕСКИЙ ПРОЦЕСС — ОСНОВА ПЕДАГОГИЧЕСКОЙ ТЕХНОЛОГИИ
  6. 2. Послереволюционный период
  7. Приложение б 3000 НАИБОЛЕЕ УПОТРЕБИТЕЛЬНЫХ СЛОВ И СЛОВОСОЧЕТАНИЙИЗ ОБЛАСТИ ОБРАЗОВАНИЯ И ОБУЧЕНИЯ(англо-русский вариант)
  8. Контрольно-оценочная система в школе
  9. Интерпретация результатов педагогических тестов, использование результатов на различных уровнях управления качеством образования
  10. Шкалирование результатов Единого государственного экзамена и использование их в управлении качеством образования
  11. Виды мониторинга
  12. АКТУАЛЬНЫЕ ВОПРОСЫ ОЦЕНКИКАЧЕСТВА ОБРАЗОВАНИЯ
  13. ИСПОЛЬЗОВАНИЕ ПРОГРАММНЫХ СРЕДСТВАВТОМАТИЗАЦИИ ХОДА ВЫПОЛНЕНИЯИ ОБРАБОТКИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ
  14. 1.2. Медиа-образовательные технологии как предмет педагогического анализа
  15. 4.2. Проектирование и развитие этнокультурно-коннотированных учреждений образования
- Коучинг - Методики преподавания - Андрагогика - Внеучебная деятельность - Военная психология - Воспитательный процесс - Деловое общение - Детский аутизм - Детско-родительские отношения - Дошкольная педагогика - Зоопсихология - История психологии - Клиническая психология - Коррекционная педагогика - Логопедия - Медиапсихология‎ - Методология современного образовательного процесса - Начальное образование - Нейро-лингвистическое программирование (НЛП) - Образование, воспитание и развитие детей - Олигофренопедагогика - Олигофренопсихология - Организационное поведение - Основы исследовательской деятельности - Основы педагогики - Основы педагогического мастерства - Основы психологии - Парапсихология - Педагогика - Педагогика высшей школы - Педагогическая психология - Политическая психология‎ - Практическая психология - Пренатальная и перинатальная педагогика - Психологическая диагностика - Психологическая коррекция - Психологические тренинги - Психологическое исследование личности - Психологическое консультирование - Психология влияния и манипулирования - Психология девиантного поведения - Психология общения - Психология труда - Психотерапия - Работа с родителями - Самосовершенствование - Системы образования - Современные образовательные технологии - Социальная психология - Социальная работа - Специальная педагогика - Специальная психология - Сравнительная педагогика - Теория и методика профессионального образования - Технология социальной работы - Трансперсональная психология - Философия образования - Экологическая психология - Экстремальная психология - Этническая психология -