<<
>>

2.3. Оценка эффективности учебно-методической деятельности технического вуза в ходе опытно-экспериментальной работы

В ходе рефлексивного этапа реализации проекта учебно-методической деятельности были доказаны позитивные изменения в эффективности учебно­методической деятельности технического вуза в процессе подготовки специалистов водного транспорта, определены закономерности, подтверждающие положения рабочей гипотезы исследования.

В соответствии с принятым определением эффективность учебно­методической деятельности технического вуза, осуществляющего подготовку специалистов водного транспорта, понимается нами как ее относительный параметр, отражающий качественные характеристики учебно-методической деятельности и их влияние на характеристики профессиональной подготовки специалистов водного транспорта. При оценке эффективности учебно - методической деятельности, которую мы осуществляли в модельных экспериментах, следовало учитывать специфику этой деятельности. Очевидным является, что оценочные суждения, которые охватывают предметные области учебно-методической деятельности или учебно-методическую деятельность технического вуза в целом, отражают качественные оценки. Количественные оценки эффективности учебно-методической деятельности технического вуза имеют косвенный характер.

Основной отправной точкой оценочной деятельности стало признание того, что при решении одинаковых задач развития образовательного процесса по нескольким специальностям и профилю подготовки, при приложении одинаковых усилий в едином пространственном поле (ОИВТ) различия характеристик процесса подготовки специалистов могут быть обусловлены результатами учебно-методической деятельности по данным специальностям и профилю подготовки.

Выбор модельного эксперимента в качестве средства педагогического проектирования учебно-методической деятельности обеспечил некоторую автономность экспериментальных объектов, возможность сравнения результативности учебно-методической деятельности со специально выбранным, контрольным объектом.

В качестве такого объекта нами были избраны направление подготовки 080100.62 «Экономика» профиль «Экономика предприятий и организаций» (40 студентов), направление подготовки 080200.62 «Менеджмент» профиль «Производственный менеджмент» (27 студентов), имеющие сходные параметры с экспериментальными объектами: наличие выпускающей кафедры, сходного качественного состава преподавателей, общность базовых задач профессиональной подготовки и развития специальностей. Данное условие было призвано обеспечить необходимую объективность сравнения.

Оценка эффективности была проведена с помощью комплекса методов (анализ документации, анкетирование, опрос, методы математической статистики), в числе которых наибольшую смысловую нагрузку несла экспертная оценка. При недостатке количественных показателей и прямых эмпирических данных об объекте изучения, экспертная оценка является единственным приемлемым методом оценивания, однако в методологических работах указывается на обязательное в этом случае требование - адаптировать ее процедуру к условиям конкретной опытно-экспериментальной работы [138]. В частности, в нашем случае требовалось объединить внешнюю и внутреннюю (по отношению к пространственному полю модельных экспериментов) экспертизу, организовать работу экспертов с эмпирическими данными, промежуточными оценками и суждениями, а также установить в процессе совещания единую шкалу оценивания. При этом очень важным мы считали добиться единых подходов к оцениванию, что являлось условием объективности дальнейших выводов и обобщений. Для этого оценка эффективности учебно-методической деятельности, по единогласному мнению экспертов, определялась не в связи со статистическим функционированием, а в связи с развитием технического вуза и отрасли водного транспорта, а далее с этой позиции разрабатывались критерии оценивания.

В качестве экспертов привлекались руководители направлений подготовки (специальностей), охваченных экспериментом, ведущие специалисты учебно-методического совета НГАВТ и учебно-методического отдела ОИВТ (всего 10 человек).

С учетом максимального обобщения критериев оценки, для перевода качественных суждений в баллы нами была предложена следующая шкала:

- 0 баллов - учебно-методическая деятельность в данной предметной области не отвечает потребностям развития технического вуза и отрасли в целом;

- 1 балл - учебно-методическая деятельность в оцениваемой предметной области обеспечивает выполнение основных функций образовательного процесса, функционирование вуза как педагогической системы;

- 2 балла - учебно-методическая деятельность технического вуза в процессе подготовки специалистов водного транспорта не только обеспечивает выполнение основных функций, но и развитие вуза как педагогической системы.

В итоге, каждая предметная область могла быть оценена в пределах от 0 до 2 баллов, а учебно-методическая деятельность в целом - от 0 до 8 баллов.

Так как в процессе опытно-экспериментальной работы нас в равной степени интересовали результативные и динамические характеристики, были определены контрольные точки (КТ), в которых производилась оценка эффективности учебно-методической деятельности. В соответствии с логикой исследования контрольные точки имели временное совпадение с этапами реализации проекта учебно-методической деятельности:

- КТ-1 - март 2011 г. (начало организационного этапа). Фактически, в этот момент учебно-методическая деятельность должна иметь параметры, характерные для практики, сложившейся до начала опытно-экспериментальной работы;

- КТ-2 - июнь 2011 г. (начало преобразующего этапа). Мы предполагали, что в этот период в параметрах учебно-методической деятельности должны проявиться изменения, вызванные изменением ее организационных условий;

- КТ-3 - июнь 2012 г. (начало корректировочного этапа). В случае, если положения гипотезы исследования верны, использование педагогического проектирования в качестве метода организации учебно-методической деятельности, должно изменить параметры процесса подготовки специалиста;

- КТ-4 - июнь 2013 г. (рефлексивный этап).

В этот период времени, согласно нашему предположению, организация учебно-методической деятельности обеспечит инновационный характер развития технического вуза.

Экспертная оценка предусматривала следующие действия диссертанта и экспертов:

- проведение предварительного совещания, на котором обсуждались и устанавливались подходы к оцениванию, принимались критерии и шкалы оценки;

- сбор эмпирических данных по программе опытно-экспериментальной работы, а также данных, которые были затребованы экспертами;

- осуществление экспертной оценки, статистическая обработка данных экспертизы, формирование обобщений и выводов.

Выносилась экспертная оценка в каждой предметной области, затем определялась суммарная оценка, выполнялись статистические операции с экспертными оценками. Отметим, что кроме экспертизы в процессе рефлексии результатов модельных экспериментов, использовались анализ документов, опрос, беседа и другие методы, обеспечивавшие косвенные оценки. При этом для объективного сравнения максимально использовались те методы, с помощью которых проводилась диагностика существующей практики (параграф 2.1).

Сравнение в предметной области «Формирование и развитие субъектов образовательного процесса»

Показателем эффективности учебно-методической деятельности в данной предметной области (субъектный критерий) ранее мы определили наличие групповых и индивидуальных субъектов, готовых и способных обеспечивать создание в образовательном процессе технического вуза триединого инновационного продукта для отрасли водного транспорта: инновационного знания, инновационного носителя этого знания и ресурса отраслевых и педагогических инноваций. Естественно, полноценное представление о степени

готовности разных категорий субъектов образовательного процесса формировалось с помощью разных методов диагностики.

Так, готовность студентов как субъектов образовательного процесса определялась с помощью опроса, процедура которого описана в параграфе 2.1. Испытуемым предлагалось охарактеризовать основные формы и методы работы в рамках учебных дисциплин профессионального блока.

Относительная однородность результатов (статистических данных), вычисленная с использованием критерия Смирнова в среде Exel [41], позволяет нам объединить результаты, полученные при исследовании экспериментальных объектов в одну группу. В долевом отношении к общей численности студентов результаты контроля представлены на рисунке 6.

Рисунок 6. Результаты проверки готовности студентов к работе в новых формах учебной деятельности

Отметим наиболее существенные аспекты полученных результатов. Во- первых, число студентов, не имеющих представления о формах учебной деятельности, а, следовательно, не являющихся полноценными субъектами образовательного процесса, составило всего 6 человек (4,3% от общего числа),

а еще 17 человек (12,2%) обладают лишь частичными представлениями о формах учебной деятельности, своей роли и роли преподавателя как субъектов образовательного процесса. Доля таких студентов уменьшилась на 33,6% по сравнению с аналогичной долей, выявленной при первичной диагностике (параграф 2.1), она ниже, чем число студентов такой категории в контрольной группе (20,9% от общего числа). В то же время увеличилась доля студентов, обладающих полноценными представлениями об учебной деятельности в рамках различных форм учебной работы, до 39,6% от общего числа по сравнению с 9,6% до начала модельного эксперимента; в контрольной группе таких студентов оказалось только 12 (7,5%). Наше внимание привлекло то, что результаты контрольной группы незначительно отличаются от результатов первичной диагностики, что позволяет предположить связь позитивных изменений с опытно-экспериментальной работой.

Несколько сложнее было оценить степень готовности преподавателей к созданию в образовательном процессе технического вуза триединого инновационного продукта для отрасли водного транспорта.

Вовлеченные в силу необходимости в работу по внедрению новых образовательных стандартов, они, так или иначе, повышали свою квалификацию и педагогическое мастерство, причем этот процесс был обусловлен не только их участием в учебно-методической деятельности, но и многими другими факторами. В силу этого любая оценка здесь могла использоваться только как косвенная.

Необходимые данные были получены в процессе анализа отчетных документов за 2011-2012 и 2012-2013 учебные годы. При наличии сходства формальных характеристик (выполнение квалификационных требований к должностям профессорско-преподавательского состава выпускающих кафедр по избранным специальностям, число преподавателей, имеющих ученое звание и степень, и др.) были обнаружены различия в показателях, отражающих активность преподавателей в учебно-методической деятельности и собственно в образовательном процессе. Отобрав сведения, которые касались непосредственно характеристики педагогов как субъектов образовательного процесса, мы сгруппировали их в таблицу 1.

Данные таблицы показывают, что число преподавателей, активно участвовавших в учебно-методической деятельности, среди тех, кто был охвачен модельными экспериментами, в среднем составило 30 человек, в то время, как среди преподавателей, обеспечивавших образовательный процесс по специальностям и профилям подготовки, не включенным в модельные эксперименты, аналогичный показатель составил 15 человек.

Таблица 1

Показатели участия преподавателей в учебно-методической деятельности
Показатели Результат
эксперимент.

объекты

контрольные

объекты

Общее число проведенных открытых занятий 37 23
Общее число взаимопосещений занятий (кроме открытых) 56 41
Количество премирований преподавателей по результатам учебного процесса 23 4
Количество преподавателей, прошедших курсы повышения квалификации 32 11
Количество преподавателей, участвовавших в обучающих семинарах и других мероприятиях 27 13
Число преподавателей, принимавших участие в работе учебно-методического отдела 9 1
Количество премирований преподавателей по результатам учебно-методической деятельности 29 7

Анкетирование (приложение 1) выявило изменение отношения преподавателей к учебно-методической деятельности как фактору, оказывающему влияние на качество подготовки преподавательского состава (рисунок 7). Число опрошенных преподавателей, охваченных модельными экспериментами, составило 58 человек; число опрошенных преподавателей, осуществлявших учебный процесс по направлениям подготовки, избранными нами в качестве контрольного объекта, - 32 человека.

Как это видно из диаграмм на рисунке 7, только 3,4% преподавателей, охваченных опытно-экспериментальной работой, не считают, что учебно­методическая деятельность технического вуза обеспечивает полноценную подготовку педагога как субъекта образовательного процесса. Напротив, 82,7% уверены, что такая подготовка обеспечивается учебно-методической деятельностью вуза полностью, или же в этой деятельности задается вектор самостоятельного профессионального развития преподавателя. Сравнив полученные данные, можно сказать, что для контрольного объекта они приближены к результатам, полученным в ходе начальной диагностики.

Рисунок 7. Оценка преподавателями роли учебно-методической деятельности вуза в их подготовке к ведению учебных дисциплин (по итогам модельных экспериментов)

Для того чтобы оценить степень готовности групповых субъектов к созданию в образовательном процессе технического вуза триединого инновационного продукта для отрасли водного транспорта, мы опять обратились к анализу отчетных документов. Такая оценка носит

предварительный характер, т.к. проявление готовности учебного или педагогического коллектива в реальной практике носит длительный характер, его наличие и активность можно будет констатировать позднее. Однако, ориентируясь даже на предварительные данные, можно утверждать, что в этом направлении в рамках модельных экспериментов созданы более благоприятные условия для обеспечения требуемой готовности, а именно:

- в процессе модельных экспериментов созданы рабочие методические группы, которые обеспечивают методическую разработку 87,0% учебных дисциплин. Для сравнения в контрольном объекте групповой методической работой охвачено только 42,0% дисциплин учебного плана;

- реализация разработанных педагогических технологий потребовала создания в экспериментальных объектах 8 смешанных (преподаватель и студенты) и 5 студенческих научно-исследовательских коллективов. Деятельность этих коллективов разворачивалась, в том числе, в рамках модельного эксперимента № 2 (специальность 180407.65 «Эксплуатация судового электрооборудования и средств автоматики») при организации научно-исследовательской и конструкторской работы студентов и преподавателей в лабораториях завода и по практическим заявкам ОАО «Иртышское пароходство». Аналогичных коллективов в контрольных объектах создано не было;

- по результатам экспресс-опроса согласились с тем, что методическая работа кафедр имеет характер коллективного взаимодействия, почти 60,0% преподавателей, участвовавших в опытно-экспериментальной работе. Преподавателями контрольной группы было высказано мнение об индивидуальном характере проводимой ими методической работы;

- все 12 учебных групп, участвующих в опытно-экспериментальной работе, на сегодняшний день имеют опыт и навыки успешной групповой работы в рамках образовательного процесса.

Наконец, решающую роль в рефлексии хода и результатов модельных экспериментов имела экспертная оценка. Оценка, выставленная экспертами в данной предметной области - «Формирование и развитие субъектов

образовательного процесса» - в соответствии с представленной нами ранее оценочной шкалой, внесена в таблицу 2. Однородность данных, подтвержденная с помощью статистического критерия Смирнова, позволяет производить с ними некоторые обобщающие действия, в частности - представление выборки через среднее арифметическое значение.

Таблица 2

Экспертная оценка учебно-методической деятельности в предметной

области «Формирование и развитие субъектов образовательного процесса»

Оцениваемые

объекты

Точки

замера

Эксперты Средняя

оценка

1 2 3 4 5 6 7 8 9 10
Модельный эксперимент № 1 КТ-1 0 0 1 1 1 1 0 2 1 0 0,7
КТ-2 1 1 1 1 2 1 0 2 1 1 1,1
КТ-3 1 2 2 2 2 2 1 2 1 2 1,7
КТ-4 2 2 2 2 2 2 1 2 1 2 1,8
Модельный эксперимент № 2 КТ-1 0 1 1 1 1 1 1 1 0 1 0,8
КТ-2 1 1 1 2 2 2 1 1 1 2 1,4
КТ-3 2 1 2 2 2 2 2 1 2 2 1,8
КТ-4 2 2 1 2 2 2 2 2 2 2 1,9
Модельный эксперимент № 3 КТ-1 0 0 0 0 1 1 1 1 1 1 0,6
КТ-2 1 2 1 1 1 1 1 2 2 1 1,3
КТ-3 1 2 1 1 1 1 2 2 2 1 1,4
КТ-4 2 2 1 2 2 2 2 2 2 2 1,9
Контрольный

объект

КТ-1 0 1 0 1 0 0 1 2 1 1 0,7
КТ-2 1 1 1 1 2 1 1 1 0 1 1
КТ-3 2 1 1 1 2 1 2 1 1 1 1,3
КТ-4 1 2 1 1 1 1 1 2 1 1 1,2

Анализируя данные, представленные в таблице, отметим, что позитивные изменения экспертных оценок заметны во всех модельных экспериментах: рост от 0,6-0,7 балла до 1,8-1,9 балла, т.е. в 2,4-3,2 раза. Относительно контрольного объекта средняя экспертная оценка (при наличии примерно одинаковых значений в начале эксперимента по всем четырем специальностям и профилю подготовки - 0,6-0,8 балла) повысилась с 0,7 балла до 1,2 балла, т.е. в 1,7 раза.

Кроме выявленного единства экспертов в оценках учебно-методической деятельности, была обнаружена сходная динамика изменения средних экспертных оценок при представлении полученных данных в виде графиков (рисунок 8).

Так, наиболее интенсивное их изменение приходится на организационный этап (участок графика между КТ-1 и КТ-2), в содержании которого основной объем занимает деятельность, обеспечивающая, прежде всего, методическую подготовку преподавателей, а также задание организационных параметров учебно-методической деятельности, - рост составил 0,4-0,6 баллов.

Рисунок 8. Динамика изменения средних экспертных оценок в предметной области «Формирование и развитие субъектов образовательного процесса»

Примечание. 1-4 - контрольные точки.

Второй по интенсивности изменений средних экспертных оценок участок соответствует преобразующему этапу (участок графика между КТ-2 и КТ-3). Этот факт мы связываем с акцентом на подготовку студентов как субъектов учебно-методической деятельности. Вместе с тем, наибольшие расхождения в графиках приходятся на преобразующий (участок графика между КТ-2 и КТ-3) и корректирующий этапы (участок графика между КТ-3 и КТ-4), на которых субъекты образовательного процесса в рамках модельных экспериментов активно участвовали в учебно-методической деятельности.

В свою очередь, анализ графика изменения средних экспертных оценок относительно контрольного объекта показывает, что данные изменения были не всегда позитивными. Общую картину составляет то, что с одной стороны, учебно-методическая деятельность ни в одной контрольной точке графика не оценена выше, чем в любом из модельных экспериментов, а с другой, график демонстрирует участки как повышения, так и снижения средней экспертной оценки.

Сравнение в предметной области «Создание образовательных технологий»

Для сравнения мы выбрали учебно-методические комплексы дисциплин базового блока, разработанные в 2011-2012 уч. г. в рамках модельных экспериментов (всего 70) и в рамках профилей подготовки, избранных в качестве контрольного объекта (также всего 70). При сравнении мы ориентировались на те же частные показатели технологического критерия, что и при первичной диагностике, а именно:

1) подготовка специалиста водного транспорта в процессе создания инновационного для отрасли знания;

2) единство принципов и методологических подходов в преподавании учебных дисциплин одного учебного плана;

3) непосредственное участие профильных научных организаций в создании образовательных технологий;

4) участие в реализации образовательного процесса, в научной и практической работе будущих специалистов водного транспорта стратегических партнеров (предприятий, организаций, учреждений водного

транспорта, органов управления отраслью, профсоюзных организаций и объединений).

В диаграмме на рисунке 9 представлены полученные данные. Анализ результатов показывает, что в отношении модельных экспериментов более половины оцениваемых учебно-методических комплексов соответствуют выделенным показателям.

Однако в количественном отношении видна разница результатов. Так, учебно-методические комплексы контрольного объекта в наибольшей степени соответствуют показателю «единство принципов и методологических подходов в преподавании учебных дисциплин одного учебного плана» (24 комплекса из 70, т.е. 34,3%). По остальным трем показателям подобное соответствие было выявлено лишь у 2,8-12,8% от общего числа проанализированных учебно­методических комплексов.

250
200
= Контрольный объект
150
■■■ Модельный эксперимент № 3
^ Модельный эксперимент № 2
100
Модельный эксперимент № 1
Рисунок 9. Число учебно-методических комплексов, соответствующих
выделенным показателям
Примечание. 1-4 - показатели технологического критерия.

В модельных же экспериментах ориентация на подготовку специалиста водного транспорта в процессе создания инновационного для отрасли знания (первый показатель) была выявлена в среднем в 39,0% учебно-методических комплексах; на основании единства принципов и методологических подходов в преподавании учебных дисциплин одного учебного плана (второй показатель) были разработаны 89,0% комплексов; непосредственное участие профильных научных организаций в создании образовательных технологий (третий показатель) предусматривалось в 24,3% комплексов; а участие в реализации образовательного процесса, в научной и практической работе будущих специалистов водного транспорта стратегических партнеров (четвертый показатель) - в 47,1% от общего числа проанализированных учебно­методических комплексов.

Как видим, при относительном сходстве модельных экспериментов по числу комплексов, соответствующих избранным нами показателям, свидетельствующим об использовании инновационных образовательных технологий, учебно-методические комплексы контрольного объекта значительно отстают от них. Можно предположить, что разработка современных образовательных технологий связана с ходом опытно­экспериментальной работы и, в частности, с организацией учебно - методической деятельности вуза с помощью педагогического проектирования.

Учебно-методическая деятельность в данной предметной области также подвергалась внешней и внутренней экспертизе. Свою оценку эксперты формировали на основе результатов самообследования технического вуза, проверки и оценки готовности учебно-методических комплексов, а также результатов учебного процесса (таблица 3). Как и в предыдущем случае, использование среднего арифметического в экспертной оценке обоснована соблюдением требования однородности, которое мы проверяли, вычисляя критерий Смирнова, обрабатывая данные в программной среде Exel.

Данные, размещенные в таблице, опять отражают позитивные изменения экспертных оценок заметны во всех модельных экспериментах: рост от 0,2-0,4 балла до 1,6-1,9 балла, т.е. в 4,5-8 раза. Относительно контрольного объекта средняя экспертная оценка, при наличии даже несколько более высокого начального балла (0,5 балла), повысилась лишь до 0,9 балла, т.е. в 1,9 раза.

Таблица 3

Экспертная оценка учебно-методической деятельности в предметной

области «Создание образовательных технологий»
Оцениваемые

объекты

Точки

замера

Эксперты Средняя

оценка

1 2 3 4 5 6 7 8 9 10
Модельный эксперимент № 1 КТ-1 0 0 1 0 0 1 0 0 0 0 0,2
КТ-2 1 1 1 1 0 1 1 0 1 1 0,8
КТ-3 1 2 1 2 1 1 2 0 1 1 1,2
КТ-4 1 2 2 2 2 2 2 1 1 1 1,6
Модельный эксперимент № 2 КТ-1 0 0 1 1 1 0 1 0 0 0 0,4
КТ-2 1 0 1 2 1 0 2 1 1 0 0,9
КТ-3 2 1 2 2 1 1 2 2 1 1 1,5
КТ-4 1 2 2 2 2 2 2 2 2 2 1,9
Модельный эксперимент № 3 КТ-1 1 0 0 1 0 0 0 1 1 0 0,4
КТ-2 1 1 0 1 0 0 1 1 1 1 0,7
КТ-3 1 1 1 2 1 1 1 2 1 2 1,3
КТ-4 2 2 1 2 1 2 2 2 2 2 1,8
Контрольный

объект

КТ-1 0 1 0 0 0 1 0 0 1 2 0,5
КТ-2 1 2 1 0 0 0 1 0 0 1 0,6
КТ-3 1 1 1 1 1 0 0 1 1 0 0,7
КТ-4 0 1 1 1 1 1 1 1 2 0 0,9

Динамику изменений в оценке учебно-методической деятельности мы снова проиллюстрировали с помощью графиков (рисунок 10).

В динамике изменений средних оценок в рамках модельных экспериментов мы отмечаем сходство, которое проявилось в более значительном росте оценок: 1) на организационном этапе (участок графика между КТ-1 и КТ-2), в содержании которого основной объем занимала деятельность, обеспечивавшая, прежде всего, подготовку преподавателей к учебно-методической деятельности в период освоения новых образовательных стандартов, а также задание организационных параметров этой деятельности, - рост составил 0,3-0,4 балла; 2) на преобразующем этапе (участок графика между КТ-2 и КТ-3), в ходе которого разрабатывались учебно-методические комплексы, - рост составил 0,5-0,6 балла.

Рисунок 10. Динамика изменения средних экспертных оценок в предметной области «Создание образовательных технологий»

Примечание. 1-4 - контрольные точки.

Оценка в предметной области «Управление образовательным процессом»

Диагностируя существующую практику с помощью организационного критерия, мы отмечали, что учебно-методическая деятельность вуза не принимается в ней как деятельность управления. Надо отметить, что в подготовке специалистов по направлению (специальности), избранному в качестве контрольного объекта, отношение к учебно-методической деятельности как обеспечивающей, а не управляющей, сохранилось, т.е. была констатирована резко заметная разница в оценке роли учебно-методической деятельности в организации образовательного процесса.

Следующим действием стала оценка эффективности учебно­методической деятельности в управлении техническим вузом в процессе подготовки специалистов водного транспорта. В определении частных показателей, с помощью которых целесообразно осуществлять оценку, мы опирались на работы А. Г. Аганбеляна [2], А. М. Цешинского [209], О. Б. Яреся [223] и других авторов. Ими предложен довольно обширный перечень показателей оценки эффективности управления организационными системами, среди которых непосредственно с учебно-методической деятельностью вуза как целостной системы могут быть связаны:

- степень соответствия деятельности управляющих органов и субъектов учебно-методической деятельности их роли и задачам в системе управления;

- законность управленческих действий на всех уровнях организации учебно-методической деятельности;

- реальность и рациональность управляющих воздействий через учебно­методическую деятельность;

- характер и объем управленческого взаимодействия между субъектами и органами учебно-методической деятельности, а также управляемыми объектами;

- соответствие организации учебно-методической деятельности интересам педагогического коллектива и ее популярность;

- открытость и доступность управления.

Методом, с помощью которого можно оценить роль и значение учебно­методической деятельности в структуре управления техническим вузом, мы избрали анкетирование руководителей кафедр, органов управления и структурных подразделений вуза (всего 17 человек), которые в соответствии со своими должностными обязанностями находятся в центре управленческих механизмов. Предлагая нашим собеседникам анкету (приложение 14), мы просили их оценить предложенные утверждения по 10-балльной шкале, в которой оценка предполагала движение по нарастающей от 0 баллов - «суждение абсолютно не верно» - до 10 баллов - «суждение абсолютно верно». Обработка результатов анкетирования заключалась в определении моды - статистической характеристики выборки, которая отражает наиболее часто встречающееся значение показателя. Результаты, оформленные в виде диаграммы, представлены на рисунке 11.

Утверждение 7 Утверждение 6 Утверждение 5 Утверждение 4 Утверждение 3 Утверждение 2 Утверждение 1 0
7 1

Рисунок 11. Результаты анкетирования руководителей структурных подразделений (мода)

Как видно, руководители достаточно позитивно оценивают роль учебно - методической деятельности в системе управления, которую она приобрела в ходе модельных экспериментов (утверждение № 1 - 7 баллов). Максимальным числом - 9 баллами - была оценена законность управленческих действий на всех уровнях организации учебно-методической деятельности (утверждение № 3). 8 баллами было оценено соответствие деятельности управляющих органов и субъектов учебно-методической деятельности их роли и задачам в системе управления (утверждение № 2); соответствие учебно-методической

деятельности интересам педагогического коллектива (утверждение № 6); обеспечение учебно-методической деятельностью открытости и доступности управления для всего коллектива (утверждение № 7). В то же время оценка утверждения № 5 демонстрирует, что характер и объем управленческого взаимодействия между субъектами и органами учебно-методической деятельности, а также управляемыми объектами, по мнению респондентов, еще достаточно далек от оптимального. Однако в сравнении с оценками существовавшей практики до начала модельных экспериментов можно утверждать, что эффективность учебно-методической деятельности изменилась в позитивном направлении.

Это суждение подтверждается экспертными оценками в данной предметной области (таблица 4).

Таблица 4

Экспертная оценка учебно-методической деятельности в предметной

области «Управление образовательным процессом»

Оцениваемые

объекты

Точки

замера

Эксперты Средняя

оценка

1 2 3 4 5 6 7 8 9 10
Модельный эксперимент № 1 КТ-1 1 1 1 0 1 1 0 1 0 0 0,6
КТ-2 2 2 2 2 1 2 1 2 1 2 1,7
КТ-3 2 2 2 2 1 2 2 2 1 1 1,7
КТ-4 2 2 2 2 2 2 2 2 1 2 1,9
Модельный эксперимент № 2 КТ-1 0 1 1 1 1 0 1 0 0 0 0,5
КТ-2 1 2 2 2 1 1 2 1 1 1 1,4
КТ-3 2 2 2 2 1 1 2 1 1 1 1,5
КТ-4 2 2 2 2 2 2 2 2 2 2 2
Модельный эксперимент № 3 КТ-1 1 1 1 0 0 1 0 1 1 1 0,7
КТ-2 2 2 2 1 1 2 1 2 2 2 1,7
КТ-3 2 2 2 2 1 2 1 2 2 2 1,8
КТ-4 2 2 2 2 1 2 2 2 2 2 1,9
Контрольный

объект

КТ-1 1 1 0 0 0 2 0 0 1 2 0,7
КТ-2 0 1 1 0 1 0 0 0 0 2 0,5
КТ-3 1 2 0 0 0 0 0 1 0 0 0,4
КТ-4 1 1 0 0 1 1 1 1 1 0 0,7

Как и при экспертизе в двух предшествующих предметных областях, табличные данные отражают позитивные изменения средних экспертных оценок во всех модельных экспериментах: рост от 0,5-0,7 балла до 1,9-2,0 балла, т.е. в 2,7-4,0 раза. Относительно контрольного объекта средняя экспертная оценка, при сходстве ее значения оценкам в модельных экспериментах, в итоге осталась прежней (0,7 балла).

Анализируя полученные результаты, мы сделали вывод, что в модельных экспериментах удалось не только включить учебно-методическую деятельность в систему управления образовательным процессом, но и обеспечить ей одну из ведущих ролей. Как и в двух предыдущих случаях, представив данные в виде графиков, мы обнаружили сходную для модельных экспериментов динамику (рисунок 12).

Рисунок 12. Динамика изменения средних экспертных оценок в предметной области «Управление образовательным процессом»

Примечание. 1-4 - контрольные точки.

Мы отметили, что средние экспертные оценки в ходе модельных экспериментов наиболее интенсивно изменилась в организационный период (участок графика между КТ-1 и КТ-2) - рост составил 0,9-1,0 балл, что совпадает с логикой опытно-экспериментальной работы. Вместе с тем, экспертная оценка подтвердила наше предположение, что вне модельных экспериментов статус учебно-методической деятельности в системе управления образовательным процессом вуза не изменился.

Оценка в предметной области «Внешние связи вуза»

В качестве обобщенных показателей критерия внешних связей, как на этапе начальной диагностики, мы выбрали способность вуза реагировать на общие изменения в отрасли и отраслевом высшем профессиональном образовании, а также влияние учебно-методической деятельности вуза на развитие отраслевого высшего профессионального образования. Попробуем конкретизировать данные показатели.

Реакция на изменения в отрасли и отраслевом высшем профессиональном образовании может определяться связями, которые сложились у вуза со стратегическими партнерами, ведущими научно-исследовательскими и конструкторскими организациями отрасли, а также отраслевым учебно­методическим объединением вузов. Так как все эти связи, согласно системному подходу, оказывают влияние на эффективность учебно-методической деятельности по всем специальностям и профилю подготовки, как и в предыдущем случае, трудно осуществить сравнение, поскольку и экспериментальные, и контрольный объекты находятся в одном пространственном поле. Поэтому ограничимся оценкой только учебно - методической деятельности в рамках модельных экспериментов.

Основным методом оценки был избран анализ отчетных документов, приказов и распоряжений, а также договорной базы, которая формирует внешние связи вуза. Изучая документы отчетного периода, мы определяли количество партнеров - предприятий отрасли, предприятий смежных отраслей, организаций управления отраслью, общественных, профсоюзных и ветеранских организаций водного транспорта, с которыми вуз взаимодействует в процессе подготовки специалистов. Результат преобразовывался в графический вид, позволяющий наглядно оценить развитие внешних связей (рисунок 13).

Участие вуза в работе учебно-методических объединений и новые практические и научно-исследовательские партнерские связи вуза нами подробно описаны в предыдушем параграфе. Отметим только, что в приказах и

распоряжениях НГ АВТ они оцениваются как позитивные и активно влияющие

на развитие ОИВТ. Общее же число партнеров вуза увеличилось с двух до 21.

Рисунок 13. Развитие внешних связей вуза в процессе опытно - экспериментальной работы

Показателями влияния вуза на развитие отраслевого высшего профессионального образования мы можем считать доклады и выступления его работников на учебно-методических объединениях, количество изданных учебников и учебно-методических пособий, рекомендованных учебно­методическим объединением, а также Министерством образования и науки РФ для подготовки специалистов водного транспорта. Кроме того, косвенными показателями можно считать объем учебной, учебно-методической и справочной литературы, изданной для студентов и преподавателей, к которой относятся сборники задач, методические рекомендации, справочники, изданные лекционные материалы и др. Несосменно, следовало учесть и развитие открытых образовательных ресурсов, которые пока учесть достаточно сложно. В качестве показателя нами было взято количество электронных учебных курсов, созданных на платформах МООДУС и ПРОМЕТЕЙ и размещенных на образовательном портале вуза (таблица 5).

Таблица 5

Показатели использования средств влияния вуза

на развитие отраслевого высшего профессионального образования

п/п

Показатель Результат
2009-2011 гг. 2011-2013 гг.
1. Доклады и выступления на учебно-методических объединениях 0 4
2. Издание учебников, рекомендованных УМО и Минтранс РФ 1 3
3. Издание учебно-методических пособий, рекомендованных УМО и Минтранс РФ 4 13
4. Издание учебной, учебно-методической и справочной литературы 22 79
5. Разработка и размещение на образовательном портале вуза электронных учебных курсов 6 53

Исходя из представленных данных, можно судить о росте всех учтенных показателей в ходе модельных экспериментов. Однако, считая эти показатели косвенными, мы опирались, прежде всего, на экспертную оценку учебно­методической деятельности в данной отрасли (таблица 6). Для модельных экспериментов в данном случае она была единой и не разделялась.

Таблица 6

Экспертная оценка учебно-методической деятельности

в предметной области «Внешние связи вуза»

Оцениваемые

объекты

Точки

замера

Эксперты Средняя

оценка

1 2 3 4 5 6 7 8 9 10
Модельные

эксперименты

КТ-1 0 0 1 1 0 0 0 0 0 0 0,2
КТ-2 1 1 1 2 0 1 1 1 1 1 1
КТ-3 2 1 2 2 1 1 2 2 2 1 1,6
КТ-4 2 2 2 2 1 2 2 2 1 2 1,8
Контрольный

объект

КТ-1 0 0 0 0 0 1 0 0 1 1 0,3
КТ-2 0 0 0 0 1 1 0 0 0 1 0,3
КТ-3 1 1 0 1 0 0 0 1 0 0 0,4
КТ-4 0 1 1 0 1 1 1 1 1 0 0,7

Позитивные изменения средних экспертных оценок в модельных экспериментах выразились ростом от 0,2 балла до 1,8 балла, т.е. в 9 раз.

Относительно контрольного объекта средняя экспертная оценка выросла с 0,3 балла до 0,7 балла, т.е. в 2,3 раза.

Динамические изменения в оценке предметной области выглядят не менее убедительно, чем результативные (рисунок 14).

Рисунок 14. Динамика изменения средних экспертных оценок в предметной области «Внешние связи вуза»

Судя по экспертным оценкам, интенсивность развития внешних связей вуза как предметной области учебно-методической деятельности постоянно нарастала без скачков и участков особой интенсивности.

Оценка эффективности учебно-методической деятельности в модельных экспериментах

Суммируя экспертные оценки в контрольных точках по каждому модельному эксперименту, можно определить и эффективность учебно­методической деятельности в техническом вузе, организованной с помощью педагогического проектирования.

Прежде всего, вернемся к модельным экспериментам и контрольному объекту. Суммарная экспертная оценка учебно-методической деятельности в ее динамике будет выглядеть так, как это показано на графике (рисунок 15).

Рисунок 15. Суммарная экспертная оценка учебно-методической деятельности в ее динамике

Представленные данные демонстрируют, что на протяжении опытно - экспериментальной работы оценка учебно-методической деятельности в модельных экспериментах изменялась почти синхронно, причем с большим отрывом от аналогичных оценок по контрольному объекту. Вместе с другими данными, полученными при оценке учебно-методической деятельности в различных ее предметных областях, этот факт позволяет сформулировать вывод о том, что учебно-методическая деятельность технического вуза в модельных экспериментах более эффективна, чем в сложившейся ранее практике.

Сравнение результатов и наблюдение за динамикой изменения экспертной оценки в разных предметных областях, показало, что во всех трех модельных экспериментах эти изменения подчиняются единой логике и, в целом, соответствуют логике опытно-экспериментальной работы. Из этого следует вывод о том, что изменения эффективности учебно-методической деятельности во всех трех модельных экспериментах совпадают. Вместе с тем, динамика оценки учебно-методической деятельности относительно выбранного нами контрольного объекта, сходного по параметрам с модельными экспериментами, была иной.

Далее остановимся на некоторых аспектах организации модельных экспериментов.

Во-первых, учебно-методическая деятельность в модельных

экспериментах осуществлялась в рамках единых для всего технического вуза, готовящего специалистов водного транспорта, проблемном, временном и пространственном полях.

Во-вторых, нами были соблюдены правила формирования

репрезентативной выборки, отражающей наиболее существенные черты всей генеральной совокупности объектов.

В-третьих, выполнены правила формирования контрольных и экспериментальных объектов при сравнительных экспериментах. Кроме того, в качестве экспериментальных объектов были выбраны целостные педагогические системы, обладающими всеми признаками самостоятельности и макросистемы.

Обобщая эти положения, сформулируем следующий вывод: полученные в процессе опытно-экспериментальной работы результаты могут быть применимы ко всему вузу как генеральной выборке.

Далее, в соответствии с логикой исследования, постараемся доказать, что изменения эффективности учебно-методической деятельности связаны с педагогическим проектированием как способом ее организации. Для этого был выполнен частичный факторный анализ, методологию которого применительно к педагогическим системам изложена И. П. Подласым [151].

Первые исследовательские действия в факторном анализе не связаны непосредственно с опытно-экспериментальной работой. Изначально в процессе анализа теоретической литературы по проблеме исследования, при работе над основными его положениями мы сформировали перечень более чем 50 основных продуктогенных факторов эффективности учебно-методической деятельности вуза. Среди 317 преподавателей пяти вузов г. Омска (Омского государственного университета, Омского государственного педагогического университета, Сибирской государственной автомобильно-дорожной академии, Омского государственного технического университета, Омского государственного университета путей сообщения) мы провели опрос, в котором предлагали отметить наиболее значимые, на их взгляд, факторы, не ограничивая при этом респондентов числом выборов. Выполнив ранжирование, мы выделили 20 факторов эффективности, получивших наибольшее число выборов и которые по смыслу были отнесены к 5-ти генеральным факторам. Приняв суммарное число выборов за 100%, мы определили долю каждого фактора в общей сумме (таблица 7).

Таблица 7

Г енеральные факторы эффективности учебно-методической деятельности
Ранг Фактор Число выборов Доля, %
1 Способ организации 212 34,08
2 Стимулирование и мотивация 103 16,56
3 Управление и администрирование 112 18,01
4 Отношение коллектива 101 16,24
5 Внешнее влияние 94 15,11
Всего 622 100

Таким образом, на первом этапе факторного анализа мы выяснили, что ведущим фактором эффективности учебно-методической деятельности выступает способ ее организации. На этом предположении мы основывали рабочую гипотезу исследования.

Следующие действия факторного анализа были связаны с результатами опытно-экспериментальной работы. Экспертам, констатировавшим позитивные изменения эффективности учебно-методической деятельности, мы предложили ранжировать генеральные факторы по уровню оказанного влияния на результат. После определения суммарных рангов был проведен статистический анализ согласованности экспертных оценок с помощью коэффициента

конкордации, который, как правило, применяется при ранговых оценках и

12*5

т23 — л)

вычисляется по формуле:

Обработанные данные были представлены в таблице 8.

Ранжирование генеральных факторов эффективности учебно-

Таблица 8

методической деятельности экспертами

Фактор Эксперты Сумма

рный

ранг

о о2
1 2 3 4 5 6 7 8 9 10
Способ организации 1 1 1 1 2 1 2 1 1 1 12 18 324
Стимулирование и мотивация 4 4 4 4 4 4 3 3 4 4 38 -8 64
Управление и администрирование 3 2 3 2 2 2 1 2 2 2 20 10 100
Отношение

коллектива

2 3 2 3 3 3 4 4 3 3 30 0 0
Внешнее влияние 5 5 5 5 5 5 5 5 5 5 50 -20 400
Ср.сумма рангов 30
S 888
W 0,888

Полученное значение коэффициента конкордации близко к 1, таким образом, экспертные оценки можно признать не случайно согласованными.

Таким образом, способ организации учебно-методической деятельности с помощью педагогического проектирования, как следует из таблицы, можно считать базовым фактором повышения эффективности учебно-методической деятельности. Следовательно, гипотезу исследования можно считать доказанной.

<< | >>
Источник: Заславская Елена Алексеевна. Педагогическое проектирование учебно-методической деятельности технического вуза. 2014

Еще по теме 2.3. Оценка эффективности учебно-методической деятельности технического вуза в ходе опытно-экспериментальной работы:

  1. ГЛАВА 2. ОПЫТНО-ЭКСПЕРИМЕНТАЛЬНАЯ РАБОТА ПО ИССЛЕДОВАНИЮ ЭФФЕКТИВНОСТИ МОДЕЛИ И ТЕХНОЛОГИИ ФОРМИРОВАНИЯ ГОТОВНОСТИ КУРСАНТОВ ВУЗОВ МВД РФ К ИСПОЛЬЗОВАНИЮ РЕАБИЛИТАЦИОННОЙ ФИЗИЧЕСКОЙ КУЛЬТУРЫ В ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ
  2. 2.3 Анализ результатов опытно-экспериментальной работы по формированию коммуникативной составляющей ИКТ-компетентности будущих педагогов профессионального обучения средствами учебного блога
  3. 2.2. Организация и методика опытно-экспериментальной работы по изу­чению эффективности модели и технологии управления повышением квалификации педагогов в сетевом взаимодействии образовательных организаций
  4. 2.3. Анализ результатов опытно-экспериментальной работы по выявлению эффективности модели и технологии управления повышением квалифика­ции педагогов в сетевом взаимодействии образовательных организаций
  5. 2.1. Организация и методика опытно-экспериментальной работы по изучению эффективности модели и технологии управления сопровождением замещающих семей в муниципальной системе образования
  6. ГЛАВА 2. ОПЫТНО-ЭКСПЕРИМЕНТАЛЬНАЯ РАБОТА ПО АКТИВИЗАЦИИ УЧЕБНО-ПОЗНАВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ УЧАЩИХСЯ ПРОФЕССИОНАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ
  7. 2.1. Организация и содержание опытно-экспериментальной работы по проверке эффективности модели организационно-педагогических усло­вий развития профессиональной компетентности педагога
  8. 2.1 Организация и методики опытно-экспериментальной работы по выявлению эффективности комплексно-целевой программы коррекции девиантного поведения подростков средствами физической культуры и спорта
  9. 2.3. Анализ опытно-экспериментальной работы по выявлению эффективности комплексно-целевой программы коррекции девиантного поведения подростков средствами физической культуры и спорта
  10. Заславская Елена Алексеевна. Педагогическое проектирование учебно-методической деятельности технического вуза, 2014
  11. Этапы исследования.
  12. 1.2. Основные характеристики учебно-методической деятельности современного вуза в условиях модернизации
  13. 1.3. Модельный эксперимент как средство проектирования учебно­методической деятельности технического вуза, осуществляющего подготовку специалистов водного транспорта
  14. ГЛАВА 2. Опытно-экспериментальная работа по организации учебно-методической деятельности технического вуза в процессе подготовки специалистов водного транспорта
  15. Диагностика существующей практики учебно-методической деятельности технического вуза в процессе подготовки специалистов водного транспорта
  16. 2.2. Модельные эксперименты в организации учебно-методической деятельности технического вуза в процессе подготовки специалистов водного транспорта
  17. 2.3. Оценка эффективности учебно-методической деятельности технического вуза в ходе опытно-экспериментальной работы
  18. Выводы по главе 2
- Коучинг - Методики преподавания - Андрагогика - Внеучебная деятельность - Военная психология - Воспитательный процесс - Деловое общение - Детский аутизм - Детско-родительские отношения - Дошкольная педагогика - Зоопсихология - История психологии - Клиническая психология - Коррекционная педагогика - Логопедия - Медиапсихология‎ - Методология современного образовательного процесса - Начальное образование - Нейро-лингвистическое программирование (НЛП) - Образование, воспитание и развитие детей - Олигофренопедагогика - Олигофренопсихология - Организационное поведение - Основы исследовательской деятельности - Основы педагогики - Основы педагогического мастерства - Основы психологии - Парапсихология - Педагогика - Педагогика высшей школы - Педагогическая психология - Политическая психология‎ - Практическая психология - Пренатальная и перинатальная педагогика - Психологическая диагностика - Психологическая коррекция - Психологические тренинги - Психологическое исследование личности - Психологическое консультирование - Психология влияния и манипулирования - Психология девиантного поведения - Психология общения - Психология труда - Психотерапия - Работа с родителями - Самосовершенствование - Системы образования - Современные образовательные технологии - Социальная психология - Социальная работа - Специальная педагогика - Специальная психология - Сравнительная педагогика - Теория и методика профессионального образования - Технология социальной работы - Трансперсональная психология - Философия образования - Экологическая психология - Экстремальная психология - Этническая психология -