<<
>>

14.7.4 Критерии оптимальности планов дискриминирующих экспериментов

Исходя из соображений достаточно общего характера  можно показать, что экспериментальные данные никогда не могут подтвердить правомерность той или иной модели. Единственное, что можно сделать,— это показать, что результаты наблюдений не противоречат некоторой рассматриваемой гипотезе.

Известный английский философ К. Поппер  предложил даже отказаться от термина «проверка гипотез», заменив его термином «опровержимость гипотез». Если в результате исследования данная гипотеза не опровергается, то это еще не, значит, что гипотеза может быть принята, поскольку эти же результаты наблюдений могут не противоречить и множеству других, не высказанных гипотез. Результат исследования можно сделать существенно более убедительным, если ввести в рассмотрение несколько конкурирующих моделей.

Так приходится поступать при изучении механизма явлений; при этом, естественно, приходится обращаться к моделям, нелинейным по параметрам.

Для решения вопроса о том, какой из заданных моделей отдать предпочтение, необходима постановка так называемого дискриминирующего эксперимента. При этом точки плана выбираются по возможности таким образом, чтобы результаты измерений не были инвариантны относительно замены одной из конкурирующих моделей другой, т. е. эксперимент нужно выбрать так, чтобы поставить модели в критические условия.

Новая постановка задачи порождает новые критерии, совершенно отличные от рассмотренных выше. Один из критериев основан на некой мере, зависящей от разности между суммами квадратических отклонений. Для двух конкурирующих гипотез после проведения N наблюдений мы будем иметь дело с разностью

                            (14.57)

Если эта разность недостаточно велика для того, чтобы отдать предпочтение одной из конкурирующих гипотез, то следующий (N+1) -й эксперимент предлагается ставить в той точке, где ожидается ее максимальное значение.

Второй критерий основан на использовании модуля логарифма обобщенного отношения правдоподобия, вычисленного для двух конкурирующих гипотез— измерения размещаются так, чтобы добиться наискорейшего роста этой величины. Наконец, в третьем критерии в качестве меры для дискриминации гипотез используется хорошо известная в теории информации мера расхождения Кульбака — выбор оптимального плана сводится к максимизации этой величины. Здесь не имеется возможности  рассматривать эти критерии в деталях. Ограничимся  некоторыми замечаниями общеметодологического характера.

Эти критерии, а число их легко может быть увеличено, не могут быть рассмотрены в рамках единого аксиоматического построения. Попытка численного сопоставления путем моделирования задач на ЭВМ вряд ли будет полезной, поскольку для различных моделей, подлежащих дискриминации, мы будем получать разные результаты.

Система наших суждений станет еще менее четкой, если мы включим в рассмотрение одновременно две задачи: процедуру дискриминации и процесс уточнения параметров. Вторая из этих задач не требует формулировки новых критериев оптимальности. Здесь планы можно строить исходя из критерия D-оптимальности. Объединение двух задач в одну требует уже поиска экстремума для суммы двух членов, один из которых будет мерой дискриминации, другой — мерой точности оцениваемых параметров. Ясно, что оба члена этой суммы должны быть взяты с какими-то весами. Остается неясным, как выбрать эти веса и как изложить эту проблему в рамках дедуктивных построений.

Сейчас накопился уже большой опыт по практическому применению планирования дискриминирующих экспериментов, но еще недостаточно критически осмысленный. Имеются и прямые сопоставления, показывающие, что формализованные приемы планирования дискриминирующего эксперимента выигрывают по сравнению с традиционными методами выбора области эксперимента, основанными на интуиции.

Необходимо сделать несколько предостерегающих замечаний в адрес   формализованного   подхода к выбору   гипотез.

1.  У исследователя никогда не может быть уверенности в том, что, «истинная» в  каком-то  смысле  гипотеза включена в рассматриваемое множество моделей. И если в результате дискриминирующих экспериментов приписывается одной из гипотез какую-то высокую вероятность, то это утверждение нужно понимать в некотором весьма ограниченном смысле. Здесь речь идет о высокой вероятности гипотезы только по отношению к рассматриваемому в данном эксперименте множеству гипотез. Эта вероятность никоим образом не является мерой истинности в каком-то абсолютном смысле, ибо вполне возможно, что среди не включенных в рассмотрение моделей существует такая, которая будет лучше, чем принятая нами, или хотя бы не будет отличаться от нее в данном фиксированном интервале измерений.

2.  Следует помнить о том, что при дискриминации нелинейных по параметру  моделей,  претендующих на то, что они описывают механизм явлений, мы в действительности только проверяем их интерполяционную силу. Особенно явно это проявляется в задачах химической кинетики, где модели строятся так, что они отражают многообразие всех промежуточных реакций, а проверка модели происходит, как правило, по образованию окончательного продукта. Поэтому, что при экстраполяции лучшим может оказаться поведение той модели, которая при дискриминирующем эксперименте, проведенном в узком интервале изменения переменных, набрала мало очков. Ниоткуда не следует, что модель, которая ведет себя хорошо как интерполяционная в узкой области, действительно отражает всю сложность изучаемого явления и пригодна для экстраполяции.

3. В моделях с нелинейной параметризацией, несмотря на все ухищрения планирования, приходится сталкиваться с высокой закоррелированностью параметров. Представим себе, что исследователь или его оппонент, получив некоторую модель изучаемого явления, смогли затем как-то иначе представить себе механизм промежуточных реакций. Вид модели изменился, при этом изменяются и числовые оценки всех параметров, даже тех, которые выполняют, в новой модели ту же роль, которую они выполняли в старой модели.

Можно, конечно, попытаться изучать устойчивость модели к нарушению части исходных предпосылок, но такие исследования вряд ли дадут обнадеживающие результаты.

Все изложенные здесь трудности связаны с самой природой вещей. Если исследователь догадался и включил «истинную» модель в систему гипотез, подлежащих изучению, то планирование эксперимента позволит ему быстро прийти к правильному решению. Если же такой догадки не произошло, то исследователь долго будет блуждать в лабиринте своих гипотез, придавая по результатам эксперимента больший вес то одной, то другой модели.

Здесь предпринята попытка в едином, логическом, ракурсе посмотреть на существующее    многообразие идей и методов планирования эксперимента. Конечно, здесь не удалось построить всеобъемлющей теории, хотя некоторые основные идеи оптимальности эксперимента удается сформулировать и проследить вполне отчетливо.    Трудности построения общей, всеохватывающей теории связаны с тем, что в процессе экспериментальных   исследований часто приходится обращаться к таким приемам и такой постановке задач, которые не удается записать в виде отчетливых математических моделей. Единственное, что удается в этом случае — проводить обсуждение экспериментальных процедур в системе хотя бы в какой-то степени формализованных представлений. Сильная теория строится только для тех процедур экспериментального исследования, которые удается представить математическими моделями, исчерпывающим образом описывающими то, что предполагается изучить или сделать в процессе этого исследования. Основная проблема состоит в том, чтобы суметь глубоко формализовать, т. е. хорошо осмыслить логически то, что мы хотим делать при той или иной постановке задачи. Если это удается сделать, то дальше уже легко обсуждать вопрос об оптимальности. Планирование эксперимента — это раздел  знаний, относящийся не только и не столько к математической статистике, сколько к логике.

Те, кто занимается методологией планирования эксперимента, конечно, никогда не пытаются формализовать весь процесс экспериментального исследования.

Всегда неформализованными должны оставаться такие  составляющие исследования, как постановка самой  проблемы и выбор математической модели. Последнее включает  и выбор пространства независимых  переменных, и выбор той его области, где должно будет производиться экспериментальное исследование.

Одна из привлекательных особенностей математической теории эксперимента — это ее реалистичность. Теория оказалась в состоянии встретиться с той неопределенностью в постановке задач, которая характерна для человеческой деятельности даже в научных исследованиях. Различная степень реальности в постановке задач породила различную степень строгости теоретических построений. Отсюда — фрагментарность этой теории. Математическая теория эксперимента, как правило, не дает однозначных, безусловно, оптимальных решений. К этому, наверное, и не следует стремиться. Важно найти разумное решение, т. е. решение, поддающееся логическому осмысливанию, и, если оно найдено, оказывается возможным проводить обсуждение всей стратегии исследования с учетом особенностей той или иной конкретной задачи.

Несмотря на всю фрагментность математической теории эксперимента, она получила очень широкий отклик в своем практическом преломлении. Сейчас с использованием планирования эксперимента выполнено во всем мире более 100000 работ. Эти исследования охватывают самые разнообразные области экспериментальной деятельности— почти все разделы точных и гуманитарных наук; все разделы инженерно-технических исследований, включая и исследования, проводимые непосредственно на действующих фабриках и заводах; в медицине как непосредственно в процессе лечения (это  также экспериментальная деятельность), так и при отборе терапевтически активных препаратов; в сельскохозяйственных исследованиях; в криминалистике; в педагогической деятельности и т. д.

В одних случаях с помощью планирования эксперимента удалось избежать систематических ошибок, возникающих от скрытого влияния неконтролируемых переменных; в других случаях при решении экстремальных задач удалось значительно повысить выход нужного продукта, иногда даже в сотни раз (при этом экспериментаторы не боялись включать в программу сразу до 15 независимых переменных, а иногда даже и больше).

Опыт показывает, что если при использовании традиционных методов исследования на решение экстремальных задач обычно уходило около двух лет, то с помощью применения планирования эксперимента эти задачи решаются уже за несколько месяцев. Имеются многочисленные примеры применения планирования эксперимента непосредственно на заводах, когда эволюционное планирование или симплекс-процедуры используются в системе автоматического регулирования. В то же время имеется уже и значительный опыт применения планирования эксперимента в чисто теоретических исследованиях, когда речь идет о выборе одной из нескольких конкурирующих моделей для описания механизма явлений, скажем, механизма химических реакций.

Чем вызван этот успех? На этот вопрос можно ответить так: применение планирования эксперимента требует высокой степени формализации — это заставляет исследователя  стремиться   к четкому логическому осмысливанию всей процедуры исследования даже в очень размытых ситуациях. Такое осмысливание оказывается возможным сделать в системе канонических представлений, которые задаются существующей теорией эксперимента, которая в общих чертах изложена в этой работе. Далее следует выбор оптимальных планов   и процедур, что позволяет значительно сократить время на само исследование. Результаты исследования и их статистическая оценка представляются в некоторой стандартной форме по заранее готовым клише. Все это вместе взятое и приводит к резкому повышению эффективности экспериментальных исследований. Успех планирования эксперимента во многом, возможно, определяется и тем, что в исследованиях  с четко выраженной прикладной направленностью можно ограничиться построением самых простых — полиномиальных моделей.

Теперь напрашивается вопрос — что  является важнейшей задачей в дальнейшем развитии идей теории эксперимента. Видимо ответить можно так: сложность природы бросает свой вызов планированию эксперимента. Все обстоит вполне благополучно с построением сравнительно простых моделей. Но исследователи стремятся строить все более сложные — многопараметрические, нелинейные по параметрам модели. И здесь есть, казалось бы, хорошо разработанный аппарат для планирования и оценивания. Но из-за сложности модели результаты оценок параметров (а следовательно, и процедуры дискриминации) оказываются часто иллюзорными. Принятые в статистике способы оценки доверительных границ не отражают в этом случае всей возникающей здесь неопределенности. Развитие математической теории эксперимента началось с решения вопроса о том, что есть хорошие оценки, далее возник вопрос — что есть хороший эксперимент. Теперь перед нами новая проблема — что есть хорошая модель? Зачем предлагать модели, для которых заведомо нельзя получить хороших оценок? Для ответа на это вопрос, на наш взгляд, для этого еще не имеется хорошо подготовленного материала. Однако, интерес к качеству моделей неизменно растет. Ниже мы рассмотрим несколько методов сравнения моделей и постановки эксперимента в области наибольшего их различия. Вследствие отсутствия отработанного и проверенного материала по этим задачам изложение этих методов не алгоритмизировано и не подкреплено примерами. 

<< | >>
Источник: А.Е. Кононюк. ОСНОВЫ НАУЧНЫХ ИССЛЕДОВАНИЙ (Общая теория эксперимента) Книга 3. 2011

Еще по теме 14.7.4 Критерии оптимальности планов дискриминирующих экспериментов:

  1. ПОНЯТИЕ «ЗАДАЧА» В ТРУДАХ С. Л. РУБИНШТЕЙНА И СУБЪЕКТИВНЫЕ КРИТЕРИИ ОПТИМАЛЬНОСТИ РЕШЕНИЯ ПСИХОФИЗИЧЕСКИХ ЗАДАЧ В. В. Голубинов (Москва)
  2. Факторы и критерии оптимальности размещения.
  3. 4.3. Критерии оптимального способа
  4. 11.3 Оптимизация свойств многокомпонентных материалов
  5. 13.1.3. Выбор и реализация плана (первая серия)
  6. 13.3.4. Планы отсеивающего эксперимента
  7. 13.3.8. Планы для изучения механизма явлений
  8. 14. Оптимальные планы выполнения эксперимента
  9. 14.1. Логика понятия эффективного эксперимента
  10. 14.2. Формализация эффективного эксперимента.
  11. 14.3. Критерий оптимальности планов
  12. 14.3.1. Основные определения
  13. 14.3.2. Список критериев
  14. 14.3.3. Связь между критериями и свойствами планов.
  15. 14.4. Выбор оптимальных планов для полиномиальных моделей
  16. 14.5. Оптимальность в планировании эксперимента для  дискретных переменных
  17. 14.5.2. Планы взвешивания
  18. 14.5.3. Постановка задачи об оптимальности планов с дискретными независимыми переменными
  19. 14.7. Критерии оптимальности в отсеивающих экспериментах
  20. 14.7.4 Критерии оптимальности планов дискриминирующих экспериментов
- Коучинг - Методики преподавания - Андрагогика - Внеучебная деятельность - Военная психология - Воспитательный процесс - Деловое общение - Детский аутизм - Детско-родительские отношения - Дошкольная педагогика - Зоопсихология - История психологии - Клиническая психология - Коррекционная педагогика - Логопедия - Медиапсихология‎ - Методология современного образовательного процесса - Начальное образование - Нейро-лингвистическое программирование (НЛП) - Образование, воспитание и развитие детей - Олигофренопедагогика - Олигофренопсихология - Организационное поведение - Основы исследовательской деятельности - Основы педагогики - Основы педагогического мастерства - Основы психологии - Парапсихология - Педагогика - Педагогика высшей школы - Педагогическая психология - Политическая психология‎ - Практическая психология - Пренатальная и перинатальная педагогика - Психологическая диагностика - Психологическая коррекция - Психологические тренинги - Психологическое исследование личности - Психологическое консультирование - Психология влияния и манипулирования - Психология девиантного поведения - Психология общения - Психология труда - Психотерапия - Работа с родителями - Самосовершенствование - Системы образования - Современные образовательные технологии - Социальная психология - Социальная работа - Специальная педагогика - Специальная психология - Сравнительная педагогика - Теория и методика профессионального образования - Технология социальной работы - Трансперсональная психология - Философия образования - Экологическая психология - Экстремальная психология - Этническая психология -