10.4. Свойства оценок максимального правдоподобия
««?ч 1.
Инвариантность. Пусть в — оценка максимального правдоподобия параметра в и д(9) — непрерывная функция. Тогда д(в) является оценкой максимального правдоподобия параметра д(в).
Например, из того, что оценка о2 является оценкой максимального правдоподобия параметра о2 (см. (10.13)), сразу вытекает, что о и 1/Э являются оценками максимального правдоподобия для о и 1/сг соответственно. Из свойства инвариантности вытекает, в частности, что оценки максимального правдоподобия, в общем случае не являются несмещенными (почему?). Из этого свойства следует также, что мы можем параметризовать функцию правдоподобия любым способом, что часто существенно облегчает вычисление оценки.
Свойство инвариантности выполняется для конечных выборок, в то время как следующие три свойства оценок максимального правдоподобия являются асимптотическими. 2.
Состоятельность. Выполнено равенство: plimtf = в, т. е. Р(|0 — в\ > є) -+ 0 при п —» оо для всякого є > 0. Состоятельность рассматривается обычно как самое важное свойство оценки. Все наиболее часто встречающиеся оценки состоятельны. Другими словами, состоятельность — минимальное требование, предъявляемое к любой оценке.
««?ч
Из того, что оценка в состоятельна, следует (см. МС, п. 5), что она сходится к истинному значению параметра по распределению: в в. Это означает, что предельное распределение сосредоточено в точке в, или, другими словами, предельное распределение (в - в) сосредоточено в точке 0. К сожалению, это не очень информативно. В этом случае для детального рассмотрения ситуа- ции используют подходящую нормировку оценки так, чтобы нормированная оценка имела предельное невырожденное распределение.
Рассмотрим частный случай. Пусть (yi,... ,уп) — выборка из нормального распределения N(p, сг2). В этом случае у является состоятельной оценкой р. При этом среднее у ~ N(n, о2/п) и, следовательно, у/п(у - ц) ~ N(0, сг2), поэтомуу/И{в-0) Д ^(О.Я"1^)), (10.15)
где Т{0) обозначает асимптотическую информационную матрицу. Следует отметить, что У-~1(в) является матрицей ковариаций асимптотического распределения у/п(0-0)-, оценка матрицы ковариаций собственно оценки 0 равна V(0) = 0) = (1 fn)F~l(0). 4.
Асимптотическая эффективность. Оценка максимального правдоподобия асимптотически эффективна. Это означаем что если мы сравним оценку максимального правдоподобия 0 с любой другой оценкой 0, также состоятельной и асимптотически нормальной, то V(0) ^ V(0), т.е. разность V(0) - V(0) является неотрицательно определенной матрицей. В частности, это означает, что дисперсия каждой из компонент вектора 0 не меньше дисперсии соответствующей компоненты вектора 0, т .е. оценка максимального правдоподобия 0 «лучше» оценки 0.
10.5. Оценка максимального
правдоподобия в линейной модели
Рассмотрим стандартную линейную модель (см. главу 3) с нормально распределенными ошибками
у = Х(3 + «, и ~ N(О, cr2Jn), (10.16) или ее эквивалентную форму записи:
y~N(X(3,c2In). (10.17)
Плотность распределения случайного вектора у равна
= ,10.18)
Отсюда получаем логарифмическую функцию правдоподобия
I,wа') = -Sh2, - гЬS- Iі-ХМ»--ХД, (10.19)
которая является функцией параметров /3 и а2. Частные производные первого порядка этой функции равны
д(3 а (10.20) &72 2<т2 2(т4
Приравнивая первые производные (10.20) нулю, находим оценки максимального правдоподобия
е'е
/3 = (Х'Х)-1 Х'у, а2 = —, (10.21)
п
где е = у — Х(3 обозначает вектор остатков.
Заметим, что оценка максимального правдоподобия (3 совпадает с оценкой метода наименьших квадратов (3.4) для /3, в то время как оценка максимального правдоподобия д2 неравна оценке (3.19) s2 = е'е/(п—к) для а2, обычно используемой в методе наименьших квадратов. Частные производные второго порядка от (10.19) равныc^lna2lnL_ (y-х/зух
а2 ' до2д& ~ а4 ' uu J
d2lnL п (у-хр)'(у-хр)
Взяв математическое ожидание (с обратным знаком) от производных второго порядка, получаем
_ґд2іпь\ х'х г,/а2ы\ п „по„ч -Е{дт) -ЕІТ^І-оЗ. (Ю-24)
\(Ат2)2/ 2(74'
поскольку Е((у — X(3)'(у - X(3)) = по2. Кроме того, математическое ожидание от смешанной производной равно нулю в силу того, что Е(у - Х(3) = 0. Поэтому информационная матрица равна ГЛРУ) =
(10.25)
(1/сг2)Х'Х О О п/(2<74) Таким образом, асимптотическая информационная матрица имеет вид (l/o2)Q 0 ' О 1/(2 (т4)
(10.26)
Г((3,<т2) = lim (1/п)^„ = где предполагается, что существует предельная, положительно определенная матрица Q — 1ітп-.0о(1/л)Х/Х. Легко вычисляется обратная матрица (10.27)
=
VQ-1 О
О 2<г4 и из свойств оценок максимального правдоподобия следует, что (о2 /n)Q~l является оценкой асимптотической матрицы ковариаций вектора оценок /3. На практике асимптотическая матрица ковариаций аппроксимируется д2(Х'Х)~1. В самом деле, мы знаем, что точная матрица ковариаций вектора (3 равна <72(Х'Х)-1.
Асимптотическую дисперсию оценки о2 можно оценить величиной 2дА/п. Так как внедиагональные блоки матрицы Т равны нулю, оценки (3 и о2 асимптотически независимы. Такая (асимптотическая) независимость оценок средних значений и дисперсии является общей чертой теории регрессии и имеет важные последствия для оценивания и тестирования.
Еще по теме 10.4. Свойства оценок максимального правдоподобия:
- 3.3. МЕТОДЫ КОРРЕКТИРОВКИ ПОКАЗА ТЕЛЕЙ ФИНАНСОВОЙ ОТЧЕТНОСТИ
- 2.7. Оценка максимального правдоподобия коэффициентов регрессии Оценка максимального правдоподобия
- Упражнения 2.1.
- 10.2. Математический аппарат
- 10.4. Свойства оценок максимального правдоподобия
- 10.8. Нелинейные ограничения
- Упражнения 10.1.
- Модели множественного выбора
- 12.2. Модели с урезанными и цензурированными выборками
- Модель Хекмана
- Упражнения 12.1.
- 13.8. Модели бинарного выбора с панельными данными
- 7. Оценивание параметров
- Краткий англо-русский словарь терминов
- Предметный указатель
- 5.5. Оценка скорости восстановления железа из шлака с участием угольных частиц