<<
>>

2.7. Оценка максимального правдоподобия коэффициентов регрессии Оценка максимального правдоподобия

Наряду с методом наименьших квадратов (МНК) возможен и другой подход к оцениванию параметров линейного регрессионного уравнения по данным наблюдений — метод максимального правдоподобия.
Этот метод будет рассмотрен детально в главе 10. В данном разделе мы рассмотрим его применение к оцениванию параметров парной регрессии.

Предположим, что мы ищем параметры нормальной линейной регрессионной модели

Yt = a + bXt+et. (2.33)

Ошибки регрессии et независимы и распределены по нормальному закону:

et~N(0,или, что являегся эквивалентной записью,

Yt ~ N(a + ЬХи а2).

Имея набор наблюдений (Xt,Yt), t = 1 ,...,п, мы можем попытаться ответить на вопрос: при каких значениях параметров а, Ь, а2 модели (2.33)-(2.34) вероятность получить этот набор наблюдений наибольшая? Другими словами, каковы наиболее вероятные значения параметров модели для данного набора наблюдений?

Чтобы ответить на этот вопрос, составим функцию правдоподобия (приложение МС, п. 7), равную произведению плотностей вероятности отдельных наблюдений (мы считаем все независимыми):

п

L(Yl,...,Yn,a,by)=p{Yi,...,Yn\Xu...,Xn,a,b^2) = Y[p(Yt)

t=і

= (2*)-"/Vrn/2 exp (-^2 - a - bXt?)' <2-35)

где p обозначает плотность вероятности, зависящую от Xt, Yt и параметров а, 6, а2. Для того чтобы найти наиболее правдоподобные значения параметров, нам необходимо найти такие их значения, при которых функция правдоподобия L (2.35) достигает своего максимума. Так как функции L и In L одновременно достигают своего максимума, достаточно искать максимум логарифма функции правдоподобия

In ад,..., Гп, а, Ь, а) = - ? 1п(2тг) - 2 1п(а2)

" 2^2 ?^ ~ а - (2-36) Необходимые условия экстремума функции In L имеют вид:

= h ?{Yt ~ а "bXt) = 0> (2'37а)

^г = h ? ?Xt{Yt"e"bXt) = (237б)

^ = —= (2.37В)

Решением системы уравнений (2.37а)-(2.37в) являются оценки максимального правдоподобия

Ьмь = Ц^\ Змь = У-ЬміД; (2.38)

2_ xt п

Отметим, что оценки максимального правдоподобия параметров а, 6 совпадают с оценками метода наименьших квадратов 3ml = 2ols, 6ml — &OLS- Это легко видеть из того, что уравнения (2.37а) и (2.376) совпадают с соответствующими уравнениями метода наименьших квадратов (2.2).

Оценка максимального правдоподобия для а1 не совпадает с 0QLS = et/(n—2), которая, как мы знаем (см. (2.15)), является несмещенной оценкой дисперсии ошибок. Таким образом, д^ъ = i(n ~^)/n)^OLS является смещенной, но тем не менее состоятельной оценкой а2.

Пример. Доходы семьи. В этом примере используются данные RLMS2. Пусть In с обозначает реальный доход семьи, Expend — ее реальные расходы. Для того чтобы исследовать зависимость расходов от доходов, оценим коэффициенты регрессии Expend на /пс и константу.

Для всех типов семей (количество наблюдений 3594) Expend = 4663.3 + 0.686 Inc, R2 = 0.21, s = 11307.

(233 6) (0 0223) В скобках приведены стандартные ошибки коэффициентов регрессии. Соответствующие t-статистики равны 19.96 и 30.81, т. е. коэффициенты статистически достоверно отличаются от нуля. Однако значение коэффициента детерминации А2 невелико. Это объясняется, конечно, разнородностью семей как по составу, так и по другим факторам, таким, как место проживания, структура расходов, состав семьи и т. п. Таким образом, для более однородной выборки семей мы вправе ожидать увеличения значения коэффициента детерминации.

Для семей, состоящих ит одного человека (количество наблюдений 509):

Expend = 3229.2 + 0.355 Іпс, Я2 = 0.39, s = 4567.

(182 0) (0 0162)

Как и раньше, коэффициенты являются значимыми — t-ста- тистики раины соответственно 17.74 и 20.70. Как мы и ожидали, качество подгонки улучшилось — коэффициент R? возрос с 0.21 до 0.39, а оценка стандартного отклонения остатков s уменьшилась с 11307 до 45С7. Так как в семьях из одного человека нет расходов на содержание неработающих членов семьи (дети, престарелые), то на потребление тратится меньшая часть прироста дохода. Склонность к потреблению, определяемая как dExpend/dlnс, для семьи из одного человека равна 0.355, в то время как в среднем по всей выборке 0.686.

Обозначим через Nf количество членов в семье. Оценим регрессию среднего расхода на члена семьи на средний доход члена семьи (количество наблюдений 3594):

Expend/Nf = 2387.2 + 0.447 Inc/Nf, R7 = 0.24, s = 4202.

(76 8) (0 0133)

Значение R2 увеличилось по сравнению с первой регрессией. Переход к удельным данным приводит к уменьшению дисперсии ошибок модели.

<< | >>
Источник: Магнус Я.Р., Катышев П.К., Пересецкий АЛ. Эконометрика. Начальный курс: Учеб. — 6-е изд., перераб. и доп. — М.: Дело. — 576 с.. 2004

Еще по теме 2.7. Оценка максимального правдоподобия коэффициентов регрессии Оценка максимального правдоподобия:

  1. 2.4. Теорема Гаусса-Маркова. Оценка дисперсии ошибок сг2
  2. 2.5. Статистические свойства МНК-оценок параметров регрессии. Проверка гипотезы Ь = bo. Доверительные интервалы для коэффициентов регрессии
  3. 2.7. Оценка максимального правдоподобия коэффициентов регрессии Оценка максимального правдоподобия
  4. Упражнения 2.1.
  5. Основные гипотезы
  6. Упражнения
  7. 4.1. Мультиколлинеарность
  8. 11.2. Динамические модели
  9. Модель оценки финансовых активов САРМ
  10. Краткий англо-русский словарь терминов
  11. КРИВЫЕ, ОТРАЖАЮЩИЕ РАЗВИТИЕ ТЕХНИКИ
  12. Организация природного заповедника — опыт обоснования экологической инвестиции на базе условно-опросного метода (ролевая игра)
  13. РЕШЕНИЕ ОБЩИХ ПРОБЛЕМ МНОЖЕСТВЕННОЙ РЕГРЕССИИ
  14. СЛОВАРЬ ТЕРМИНОВ
  15. Эмпирическая оценка. Заключение
  16. Эмпирическая оценка. Заключение
  17. 10.2. Принятие решений после построения модели процесса
  18. 10.6. Реализация мысленных опытов
  19. 10.8. Крутое восхождение неэффективно