<<
>>

Основные гипотезы

Гипотезы, лежащие в основе модели множественной регрессии, являются естественным обобщением модели парной регрессии (см. п. 2.3):

1. yt = fiixti + faxa + ? • • + PkXtk + ?t> t = 1,...

,n - спецификация модели.

2. id,...,xtk — детерминированные величины. Векторы ха — (хіз,...,xns)', s = 1,... ,к линейно независимы в R".

За. Eet = 0, Е(е2) = V(et) = о2 — не зависит от t.

3b. E(etes) = 0 при t ф s — статистическая независимость (некоррелированность) ошибок для разных наблюдений.

Часто добавляется следующее условие.

Зс. Ошибки et, t = 1,...,п имеют совместное нормальное распределение: et ~ N(Q,o2).

В этом случае модель называется нормальной линейной регрессионной (classical normal linear regression model).

Гипотезы, лежащие в основе множественной регрессии, удобно записать в матричной форме, которая главным образом и будет использоваться в дальнейшем.

Пусть у обозначает n х 1 матрицу (вектор-столбец) (Уь- ••,!/»»)', Р = {Pi, •?•>&)' — к х 1 вектор коэффициентов; Є = (fi,. . . ,?„)' — п х 1 вектор ошибок;

®ц ... X'lfc

X = — її х к матрицу объясняющих переменных.

_xni ... a?nfc_

Столбцами матрицы X являются nx 1 векторы регрессоров xs = (a:is,..., хПд)', s = 1,..., к. Условия 1-3 в матричной записи выглядят следующим образом: 1.

у = Х(3 + є — спецификация модели; 2.

X - детерминированная матрица, имеет максимальный ранг к;

За,Ь. Е(е) = О; V(e) = Е(єє') = <т2/п; дополнительное условие:

Зс. є ~ N(0,a2In), т е. є — нормально распределенный случайный вектор со средним 0 и матрицей ковариаций о21п (нормальная линейная регрессионная модель).

3.2. Метод наименьших квадратов. Теорема Гаусса-Маркова

Как и в случае регрессионного уравнения с одной переменной (см. п. 2.2), целью метода является выбор вектора оценок (3, минимизирующего сумму квадратов остатков et (т. е. квадрат длины вектора остатков е):

е = у- у = у — Х(3, ESS = Ее2 = e'e —» min.

Выразим e'e через X и (3:

e'e = (у - Х0)'{у - Х$) = у'у - у'хЪ - р'х'у + Щх'хЪ

= у'у - 2р'х'у + р'Х'Хр. (3.2)

Необходимые условия минимума ESS получаются дифференцированием (3.2) по вектору f3 (см.

(JIA.22), (JIA.24)):

лрсо

= -2 Х'у + 2Х'Хр = О, (3.3)

д/З

откуда, учитывая обратимость матрицы Х'Х в силу условия 2 (приложение JIA, п. 10), находим оценку метода наименьших квадратов:

3oLS = {Х'Х)-1 Х'у. (3.4)

(Сравните с аналогичной формулой (2.8), полученной для регрессионного уравнения с одной независимой переменной.)

Покажем, что, как и в случае одного регрессора, (3.3) означает, что вектор остатков е ортогонален всем независимым переменным ... ,Хк (столбцам матрицы X). Условие х\е =.-•• = х'ке = 0 эквивалентно равенству Х'е = О. Действительно,

Х'е = Х'(у - Х/3) = Х'у - Х'ХР

= Х'у-Х'Х{Х'Х)~1Х'у = О. (3.5)

Получим полезную в дальнейшем формулу для суммы квадратов остатков

е'е = у'у - 0Х'у + р'х'хр

= У'У ~ 3'(2*'У - Х'Х(Х'Х)~1Х'у) - у'у - gx'y. (3.6)

Геометрическая интерпретация в основном совпадает с геометрической интерпретацией регрессионного уравнения с одной независимой переменной (см. п. 2.2). Представим у, х\,... как векторы в п-мерном евклидовом пространстве Rn. Векторы xi,...,xic порождают /г-мерное подпространство 7Г.

Вектор у = Х/З есть ортогональная проекция вектора у на гиперплоскость 7г.

Вектор остатков е = у — у ортогонален подпространству 7Г.

Как и в случае регрессионного уравнения с одной независимой переменной (см. п. 2.4), можно показать, что оценка метода наименьших квадратов является оптимальной.

Теорема Гаусса-Маркова. Предположим, что: 1.

у = ХіЗ + е; 2.

X — детерминированная nx к матрица, имеющая максимальный ранг к;

3 Е(е) = 0; V(e) = Е(ее') = о21п.

Тогда оценка метода наименьших квадратов /3ols = (Х'Х)~1Х'у является наиболее эффективной (в смысле наименьшей дисперсии) оценкой в классе линейных {по у) несмещенных оценок (Best Linear Unbiased Estimator, BLUE).

Доказательство. Обозначим A = (X'X)~lX', Pols = Ay. Любую другую линейную оценку вектора параметров (3 можно без ограничения общности представить в виде: Ь = (А + С)у, где С — некоторая k х п матрица.

1.

Покажем, что МНК-оценка (3.4) является несмещенной оценкой /3:

e3ols = Е {(Х'ХГ'Х'у) = (Х'ХГ'Х'ЕІу) = (Х'Х)~1Х'Е{Х(3 + є) = (Х'Х)-1Х'Хр + {Х'Х)~1Х'Ее = /3. (3.7)

Из условия несмещенности оценки b получаем, что для всех (3 справедливо соотношение

ІЗ = ЕЬ = (А + С)Еу = {А + С)Х/3 = (I + СХ)/3,

откуда следует, что СХ = 0. 2.

Подсчитаем матрицу ковариаций МНК-оценки:

V(3ols) = ЩЛу) = AV(y)A' = Ас2! А!

= с2(Х'Х)-хХ'Х(Х'Х)~х = с2(Х'Х)~х (3.8)

(здесь мы использовали симметричность матрицы Х'Х и свойство матрицы ковариаций (МС.9)). 3.

Используя полученное выше равенство СХ = 0, получаем

Ь-(3 = {А + С)у-(3 = {А + С)Х(3 + (А + С)е-/3 = АХ/3 -0 + СХ/З + (А + С)е = (А + С)е,

т. к. СХ = 0 и АХ = I. Вычислим теперь матрицу ковариаций вектора Ь:

V(6) = Е((Ь - 0)(Ь - 0У) = Е((А + С)ее'(А + С)')

= (А + C)+ (Х'Х)-1 Х'С' + СС') = сг2(Х'Х)~х + <т2СС'.

Таким образом (см. (3.8)),

V(b) = V(0OLS) + Матрица СС' неотрицательно определена (приложение JIA, н. 15), поэтому

V(b) ^ V(3ols)- (3-9)

Отсюда следует утверждение теоремы. В самом деле, г-й диагональный элемент матрицы V(b) равен дисперсии г-й компоненты вектора коэффициентов V(6;). Поэтому (приложение JIA, п. 15) из (3.9) следует соответствующее неравенство для дисперсий оценок коэффициентов регрессии

V(bi) > V^oLS.i), что и требовалось доказать.

<< | >>
Источник: Магнус Я.Р., Катышев П.К., Пересецкий АЛ. Эконометрика. Начальный курс: Учеб. — 6-е изд., перераб. и доп. — М.: Дело. — 576 с.. 2004

Еще по теме Основные гипотезы:

  1. 2.1. Основные методы обучения праву
  2. Основные гипотезы
  3. 8. Проверка гипотез
  4. 111. «Русский вопрос» в качественных печатных СМИ Польши: темы для контент-анализа и основныефакторы влияния на польское общественное мнение
  5. § 1. Сущность и логическая структура гипотезы
  6. § 3. Этапы разработки гипотезы
  7. § 3. ГИПОТЕЗА И ТЕОРИЯ
  8. 2.4. Формулирование цели, гипотезы, определения задач, предмета и объекта исследования
  9. Гипотеза дефицита кальция
  10. §2.3. Следствия и верификация гипотезы. Коэффициент кровопролитности общества