2.4. Теорема Гаусса-Маркова. Оценка дисперсии ошибок сг2

Мы хотим оценить параметры а и 6 «наилучшим» способом.

Заметим, что когда такая оценка найдена, это вовсе не означает, что не существует нелинейной несмещенной оценки с меньшей дисперсией. Кроме того, например, можно отбросить требование несмещенности оценки и минимизировать среднеквадратичное отклонение оценки от истинного значения: Е(6 — б)2.

Теорема Гаусса-Маркова. В предположениях модели 1-ЗаЬ: 1.

Yt = а + bXt + et, t = 1,... ,n; 2.

Xt — детерминированная величина-, За. Eet = 0, E(3b. E(etes) = 0, при t-ф s\

оценки a, b (2.4a), (2.46), полученные no методу наименьших квадратов (MHK), имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.

Доказательство. 1. Проверим, что МНК-оценки а, b являются несмещенными оценками истинных значений а, 6. Из (2.4а), (2.46), (2.6) получаем:

pt- _ рЕ«ин _ Е««Ец

__ Е stfat _,

ES = Л Yl ~ 7t ? =Еу- ™ = а + ЬХ - ХЬ = а. 2. Вычислим дисперсии оценок а, Ь. Представим b в виде (ср. (2.6))

(2.9)

-г v^ xt

6= = 2_.wtVu где wt = Легко проверить, что twt удовлетворяют следующим условиям: 1) = 2)

y^wtxt = Y]wiXt = 1,

_ vL (2.10) 3)

5>? = і/5>?> 4)

Ylwtyt=zYlWtYt>

V(S) = v($>tyt) = v(5>tyt) = $>?и = Y -Xb = Y -X^wtYt = - (2.12)

(при выводе (2.13) мы использовали тождество Yl xt = Е X? -

nX2)

Упражнение. Используя (2.9), (2.12) и аналогичные вычисления, покажите, что

(214>

3. Покажем, что МНК-оценки являются «наилучшими» (в смысле наименьшей дисперсии) в классе всех линейных несмещенных оценок.

Пусть Ь = ctYt — любая другая несмещенная оценка.

Е(Ь - b) = 0 = Е (J^dtYt) = ? dt(a + bXt)

для всех a, b. Отсюда

?dt=0; Y,dtXt = Yld'Xt =

V(b) = v(j>yt) = ст2 ?c2 = a2 X>t + dt)2

= V(6) + <72$>2,

т. e. V(i>) ^ V(6), что и требовалось доказать. (Выше 53 wtdt = 0 в силу определения wt (2.9) и того, что dtxt = 0.)

Аналогичные вычисления показывают, что V(a) ^ V(a); мы оставим доказательство этого факта в качестве упражнения. Ниже (в главе 3) мы докажем теорему Гаусса-Маркова в общем случае.

Упражнение. Покажите, что V(a) ^ V(a). Оценка дисперсии ошибок а2

Итак, теперь у нас есть «наилучшие» (в смысле теоремы Гаусса- Маркова) оценки коэффициентов регрессии а, Ь. Однако в регрессионном уравнении есть еще один параметр — дисперсия ошибок а2.

Обозначим через Yt = а + bXt прогноз (fitted value) значения Yt в точке Xt• Остатки регрессии et определяются из уравнения

Yt = Yt + et = а + bXt + et. He следует путать остатки регрессии с ошибками регрессии в уравнении модели Yt = a+bXt+et- Остатки et, так же как и ошибки є() являются случайными величинами, однако разница состоит в том, что остатки, в отличие от ошибок, наблюдаемы.

Кажется вполне естественной гипотеза, что оценка с2 связана с суммой квадратов остатков регрессии et = Yt — а — bXt. В самом деле,

Е = Dy' - " - = D7 + Л - 2 - - bXt)2

= ~ = Е(Ьх' + ?t " ? ~

= ?((b-6)It + (et-5))2

= Е - ь)2+2(ь -'5) Е -+D* - = 1 + 11 + 111.

Вычислим математическое ожидание = Е(1) + Е(П) +

Е(Ш).

ВСІ) = EfcxKb-bf) = = =

Используя соотношение 6 = Y^wtyt = 52wt(bxt + et — I) = b -I- Yiwt?t, получаем

E(II) = -2e(E vt* E - г))

t з

= -2Е(Еи,»І»е«е<» ~ E^'^E1»)

t,S t s

= -2^wtxtE(III) = E (E ~ E ?t + n?2)

= na2 - 2n-Таким образом,

E E e? = E(!) + Е(п) + Е(ПІ) = ~ 2^2 + (n " ^ = (n ~ 2)s2

Отсюда следует, что

= <215>

является несмещенной оценкой дисперсии ошибок а2.

Формулы (2.11), (2.13) дают дисперсии оценок a, b коэффициентов регрессии в том случае, если а2 известно.

Щ =

Е*? UXt-xr

— -2 ЦХ2 g2 Е X? /г, 1й\

v(a) = s —= v (2.16)

X 2 Xs2

Cov(a,b) = -^ 2зг =

Ex?

Стандартные отклонения оценок коэффициентов регрессии, которые приводятся в результатах регрессии в статистических пакетах, вычисляются на основе этих формул (s^ = ^V(b)).

Замечание. Предположим, что мы изучаем зависимость У от X и число наблюдений п задано, но мы можем выбирать набор (Xi,X2,..., Хп). Как выбрать Х{ так, чтобы точность оценки углового коэффициента 6 была наибольшей? Дисперсия оценки 6 задается формулой (2.16), откуда видно, что чем больше Еж«» тем меньше дисперсия V(b). Поэтому желательно выбирать Xt таким образом, чтобы их разброс вокруг среднего значения был большим.

Замечание. Из формулы (2.14) для ковариации оценок свободного члена а и углового коэффициента Ь следует, что Cov(a, Ь) < О, если X > 0. Это соответствует геометрической интуиции (рис. 2.4). В самом деле, график уравнения регрессии У = а + ЬХ в силу (2.5) проходит через точку с координатами (X, У), поэтому