2.5. Статистические свойства МНК-оценок параметров регрессии. Проверка гипотезы Ь = bo. Доверительные интервалы для коэффициентов регрессии

Если гипотеза нормальности ошибок не выполняется, то (2.17), вообще говоря, неверно, однако при некоторых условиях регул яр- пости на поведение Xt при росте п оценки а, Ь имеют асимптотически нормальное распределение, т.е. (2.17) выполняется асимптотически при п —* оо.

Распределение оценки дисперсии ошибок S"

Покажем, что в случае нормальной линейной регрессионной модели, т. е. когда є — многомерная нормально распределенная случайная величина, выполняется

(п - 2)s2 2/ і ~ х2(п - 2).

а

Используя представление Ь в виде (2.9), получаем (2.18)

t Е xtVt , , ^ Подставив (2.18) в уравнение регрессии Y = а + ЬХ, получим следующую формулу для остатков регрессии:

et = Yt-Yt = Yt-a-bXt = a + bXt +et - {Y-ЬХ) - bXL = a + bXt + et - a - ЬХ - є + ЬХ + ~ bxt

- Xt ^ wses = et - є- xty] wae„. (2.19)

Представим (2.19) в векторной форме: (2.20)

= — —гг' — Xtw'^je = Ае\ здесь г — п х 1 вектор-столбец, состоящий из одних единиц, е = (еі,...,е„)', є = (єі,... ,єп)', А — п х п матрица и = (жх,..., хп)' — вектор отклонений от среднего значения.

Далее воспользуемся свойством N8 (приложение МС, п. 4). Проверим, что матрица А = I — ?гг' — x,w' из (2.20) является идемпотентной: А' = А, так как (гг')' = г"г' = гг', и

(х w'Y = (Х*Х* \ - (Х*Х'*У - х*х* - а-

( ' ' " Е*? "Е*? *

А2 = (і - ігг' - х.ю'У

1 2 11 = I + —г гг'и'+х, w'x, w'—it' - 2x * w'+—гг'х, w'+—x * iv'tt' ni n n n

— I гг + x*w' - 2®, w' = I u' — x*w' = A,

n n

так как t't = n, t'x, = w'x = 0 (см.

По условиям классической нормальной регрессионной модели е/сг ~ N(0,In), таким образом, в силу свойства N8 (приложение МС, п. 4):

что и требовалось доказать.

Независимость s и МНК-оценок a, b

Так как оценка дисперсии ошибок s2 является функцией от остатков регрессии et, то для того чтобы доказать независимость s2 и (а,Ь), достаточно доказать независимость et и (а, Ь). Оценки а, Ь гак же, как и остатки регрессии е(, являются линейными функциями ошибок et (см. (2.4а), (2.46), (2.20)) и поэтому имеют совместное нормальное распределение. Известно (приложение МС, п. 4, N4), что два случайных вектора, имеющие совместное нормальное распределение, независимы тогда и только тогда, когда они пекоррели^ованы. Таким образом, чтобы доказать независимость s2 и (а, 6), нам достаточно доказать некоррелированность et и (а,Ь).

Обозначим ? = ^wtet, тогда из (2.19) et = et — ? - а из (2.18) следует, что Ь = Ь -I-

Cov(et, 6) = Cov(et -є- xt?, b-1- О = E(et? -Ц- xt?2)

= a2(wt- at—(2.22)

Таким образом, et и Ь независимы при всех t, что и требовалось показать.

Упражнение. Используя аналогичные выкладки, показать независимость et и а.

Проверка гипотезы b = bo

Из (2.17) имеем Ъ - b ~ N(0,<т|), где <т| = <т2/ ? я?. Оценка дис-

ГТЛ /Knnuvno \l(h\ — с, _

персии оценки Ь может быть получена по формуле V(6) = = S2 „ , 6-6

гь

Таким образом, ~ N(О,1), а из (2.21) следует, что

2>t аь

т. е. по определению статистики Стыодента (приложение МС, п. 3) имеем

t = —j—~t{n-2),

ah 3h и, так как — = —, получаем

t = ~ t(n - 2). (2.23)

sb

Упражнение. Используя аналогичные выкладки, покажите, что

* = ^ ~ t(n-2). (2.24)

«а

Итак, мы показали, что в случае нормально распределенных ошибок величина (2.23) распределена по закону Стыодента. Заметим, что при определенных условиях регулярности на xt соотношения (2.23) и (2.24) справедливы асимптотически и без предположения о нормальности ошибок регрессии.

Статистику (2.23) можно использовать для проверки гипотезы Но: 6 = 6о против альтернативной гипотезы Ні: 6 ф Предположим, что верна гипотеза Но, тогда

Sb Зададимся, например, 2.5%-ной точкой t-распределения с (п — 2) степенями свободы to.025 (ПРИ 40 степенях свободы <0.025 = 2.021), т.

Р{-«0.025 < t < to.025} = 0.95.

Мы отвергаем гипотезу Но (и принимаем Ні) на5%-ном уровне значимости, если |t| > to025 («редкое» событие с точки зрения гипотезы Но), в противном случае мы не можем отвергнуть Но (и принимаем Но)

При тестировании нулевой гипотезы Но: b = 60 против двусторонней альтернативной гипотезы Hi: b ф bo на доверительном уровне а нулевая гипотеза отвергается при |t| > ta/2(n — 2). Соответственно, при тестировании гипотезы Но против односторонней альтернативы Hj: b > 60» нулевая гипотеза отвергается при t > tQ(n — 2). (Здесь ta(n) означает 100а%-ную точку распределения Стыодента с п степенями свободы.)

Разрешив неравенство в Р{|(6 — 6)/s^| < to.025} = 0-95 относительно Ь, получим

Р{6 - І0025«ь т. е. [6 - to.025sji b + f0.025s{;] — 95%-ный доверительный интервал для b. Доверительный интервал накрывает истинное значение параметра 6 с заданной вероятностью (в данном случае 95%). Соответственно, двусторонний 100(1 - а)%-ный доверительный интервал для параметра b имеет следующий вид: [Ь - ta/2{n - 2)зъ, b + ta/2(n - 2)8$.

Наиболее просто выглядит t-статистика при гипотезе Но: b = 0, а именно, t = b/Sy Это значение и приводится всеми компьютерными пакетами в результатах регрессии. Значение |t| > to.025 (to 025 ~ 2 для больших п) позволяет сделать вывод об отличии от нуля (на соответствующем уровне значимости) коэффициента регрессии и, следовательно, о наличии влияния (связи) X на Y. Малые значения t-статистики соответствуют отсутствию достоверной статистической связи объясняющей переменной X и зависимой переменной Y.

Компьютерные пакеты приводят также двусторонние Р-значе- ния t-статистики, т.е. вероятность того, что случайная величина, распределенная по закону t(n — 2), принимает значение по абсолютной величине большее, чем |t| = ^

*ь