3.3. Статистические свойства МНК-оценок Оценка дисперсии ошибок а2. Распределение s2

у = ХЪ = X(X'X)~lX'y = Ny, N = Х(Х'Х)~1Х'. (3.10)

Вектор остатков регрессии

е = у- у = у-ХЗ = у- Х(Х'Х)~1Х'у = {1-Х(Х'Х)-1Х')у

= (J - N)y = My, M-I-N = I — X(X'X)~lX'.

Непосредственно из определения нетрудно проверить, что матрицы М, N идемпотпентны, т. е. симметричны и являются про екторами:

N2 = N, N' = N, (3.12)

М2 = М, М' = М. (3.13)

В соответствии с геометрической интерпретацией регрессии из (3.10), (3.11) вытекает, что матрица N является матрицей оператора ортогонального проектирования на подпространство 7г, порожденное векторами х», а М — матрицей оператора ортогонального проектирования на я-1- — ортогональное дополнение к подпространству 7Г в й". Поэтому

NX = X, MX = О. (3.14)

Вычислим математическое ожидание и матрицу ковариаций вектора остатков е:

Е(е) = Е(Му) = МЕ(у) = МХ/3

= (J - ХІХ'Х^Х^Х/З = Х(3 — Х(3 = О, (3.15) V(e) = У {My) = MV(y)M' = Ma2 IM' = Е(е'е) = tr(V(e)) = a2 tr(M) = с2 tr(Jn - N) = (п - к)с2. (3.17)

При выводе (3.17) мы использовали (3.15), (3.16), свойства следа матрицы (приложение JIA, п. 9), а также соотношение

tr(JV) = іг(Х(Х'Х)-гХ')

= tr(X'X(X'X)~l) = tr(Jfc) = к. (3.18)

При выводе последнего равенства используется свойство следа матрицы: tr(АВ) = tr(ВА) (приложение JIA, п. 9). Из (3.17) следует, что

s2 = 52 = _?^L = X>L (3.19)

п — к п — к

является несмещенной оценкой дисперсии ошибок <72, т. е. Es2 = а2. Так как из (3.14) следует, что

е = Му = М(Х/3 + е) = Me (3.20)

и rank(M) = rank(I—N) = tr(I—N) = n—k (ранг идемпотентной матрицы равен ее следу (приложение JIA, п. 16)), то по лемме (приложение МС, п. 4, N8) распределение

__ ^ x2(n _ k) или (п - к)-5 ~ х2(п - к). (3.21) с с

Независимость оценок /3 и s2

В предположении нормальной линейной множественной регрессионной модели удается доказать независимость оценок fins2. В самом деле, из (3.4) получаем

3oLS (X'XFlX'{XP+*) = 0+{X'X)-lX'e = /3+At. (3.22)

Из (3.22) и (3.20) видно, что случайные векторы /9 и е имеют совместное многомерное нормальное распределение (приложение МС, п. 4). Поэтому для того чтобы доказать их независимость, достаточно показать их некоррелированность.

AM = (.Х'Х)~1Х'{1 - Х(Х'Х)-хХ')

= (Х'Х)-'Х' - (X'Xr^'XfX'A-)-1*' = О,

поэтому (т. к. Ее = О)

Cov(3, е) = Е((? - /3)е') = Е(Аее'М) = с2AM = О,

что и требовалось показать.

Так как s2 является функцией от е (см. (3.19)), то оценки /3 и s2 также независимы.