5.1. Стохастические регрессоры

В предыдущих разделах предполагалось, что независимые переменные (матрица X) являются неслучайными. Ясно, что такое условие выполнено не всегда, например, во многих ситуациях при измерении независимых переменных могут возникать случайные ошибки.

Пусть, как и раньше,

у = Х/3 + є,

где у — п х 1 вектор зависимых переменных, X — пх к матрица независимых переменных, є — п х 1 вектор случайных ошибок. Но теперь будем считать, что элементы матрицы X также являются случайными величинами. Предположим, что выполнены следующие условия: 1)

Е(е | X) = О, 2)

V(e| Х) = а21, 3)

при любой реализации (т.е. с вероятностью 1) матрица X имеет ранг к.

Здесь Е(є|Х)—условное математическое ожидание случайного вектора є при фиксированной матрице X, V(e | X) = Е(єє' | X) — его условная ковариационная матрица. Заметим, что условия 1), 2) эквивалентны условиям:

1') Е(у | X) = Х/3,

20 V(y | X) = а21.

Пусть /3OLS = /3 = (Х'Х)-1 Х'у — МНК-оценка вектора /3 (которая существует при любой реализации X в силу условия 3)), е = My — вектор остатков, а2 = е'е/(п —к) — оценка дисперсии, V(/3) = а2(Х'Х)-1 — оценка ковариационной матрицы /3.

Е(3 | X) = Е(/3 + (Х'Х)~1Х'є | X) = /3 + Е((Х'Х)_1Х'є | X) = Р + {Х'Х)-1Х'Е(є\Х)=Р;

V(3|X) = V((X'X)-,X'y|X)

= (Х'Х)~1Х'У(у I Х)Х(Х'Х)-1 =а2(Х'Х)-1;

Е(е | X) = Е (My | X) = ME (у | X) = MI/3 = О;

V(e I X) = V(My I X) = MV(y I X)M' = a2M.

Отсюда следует, что

E(e'e I X) = E(V(/3) I X) = E^X'X)"1|X) = E(a2 I xxx'xr1 = a2(X'X)-1.

При выводе этих равенств мы постоянно используем тот факт, что сомножитель, функционально зависящий от условия (матрицы X), например, М, можно выиосить из-под знака условного математического ожидания. Таким образом, оценки 0, а2 и V(/3) являются условно (относительно X) несмещенными. Используя еще одно свойство условного математического ожидания — правило повторного ожидания, нетрудно установить безусловную несмещенность этих оценок:

Е(3) = Е(Е(3|Х)) = Е(/3)=/3;

ЕНетрудно также доказать соответствующий вариант теоремы Гаусса-Маркова, а именно, что среди всех линейных условно несмещенных оценок вектора 0 его МНК-оценка обладает наименьшей условной ковариационной матрицей. Итак, при выполнении условий 1), 2), 3) МНК-оценка в модели со стохастическими регрессорами обладает свойствами, аналогичными свойствам МНК-оценки в классической модели.

Следует понимать, что условия 1), 2) касаются совместного распределения X и е. Из 1), в частности, вытекают некоррелированность Хне. Действительно, поскольку Е(е) = Е(Е(е | X)) = О, то Соv{Xij,?m) = Е(хуєда) = E(E(iy?m|X)) = E(xjjE(em IX)) = 0. Обратное, вообще говоря, неверно. Однако если Хне независимы и Е(е) = 0, Е(ее') = <т21, то выполнены 1)и2).

Остановимся, наконец, на проблеме состоятельности МНК- оценки в этой модели. Напомним, что оценка параметра называется состоятельной, если ее предел по вероятности при увеличении числа наблюдений стремится к истинному значению параметра. В данном случае требуется сформулировать условия, при выполнении которых plimn_003 = /3.

/3 = (.Х'Х)~1Х'у = /3 + (Х'Х)~1Х'є

и предположим, что выполнены следующие условия: 4)

существует р limn_co (1 /ті) Х'Х = А, причем матрица А положительно определена (и, следовательно, существует Л-1); 5)

plinv.,,,,, (1/п) Х'е = 0.

Тогда из теоремы Слуцкого (см. приложение МС, п. 5) и (5.2) следует, что plim„_00/3 = /3, т. е. оценка /3 состоятельна.

В некоторых случаях условия 4), 5) достаточно легко проверяются. Пусть, например, строки матрицы X независимы и одинаково распределены (как случайные fc-мерные векторы), вектор ошибок є состоит из независимых и одинаково распределенных компонент, Ее = 0, X и є независимы. Иными словами, значения объясняющих переменных в каждом наблюдении выбираются из одной и той же генеральной совокупности, причем наблюдения между собой независимы и не зависят от случайных ошибок. Обозначим а^ = Е(хцх^), i,j = 1 ,...,к (эти числа не зависят от t, поскольку строки матрицы X одинаково распределены), и пусть А = (Оу). Тогда по закону больших чисел p\\mn^too(\/n)X'X = A, и если распределение каждой строки ие сосредоточено на какой-либо гиперплоскости пространства Rk, то матрица А положительно определена. Аналогично, plimn_00^(l/n)X'ey = E(itj?t)=0 в силу независимости X и е.

Подчеркнем, что из представления (5.2) следует, чаю при наличии корреляции между X и є МНК-оценка будет, вообще говоря, смещенной и несостоятельной.

Замечание. В рамках ограничений 1), 2), 3) для состоятельности МНК-оценки достаточно требовать выполнения условия 4) (с точностью до некоторых математических тонкостей), так как в силу (5.1)

V(3) = а*ЩХ'Х)-1) = ^ -» 0 при ті —? оо

и, следовательно, р^ш^^Р = /3. Мы, однако, привели условия 4)

и 5) ввиду их большей универсальности: как легко понять, для доказательства состоятельности МНК-оценки при выполнении 4), 5)

требуются только равенство у = Х(3 + є и вид МНК-оценки, а условия 1), 2), 3) явно не используются.

Можно сделать следующие выводы: 1)

если в регрессионной модели объясняющие переменные случайны и выполнены условия 1)-3) (в частности, регрессоры и ошибки должны быть некоррелированы), то МНК-оценка и связанные с ней статистики (оценка дисперсии и ковариационной матрицы) являются как условно (при фиксированной матрице X), так и безусловно несмещенными; 2)

имеет место условный вариант теоремы Гаусса-Маркова; 3)

при выполнении условий 4), 5) МНК-оценка состоятельна, в частности, это справедливо, если в каждом наблюдении значения объясняющих переменных выбираются из одной и той же генеральной совокупности, а ошибки независимы, одинаково распределены и не зависят от регрессоров; 4)

если регрессоры и ошибки коррелированы, то МНК-оценка будет в общем случае смещенной и несостоятельной.