11 Упражнения на гетероскедастичость

11.1 Упражнение 0

Даны две случайные величины: \(u, x\) - случайные величины

(матрица)

\(E(u|x)=?\)

Посчитаем условные математические ожидания для каждой случайной величины:

\(E(u|x=2)=-1*0.5+1*0.5=0\)

\(E(u|x=3)=-1*\frac{0.2}{0.8}+1*\frac{0.6}{0.8}=0.5\)

Совместим их:

\[ E(u|x) = \begin{cases} 0 &\text{если x=2}\\ 0.5 &\text{если x=3} \end{cases} \]

Также можем представить это условное математическое ожидание в виде функции

\(E(u|x)=0.5(x-2)\)

Значение условной дисперсии \(Var(u|x)\):

Способ №1

Считаем отдельные дисперсии: \(Var(u|x=2)\) и \(Var(u|x=3)\). Совмещаем их, по аналогии с математическим ожиданием.

Способ №2

\(Var(u|x)=E(u^2|x)-[E(u|x)]^2\)

\(E(u^2|x)=1\)

\(Var(u|x)=1-0.25(x-2)^2\)

Так как x принимает всего два значения (\(x=2, x=3\)) условную дисперсию можно представить в виде системы:

\[ Var(u|x) = \begin{cases} 1 &\text{если x=2}\\ 0.75 &\text{если x=3}\end{cases} \]

или в качестве функции:

\(Var(u|x)=0.25x+1.5\)

Свойства условного математического ожидания:

  1. \(E(f(x)|x)=f(x)\)

  2. \(Var(f(x)|x)=0\)

  3. \(E(f(x)y|x)=f(x)E(y|x)\)

  4. \(E[E(y|x)]=E(y)\)

  5. \(Var(y)=Var(E(y|x))+E(Var(y|x))\) по теореме Пифагора

11.2 Упражнение 1

  • Даны случайные величины \(X=(x_1, x_2, ..., x_n)\) и \(u=(u_1, u_2, ..., u_n)\), где \(x_i\)~\(N(10;9)\), при этом векторы \((x_1, u_1); (x_2, u_2) ..., (x_n, u_n)\) независимы, то есть может существовать зависимость между \(x_i, u_i\), однако нет зависимости между парами. *\(E(u_i|x_i)=0\)

  1. \(plim(\frac{1}{n}X'X)^{-1}= ?\)

  2. \(plim(\frac{1}{n}X'u)= ?\)

  3. \(plim(X'X)^{-1}X'u= ?\)

Решение:

  1. \(X'X = x_1^2 + x_2^2 + ... + x_n^2 = \sum_{i=1}^n x_i^2\)

\(plim(\frac{1}{n}\sum_{i=1}^n x_i^2)^{-1}=[E(x_i^2)]^{-1}=(109)^{-1}\) (по закону больших чисел)

Напоминание:

  • \(lim(f(a_n))=f(lim(a_n))\)

  • ЗБЧ: \(Y_1, Y_2, ..., Y_n ~ i.i.d.\), следовательно, \(\bar(Y_n) -> E(Y_1)\)

  • \(E(x_i^2)=Var(x_i)+(E(x_i))^2\)

  1. \(\frac{1}{n}X'u = \frac{1}{n}\sum_{i=1}^n x_iu_i^2\)

По ЗБЧ \(plim(frac{1}{n}\sum_{i=1}^n x_iu_i^2) = E(x_iu_i)\).

Исходя из свойств условного математического ожидания \(E[E(y|x)]=E(y)\) представим \(E(x_iu_i)\) как \(E(E(x_iu_i|x_i))\).

Так как \(x_i\) известно, то по свойству \(E(f(x)y|x)=f(x)E(y|x)\) можем вынести известную случайную величину за знак математического ожидания: \(E(x_iE(u_i|x_i)) = 0\)

Следовательно, \(plim(\frac{1}{n}X'u) = 0\)

  1. \(X'X\) и \(X'u\) случайные величины домножим \(X'X\) и \(X'u\) на \(\frac{1}{n}\)

\(plim(\frac{1}{n}X'X)^{-1}\frac{1}{n}X'u\) = \(plim(\frac{1}{n}X'X)^{-1}* plim(\frac{1}{n}X'u)=(109)^{-1}*0=0\)

Следовательно, \(plim(X'X)^{-1}X'u=0\)

Напоминание:

  • \(lim(a_nb_n)=lim(a_n)lim(b_n)\)

11.3 Стохастические регрессоры

Если:

  1. \(y = X\beta+u\)

  2. \(\beta\) - константы

  3. В матрице Х: \(x_{i.}\) - i-ая строка; векторы \((x_{i.},y_i)\) независимы и одинаково распределены. Наблюдения - это случайная выборка

  4. \(E(u_i|x_i)=0\)

  5. Гомоскедастичность \(E(u_i^2|x_i)=Var(u_i|x_i)=\sigma^2\)

  6. \(P(столбцы X линейнонезависимы)=1\)

  7. \(\hat{\beta}=(X'X)^{-1}X'y\)

11.4 Теорема Гаусса Маркова для стохастических регрессоров

  1. Несмещенность: \(E(\hat{\beta}|X)=\beta\)

  2. \(Var(\hat{\beta}|X)=\sigma^2(X'X)^{-1}\)

  3. \(\hat{\beta}\) линейна по y

  4. \(\hat{\beta}\) эффективная и несмещенная оценка среди линейных по y

  5. \(plim(\hat{\beta})=\beta\)

11.5 Упражнение 2

Нарушена предпосылка теоремы Гаусса Маркова об отсутствие гетероскедастичности: \(Var(u_i|x_i)=f(x_{i.})\)

Найти:

  1. Какой вид имеет матрица \(\Omega=Var(u|X)\)

  2. \(E(\hat{\beta}|X)=?\)

  3. \(Var(\hat{\beta}|X)=?\)

  4. \(plim(\hat{\beta})=?\)

Решение:

  1. \(\Omega=\left( \begin{matrix} f(x_{1.}) & cov(u_1,u_2|X)&\dots & cov(u_1,u_n|X) \ \vdots & \vdots & \vdots & \vdots\ cov(u_1,u_n|X) & \dots &\dots & f(x_{n.}) \end{matrix} \right)\)

Так как выборка случайна, то \(cov(u_i,u_j|X)=0\), при \(i\neq j\)

\(\Omega=\left( \begin{matrix} f(x_{1.}) & 0 &\dots & 0 \ \vdots & \vdots & \vdots & \vdots\ 0 & \dots &\dots & f(x_{n.}) \end{matrix} \right)\)

  1. \(E(\hat{\beta}|X)=\beta\)

  2. \(Var(\hat{\beta}|X)=Var((X'X)^{-1}X'y|X)=(X'X)^{-1}X'\times Var(y|X)\times ((X'X)^{-1}X')'= (X'X)^{-1}X'\times Var(y|X)\times X(X'X)^{-1}=(X'X)^{-1}X'\times Var(X\beta+u|X)\times X(X'X)^{-1}=(X'X)^{-1}X'\times Var(u|x)\times X(X'X)^{-1}=(X'X)^{-1}X'\times \Omega\times X(X'X)^{-1}\)

В действительности возникает проблема при оценке матрицы \(\Omega\), так как она имеет размер \(n\times n\), то есть нам нужно оценить n чисел на диагонали по n наблюдениям, что является достаточно нетривиальной задачей. Оказывается, что нельзя получить состоятельную оценку матрицы \(\Omega\), но можно получить такую оценку этой матрицы, чтобы левая часть, то есть \(Var(\hat{\beta}|X)\), была состоятельна.

Например, состоятельной оценкой бцдет следующая: \(\hat{Var}_{HC}(\hat{\beta}|X)=(X'X)^{-1}X'\times \hat{\Omega}\times X(X'X)^{-1}\) где \(\hat{\Omega}\) можно представить в виде:(White)

\(\hat{\Omega}_{HC0}=\left( \begin{matrix} \hat{u_1^2} & 0 &\dots & 0 \ \vdots & \vdots & \vdots & \vdots\ 0 & \dots &\dots & \hat{u_n^2} \end{matrix} \right)\)

  • абревиатура НС - heteroscedasticity-consistent

При гетероскедастичности оценки несмещенные и состоятельные, но проблема будет заключаться в t-статистике, так как мы не знаем ее распределение, следовательно, нам необходимо использовать стандартные отклонения из устойчивой к гетерокедастичности матрицы, чтобы получить надежные оценки:

\(t_{HC}=\frac{\hat{\beta_j}-\beta_j}{se_{HC}(\hat{\beta_j})}\) ~ \(N(0;1)\) где \(se_{HC}(\hat{\beta_j})\) находятся из матрицы \(\hat{Var}_{HC}(\hat{\beta}|X)\)

и теперь \(t_{HC}\)~\(N(0;1)\) (асимтотически нормальное)

  1. \(plim(\hat{\beta})=plim(X'X)^{-1}X'y=\beta+plim(X'X)^{-1}X'u=\beta\)