Условное ожидание или проекция

В фильтре Калмана возникает такая подзадача:

Найдите $E(a \mid b)$ и $Var(a \mid b)$, если векторы $a$ и $b$ имеют совместное нормальное распределение.

Давайте её решим.

Исходя из аксиоматики Хершела-Максвелла, для совместного нормального распределения некоррелированность равносильна независимости. Некоррелированности ошибки прогноза $a - \hat a$ с известным вектором $b$ можно добиться используя линейные прогнозы $\hat a = \Lambda b + d$.

Сразу из условия $E(a - \hat a) = 0$ запишем $\hat a = \mu_a + \Lambda (b - \mu_b)$.

И теперь осталось найти $\Lambda$ из условия $Cov(a - \hat a, b) = 0$.

$$Cov(a, b) = Cov(\hat a, b)$$

Подставляем линеную формулу для прогнозов: $Cov(a, b) = Cov(\mu_a + \Lambda (b - \mu_b), b)$

И получаем систему: $Cov(a, b) = \Lambda Var(b)$

Отсюда: $\Lambda = Cov(a, b) \cdot Var^{-1}(b).$

Это формула является зеркальной копией известного в регрессии $\hat\beta = (X^T X)^{-1} X^T y$.

Отличие состоит в том, что $(X^T X)^{-1} X^T y$ работает с выборкой и по каждой переменной у нас $n$ наблюдей.

А в формуле $Cov(a, b) \cdot Var^{-1}(b)$ векторы $a$ и $b$ — это случайные величины.

December 17th, 2020 by Борис Демешев