В фильтре Калмана возникает такая подзадача:
Найдите $E(a \mid b)$ и $Var(a \mid b)$, если векторы $a$ и $b$ имеют совместное нормальное распределение.
Давайте её решим.
Исходя из аксиоматики Хершела-Максвелла, для совместного нормального распределения некоррелированность равносильна независимости. Некоррелированности ошибки прогноза $a - \hat a$ с известным вектором $b$ можно добиться используя линейные прогнозы $\hat a = \Lambda b + d$.
Сразу из условия $E(a - \hat a) = 0$ запишем $\hat a = \mu_a + \Lambda (b - \mu_b)$.
И теперь осталось найти $\Lambda$ из условия $Cov(a - \hat a, b) = 0$.
\[Cov(a, b) = Cov(\hat a, b)\]Подставляем линеную формулу для прогнозов: \(Cov(a, b) = Cov(\mu_a + \Lambda (b - \mu_b), b)\)
И получаем систему: \(Cov(a, b) = \Lambda Var(b)\)
Отсюда: \(\Lambda = Cov(a, b) \cdot Var^{-1}(b).\)
Это формула является зеркальной копией известного в регрессии $\hat\beta = (X^T X)^{-1} X^T y$.
Отличие состоит в том, что $(X^T X)^{-1} X^T y$ работает с выборкой и по каждой переменной у нас $n$ наблюдей.
А в формуле $Cov(a, b) \cdot Var^{-1}(b)$ векторы $a$ и $b$ — это случайные величины.
December 17th, 2020 by Борис Демешев