Случайные заметки

Преподавание статистики

2021-11-10T00:00:00+00:00

Курс статистики вшэ для экономистов: теория вероятностей (1 семестр) + математическая статистика (1 семестр). Идеи разного порядка важности — пусть мир будет лучше :)

Идейки как сделать курс лучше

В рассказе про условные вероятности вводить слова «чувствительность» и «специфичность».
Вводить оценку сложных вероятностей и ожиданий с помощью симуляций. Тут же появляется впервые понятие оценки и обозначение параметра с крышкой.
Выводить экспоненциальную плотность через предпосылку об отсутствии памяти.
Долой t-тест с предпосылкой равных дисперсий. Лучше заменить его на тест Уэлча. Доказывается поправка степеней свободы несложно, а на уровне рецепта совсем без разницы по времени.
Долой интервалы и тесты при известных дисперсиях вообще. Или хотя бы резко уменьшить внимание на них. Это чисто учебный промежуточный момент, а наши студенты спрашивают при проверке гипотез, а дисперсия тут известна? Да никогда она не известна!
Долой доверительный интервал для дисперсии. И проверку гипотезы о дисперсии. Думаю, лучше практиковать хи-квадрат распределение на LR/LM/W.
Больше байесовского подхода. Сейчас с вероятностным программированием это полноценная альтернатива классическому подходу.
Больше баек, легенд, парадоксов, грешных и хороших практик: https://en.wikipedia.org/wiki/Simpson%27s_paradox https://en.wikipedia.org/wiki/Parrondo%27s_paradox https://allendowney.blogspot.com/2015/08/the-inspection-paradox-is-everywhere.html https://en.wikipedia.org/wiki/Berkson%27s_paradox

http://www.dgps.de/fachgruppen/methoden/mpr-online/issue16/art1/haller.pdf

https://archive.org/details/DTIC_ADA091073/page/n51/mode/2up https://en.wikipedia.org/wiki/Sleeping_Beauty_problem https://en.wikipedia.org/wiki/Lindley%27s_paradox https://en.wikipedia.org/wiki/Survivorship_bias https://stats.stackexchange.com/questions/4551 https://stats.stackexchange.com/questions/23779

Хорошо бы добавить в виде задачек, но хотя бы на уровне прочитать-посмотреть.

Тройка LR-LM-Wald как альтернатива списку классических гипотез.

6.1. В LM хотелось бы на простом примере гипотезы о среднем вывести аналог nR^2, и тогда была бы лишняя связь с курсом эконометрики.

6.2. AIC и BIC хороши тем, что задают альтернативу дихотомичному H0 отвергается-не отвергается, и можно сравнивать кучу моделей. Хорошая статья: http://web.ipac.caltech.edu/staff/fmasci/home/astro_refs/AIC_in_modelselection.pdf Студенты думают, что есть истина и мы её с некоторой вероятностью установим. А AIC и BIC прекрасны тем, что сразу говорят, что истину мы не установим, а найдём только похожую на неё модель. И то, не факт :) Но это другой взгляд на моделирование и он очень расширяет кругозор! Более того, AIC и BIC дадут в курсе логическое применение энтропии и дивергенции Кульбака-Лейблера между распределениями.

6.3. Хороший источник про ANOVA (с объяснением, почему не всю анову можно заменить на простую регрессию) http://www.stat.columbia.edu/~gelman/research/published/AOS259.pdf

Список статей, рекомендованных для чтения. В частности, туда можно включить и байки, и какие-то короткие но классные штуки типа The Earth is round (p < 0.05) http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.188.597
Мотивация через АБ-тесты?
Рассказать все слова с уберовской картинки. https://eng.uber.com/xp/
Включать энтропию и дивергенцию Кульбака-Лейблера на равных правах как и остальные характеристики случайных величин. Подсчёт ничем не сложнее дисперсии или корреляции. А выходы идут от них и на максимальное правдоподобие, AIC, BIC и на машинное обучение. Это связь с другими курсами.
Вводить многомерное нормальное распределение через аксиоматику Хершела-Максвелла, а не через плотность. Это очень естественно! Многие доказательства упрощаются (в статистике их мало, но в метрике все теоремы про F, t обретают естественную аргументацию).
За бутстрэп https://arxiv.org/pdf/1411.5279.pdf https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4784504/ https://stats.stackexchange.com/questions/355781/is-it-true-that-the-percentile-bootstrap-should-never-be-used
Множественное тестирование: поправки Бонферонни, Холма-Бонферонни с доказательством, Бенджамини-Хохберга на уровне алгоритма + симуляции.
Некоторые студенты активно используют карточки анки для запоминания информации. Каждая карточка поделена на две стороны, и глядя на одну можно вспоминать другую. Можно довести до ума и пусть в метро или парке учат с мобильного вероятности :)

Создать подборку мотивирующих материалов. Для экономистов это могли бы быть финансовые модели.

А. В задачах на нормальное распределение добавить что-то из модели Блэка-Шоулза. Без доказательства, в духе “В модели Блэка-Шоулза предполагается, что цена акции в момент t описывается..” и далее что-то про ожидание-дисперсию-вероятность спросить.
https://www.cambridge.org/sa/files/5213/6680/0138/BSM-solutions.pdf Б. Можно добавить слова ValueAtRisk, весь @VaR это по хорошему всего лишь квантили какого-то распределения. https://en.wikipedia.org/wiki/Value_at_risk В. Можно в качестве одного из дз-кр предложить задачи экзамена английских актуариев: https://www.actuaries.org.uk/studying/prepare-your-exams/past-exam-papers-and-examiners-reports В духе “вы примерно на 80% можете сдать один из экзаменов на сертифицированного английского актуария после нашего курса”. Г. Мотивационное :) https://www.ted.com/talks?topics%5B%5D=statistics

Сохранять вики-страничку тем каждого года в истории.
Открытые видео записи с хорошим оглавлением. Разбивка на отдельные задачи.

Поправка Бонферонни и Холма-Бонферонни

2021-11-09T00:00:00+00:00

Общие обозначения

Всего есть $m$ нулевых гипотез. Из них $m_0$ нулевых гипотез верны. Количества $m$ и $m_0$ — это константы. Известна только величина $m$. Множество индексов $I_0$ — номера верных нулевых гипотез.

Исходные, несортированные $p$-значения: $p_1$, $p_2$, …, $p_n$.

Отсортируем $p$-значения: $p_{(1)} \leq p_{(2)} \leq \ldots p_{(m)}$.

Случайная величина $V$ — число ложно отвергнутых нулевых гипотез, $0 \leq V \leq m_0$.

\[FWER = P(V > 0)\]

Поправка Бонферонни

Цель. Хотим, чтобы при любом $m_0$ $FWER \leq \alpha.$

Алгоритм: Отвергаем те нулевые гипотезы, у которых $p_i \leq \alpha / m$. Остальные не отвергаем.

Доказательство.

\[FWER = P(V > 0) = P(\cup \{p_i \leq \alpha /m \}) \leq \sum_{i \in I_0} P(p_i \leq \alpha/m) = m_0 \cdot \alpha/m \leq \alpha.\]

Поправка Холма-Бонферонни

Цель. Хотим, чтобы при любом $m_0$ $FWER \leq \alpha.$

Алгоритм: Сортируем $p$-значения от меньшего к большему, $p_{(1)} \leq p_{(2)} \leq \ldots \leq p_{(m)}$.

Рисуем на графике: по горизонтали ранг $k$, по вертикали $p_{(k)}$.

Добавляем на график линию $y(k) = \alpha / (m + 1 - k)$.

Находим первое $p$-значение, лежащее выше графика или на нём. Соответствующую ему гипотезу не отвергаем. Гипотезы, соответствующие $p$-значениям правее не отвергаем. Гипотезы, соответствующие $p$-значениям левее отвергаем.

Доказательство.

Шаг 1. Для начала докажем, что первая отвергнутая верная гипотеза имеет $p$-значение меньше $\alpha/m_0$.

Доказательство: Пусть $N$ — номер первой отвергнутой верной гипотезы. Её $p$-значение было $p_{(N)} < \frac{\alpha}{m - N + 1}$.

Слева от первой отвергнутой верной гипотезы лежат только неверные гипотезы. Справа от первой отвергнутой верной гипотезы лежат $m - N$ гипотез, они могут быть как верные, так и неверные. Значит: $m - N + 1 \geq m_0$

Следовательно, $p_{(N)} < \frac{\alpha}{m - N + 1} \leq \frac{\alpha}{ m_0 }$

Шаг 2. Из того, что первой отвергнутой гипотезы $p$-значение меньше $\alpha/m_0$ следует, что хотя бы у одной верной гипотезы есть $p$-значение меньше $\alpha/m_0$.

\[FWER = P(V > 0) \leq P(p_{(N)} < \alpha / m_0) \leq P(\cup_{i\in I_0}\{ p_i \leq \alpha / m_0 \})\]

А дальше, как и в поправке Бонферонни, мажорируем вероятность объединения суммой вероятностей: $P(\cup_{i\in I_0}\{ p_i \leq \alpha / m_0 \}) \leq \sum_{i \in I_0} P( p_i \leq \alpha / m_0 ) = m_0 \alpha / m_0 = \alpha.$

Правильная теорема о стационарных решения AR-уравнения

2021-03-20T00:00:00+00:00

Определение. AR(p) уравнением мы будем называть уравнение вида $y_t = \beta_1 y_{t-1} + \beta_2 y_{t-2} + \ldots + \beta_p y_{t-p} + u_t,$ где $(u_t)$ — белый шум и $t\in \mathbb{Z}$.

Правильная теорема о стационарности решений.

Рассмотрим AR(p)-уравнение при $p\geq 1$.

Существует бесконечное количество нестационарный решений.
Существует не более одного стационарного решения.
Существует ровно одно стационарное решение если, и только если, для всех корней характеристического уравнения $|\lambda_i|\neq 1$.
Если стационарное решение существует, то оно является линейной комбинацией белых шумов.

\[y_t = \ldots + \alpha_2 u_{t-2} + \alpha_1 u_{y-1} + \alpha_0 u_t + \alpha_1 u_{t-1} + \alpha_2 u_{t-2} + \ldots\]

Существует ровно одно стационарное решение, не заглядывающее в будущее, если, и только если, для всех корней характеристического уравнения $|\lambda_i|< 1$. Такое решение имеет вид:

\[y_t = u_t + \alpha_1 u_{t-1} + \alpha_2 u_{t-2} + \ldots\]

Для аккуратности сформулируем определение явно:

Решение AR(p) уравнения называется не заглядывающим в будущее, если оно имеет вид

$y_t = u_t + \alpha_1 u_{t-1} + \alpha_2 u_{t-2} + \ldots,$ то есть в $y_t$ не входят белые шумы с индексами больше $t$.

В противном случае мы называем решение заглядывающим в будущее.

Пример.

\[y_t = 2 y_{t-1} + u_t\]

Корень характеристического уравнения $\lambda=2$. Стационарное решение есть, единственно, и заглядывает в будущее. Можно явно предъявить решение:

\[y_t = -0.5 u_{t+1} + (-0.5)^2 u_{t+2} + (-0.5)^3 u_{t+3} + \ldots\]

Что нужно знать про лаги?

Лаг $L$ — это линейный оператор на множестве случайных процессов с индексами $t\in \mathbb{Z}$.

Теорема.

Если левую и правую часть $AR(p)$ уравнения домножить на нетривиальный лаговый полином с корнями $|\ell|\neq 1$, то:

Множество нестационарных решений увеличится.
Количество стационарных решений (ноль или одно) не изменится.

Пример.

При домножении на лаговый полином с корнем $

\ell

=1$ может увеличиться и количество стационарных решений.

Уравнение А. $y_t = u_t$

По уравнению А видно, что решение единственно.

Домножим левую и правую часть на $\delta = 1- L$. Получим уравнение Б. $(1-L)y_t = (1-L)u_t$

Или $y_t - y_{t-1} = u_t - u_{t-1}$

Появились новые нестационарные решения. Например, $y_t = u_t + u_0 + u_{42}$.

Появились новые стационарные решения. Например, $y_t = 42 + u_t$.

Gretl

2021-01-08T00:00:00+00:00

Есть замечательная альтернатива Eviews/Stata для тех, кто совсем не хочет программировать, а хочет обойтись кнопочным интерфейсом: gretl

Готовые бинарные файлы под max/windows прямо на главной страничке есть.

А мне для себя инструкция как поставить на ubuntu свежую версию. Ибо в репозиториях ubuntu-LTS всегда лежит замшелая версия.

После скачивания архива разархивируем его:

tar -xvf gretl-2020e.tar.xz

Компилируем:

cd gretl2020e
./configure
make
make check
sudo make install

Пробуем запустить из командной строки

gretl

Если при запуске выдаёт

/usr/local/bin/gretl_x11: error while loading shared libraries: libgretl-1.0.so.36: cannot open shared object file: No such file or directory

То

sudo ldconfig

Условное ожидание или проекция

2020-12-17T00:00:00+00:00

В фильтре Калмана возникает такая подзадача:

Найдите $E(a \mid b)$ и $Var(a \mid b)$, если векторы $a$ и $b$ имеют совместное нормальное распределение.

Давайте её решим.

Исходя из аксиоматики Хершела-Максвелла, для совместного нормального распределения некоррелированность равносильна независимости. Некоррелированности ошибки прогноза $a - \hat a$ с известным вектором $b$ можно добиться используя линейные прогнозы $\hat a = \Lambda b + d$.

Сразу из условия $E(a - \hat a) = 0$ запишем $\hat a = \mu_a + \Lambda (b - \mu_b)$.

И теперь осталось найти $\Lambda$ из условия $Cov(a - \hat a, b) = 0$.

\[Cov(a, b) = Cov(\hat a, b)\]

Подставляем линеную формулу для прогнозов: $Cov(a, b) = Cov(\mu_a + \Lambda (b - \mu_b), b)$

И получаем систему: $Cov(a, b) = \Lambda Var(b)$

Отсюда: $\Lambda = Cov(a, b) \cdot Var^{-1}(b).$

Это формула является зеркальной копией известного в регрессии $\hat\beta = (X^T X)^{-1} X^T y$.

Отличие состоит в том, что $(X^T X)^{-1} X^T y$ работает с выборкой и по каждой переменной у нас $n$ наблюдей.

А в формуле $Cov(a, b) \cdot Var^{-1}(b)$ векторы $a$ и $b$ — это случайные величины.

Геометрическая алгебра

2020-11-07T00:00:00+00:00

Подборка ссылок по геометрической алгебре. Можно рассказать школьникам про комплексные числа и кватернионы.

http://geometry.mrao.cam.ac.uk

Imaginary numbers are not Real http://geometry.mrao.cam.ac.uk/1993/01/imaginary-numbers-are-not-real-the-geometric-algebra-of-spacetime/

Lecture notes http://geometry.mrao.cam.ac.uk/2016/10/geometric-algebra-2016/

https://www.amazon.com/dp/0792355148/#reader_0792355148

http://geometry.mrao.cam.ac.uk/2007/01/geometric-algebra-for-physicists/

https://probablydance.com/2017/08/05/intuitive-quaternions/

https://news.ycombinator.com/item?id=14947065

http://www.math.umd.edu/~immortal/MATH431/

Матанализ как тонкое искусство забивать

2020-10-12T00:00:00+00:00

Весь матанализ — это тонкое искусство забивать на $o(\delta x)$. Очень не хватает подборки задач или учебника, чтобы научиться этому искусству на картинках.

И прочие сюжеты, о которых молчат обычно в курсах по анализу :)

Автоматическое дифференцирование и дуальные числа.

Нестандартный анализ.

Ряд для синуса и косинуса на картинке Leo Gurin, A problem Яков Степанович Чайковский

Почему производная синуса косинус?

https://www.youtube.com/watch?v=R4o7sraVMZg

http://daylateanddollarshort.com/mathdocs/Calculus-free-Derivatives-of-Sine-and-Cosine.pdf

Ряды

Вернон Лэндон и нормальное распределение

2020-10-10T00:00:00+00:00

В 1941 году инженер-электрик Вернон Лэндон опубликовал малоизвестный вывод нормального распределения, The Distribution of Amplitude with Time in Fluctuation Noise. Вывод Лэндона пересказал Эдвин Томпсон Джейнс в книге “Теория вероятностей: логика науки”. А это мой пересказ пересказа Джейнса :)

Предположим, что напряжение можно представить в виде основной части и некоторого шума, $V’ = V + \Delta$.

Шум $\Delta$ и основная часть $V$ независимы. Закон распределения $V$ принадлежит семейству распределений, которое полностью определяется дисперсией $Var(V)= \sigma^2$. Другими словами плотность $V$ задаётся формулой $f_V(x\mid \sigma^2)$.

По формуле свёртки получаем:

\[f_{V'}(x) = \int_{-\infty}^{+\infty} f_V(x-h \mid \sigma^2)f_{\Delta}(h) dh\]

Разложим $f_V(x-h \mid \sigma^2)$ в ряд Тейлора по $h$:

\[f_V(x-h \mid \sigma^2) = f_V(x \mid \sigma^2) - h \frac{\partial f_V(x \mid \sigma^2)}{\partial x} + \frac{1}{2!} h^2 \frac{\partial^2 f_V(x \mid \sigma^2)}{\partial x^2} + \ldots\]

Подставляем разложение Тейлора в формулу свёртки. Интегрируем каждое слагаемое ряда по отдельности:

\[f_{V'}(x) = f_V(x \mid \sigma^2) \int_{-\infty}^{+\infty} f_{\Delta}(h) dh - \frac{\partial f_V(x \mid \sigma^2)}{\partial x} \int_{-\infty}^{+\infty} h f_{\Delta}(h) dh + \frac{1}{2!} \frac{\partial^2 f_V(x \mid \sigma^2)}{\partial x^2} \int_{-\infty}^{+\infty} h^2 f_{\Delta}(h) dh + \ldots\]

В терминах ожиданий получаем:

\[f_{V'}(x) = f_V(x \mid \sigma^2) - E(\Delta) \frac{\partial f_V(x \mid \sigma^2)}{\partial x} + \frac{1}{2!} E(\Delta^2) \frac{\partial^2 f_V(x \mid \sigma^2)}{\partial x^2} + \ldots\]

Величину шума мы представим в виде $\Delta = \alpha U$ c $E(U)=0$ и $Var(U)=1$. Посмотрим на поведение функции при малом $\alpha$.

\[f_{V'}(x) = f_V(x \mid \sigma^2) + \alpha^2 \frac{1}{2!} \frac{\partial^2 f_V(x \mid \sigma^2)}{\partial x^2} - \alpha^3 \frac{1}{3!} E(U^3) \frac{\partial^3 f_V(x \mid \sigma^2)}{\partial x^3} + \ldots\]

Лэндон предположил, что закон распределения $V’$ принадлежит тому же семейству, что и закон распределения $V$. Заметим, что $Var(V’) = Var(V) + Var(\Delta) = \sigma^2 + \alpha^2$. Значит плотность $f_{V’}(x)$ совпадает с плотностью $f_V(x \mid \sigma^2 + \alpha^2)$.

Прибавление шума к напряжению не изменяет семейства закона распределения, а меняет только дисперсию.

Разложим плотность в ряд Тейлора по $\alpha^2$:

\[f_V(x \mid \sigma^2 + \alpha^2) = f_V(x \mid \sigma^2) + \alpha^2 \frac{\partial f_V(x \mid \sigma^2)}{\partial \sigma^2} + \frac{1}{2!}\alpha^4 \frac{\partial^2 f_V(x \mid \sigma^2)}{(\partial \sigma^2)^2} + \ldots\]

Согласно предпосылкам Лэндона это одна и та же функция, поэтому:

\[\frac{\partial f_V(x \mid \sigma^2)}{\partial \sigma^2} = \frac{1}{2} \frac{\partial^2 f_V(x \mid \sigma^2)}{\partial x^2}\]

На этом вывод заканчивается. Далее Лэндон ссылается, что это известное уравнение теплопроводности.

Почитать:

Глава 7 про нормальное распределение из книжки Джейнса.

Регрессия и кросс-валидация

2020-05-07T00:00:00+00:00

На мой взгляд логично рассказывать регрессию в три прохода:

Сначала без предпосылок, как задачу оптимизации. Зато с матрицами и кросс-валидацией :)

Потом с предпосылками на моменты. Здесь возникает теорема Гаусса-Маркова.

В конце с предпосылками на закон распределения.

Эта идея не нова :) Например, её продвигал мой учитель Эмиль Борисович Ершов, есть она и у Cobb в статье про преподавание статистики.

В этом посте с помощью фейкового наблюдения, без использования тяжкого тождества Вудберри, мы выведем формулу связи между обычными и кросс-валидационными остатками.

Рассмотрим модель $y=X\beta + u$.

Оценим модель без первого наблюдения. Получим МНК-оценки $\hat\beta^{(-1)}$. С помощью этих оценок спрогнозируем первое наблюдение, получим прогноз $\hat y_1^{CV}$ и ошибку прогноза $\hat u_1^{CV}$.

Вернём первое наблюдение в выборку и удалим второе наблюдение. Получим МНК-оценки $\hat\beta^{(-2)}$. С помощью этих оценок спрогнозируем второе наблюдение, получим прогноз $\hat y_2^{CV}$ и ошибку прогноза $\hat u_2^{CV}$.

Поступим так с каждым наблюдением. На выходе получим вектор кросс-валидационных прогнозов $\hat y^{CV}$ и вектор кросс-валидационных ошибок прогнозов $\hat u^{CV}$.

Теорема.

Если модель $y=X\beta + u$ оценивается с помощью МНК и проводится кросс-валидации с поочередным выкидыванием отдельных наблюдений, то:

\[\hat u_i = (1 - H_{ii}) \cdot \hat u_i^{CV},\]

где $H$ — матрица-шляпница $H = X(X’X)^{-1}X’$, $\hat u$ — остатки регрессии, а $\hat u^{CV}$ — кросс-валидационные ошибки прогнозов.

Доказательство.

Оценим модель без последнего наблюдения, $\hat y^{-} = X^{-} \hat\beta^{-}$.

Создадим вектор $y^{\ast}$, который будет отличаться от $y$ только последним, $n$-м элементом: вместо настоящего $y_n$ там будет стоять прогноз по модели без последнего наблюдения $\hat y^{-}_n$.

Раз уж мы добавили новую точку лежащую ровно на выборочной регрессии, то при оценки модели $\hat y^{\ast} = X \hat \beta^{ \ast}$ мы получим в точности старые оценки $\hat \beta^{\ast} = \hat \beta^{-}$. Следовательно, и прогнозы эти две модели дают одинаковые, $\hat y_i^{\ast} = \hat y_i^{-}$.

А теперь посмотрим на последний элемент вектора $v = H (y^{\ast} - y)$.

С одной стороны, он равен последней строке матрицы $H$ умножить на вектор $(y^{\ast} - y)$. В векторе $(y^{\ast} - y)$ только последний элемент ненулевой, поэтому $v_n = H_{nn} (\hat y^{-}_n - y_n)$.

С другой стороны, мы можем раскрыть скобки, и заметить, что $v = Hy^{\ast} - Hy$. И окажется, что $v_n = \hat y_n^{\ast} - \hat y_n = \hat y_n^{-} - \hat y_n$.

Отсюда $\hat y_n^- - \hat y_n = H_{nn} (\hat y_n^- - y_n)$

Приводим подобные слагаемые и добавляем слева и справа $y_n$, получаем как раз то, что нужно: $y_n - \hat y_n = (1 - H_{ii}) (y_n - \hat y_n^- )$

Теорема Гаусса-Маркова-Пифагора

2020-05-07T00:00:00+00:00

Хочу вскрыть заговор рептилоидов и мировой закулисы, скрывающих от простого люда, что теорема Гаусса-Маркова — это реинкарнация теоремы Пифагора.

Обычно в доказательстве используется линейная алгебра без пояснения геометрической сути. Пора сорвать покровы :)

Модель $y = X\beta + u$ оценивается с помощью МНК.

TODO: дописать оставшуюся часть теоремы и доказательства

Доказательство эффективности МНК-оценок.

Мы докажем, что дисперсия МНК-оценки — это квадрат длины катета, дисперсия альтернативной несмещённой оценки — квадрат длины гипотенузы.

Для примера рассмотрим первый коэффициент бета. Доказательство не меняется ни капли, если рассмотреть произвольную линейную комбинацию коэффициентов бета. У нас есть две оценки, $\hat\beta_1$ и $\hat\beta_1^{alt}$. Обе они линейны по $y$, следовательно, $\hat\beta_1 = a’y$ и $\hat\beta_1^{alt} = a’_{alt} y$.

Замечаем, что $Var(\hat\beta_1) = \sigma^2 a’a$, и $Var(\hat\beta_1^{alt}) = \sigma^2 a_{alt}’a_{alt}$. То есть дисперсии пропорциональны квадратм длин векторов $a$ и $a^{alt}$. Осталось доказать, что вектор $a$ не длиннее вектора $a^{alt}$ :)

Для этого мы докажем, что $a^{alt}$ — это гипотенуза, а $a$ — катет. То есть нужно доказать, что вектор $a - a^{alt}$ перпендикулярен вектору $a$.

Разобъём доказательство перпендикулярности $a$ и $a-a^{alt}$ на два шага:

Шаг 1. Вектор $a - a^{alt}$ перпендикулярен любому столбцу матрицы $X$.

Шаг 2. Вектор $a$ является линейной комбинацией столбцов матрицы $X$.

TODO: здесь картинка!

Приступаем к шагу 1. Обе оценки несмещённые, поэтому для любых $\beta$ должно выполняться:

\[E(\hat\beta_1) = E(\hat\beta_1^{alt})\]

Переносим всё в левую сторону:

\[E((a' - a'_{alt})(X\beta + u)) = 0\]

Получаем, что для любых $\beta$ должно быть выполнено условие:

\[(a - a_{alt})'X\beta = 0\]

Но это возможно только если вектор $(a - a_{alt})’X$ равен нулю. Следовательно, вектор $(a - a_{alt})$ перпендикулярен любому столбцу $X$.

Приступаем к шагу 2.

Вспоминаем, что $\hat \beta = (X’X)^{-1}X’y$. Следовательно, нужная строка весов $a’$ — это первая строка в матрице $(X’X)^{-1}X’$. Замечаем, что выражение имеет вид $A \cdot X’$.

Вспоминаем из линейной алгебры, что при умножении матриц $AB$ получается матрица $C$, на которую можно взглянуть двумя способами. Можно считать, что $C$ — это разные линейные комбинации столбцов левой матрицы $A$, а можно считать, что $C$ — это разные линейные комбинаций строк правой матрицы $B$.

Применим второй взгляд :) Получаем, что строка $a’$ — линейная комбинация строк матрицы $X’$. Или, другими словами, столбец $a$ — линейная комбинация столбцов матрицы $X$.