Лекция 11: Линейная регрессия. Метод наименьших квадратов. Теорема Гаусса–Маркова

Введение

Сегодня начинается разговор про линейные модели, в частности — про линейную регрессию. Многие уже сталкивались с линейной регрессией и методом наименьших квадратов в других контекстах. Оказывается, эту, казалось бы, простую модель можно рассмотреть и со статистической точки зрения, чем мы и займёмся.

Постановка задачи

Рассмотрим модель в матричном виде:

Раскроем смысл каждого объекта.

Матрица переменных $X$

$X$ — это матрица $n \times m$ с вещественными коэффициентами. Это матрица переменных, где:

• $n$ — количество наблюдений, доступных нам;
• $m$ — количество переменных.

При этом $X$ воспринимается как не случайная величина — это какой-то конкретный детерминированный набор.

Вектор коэффициентов $c$

$c \in \mathbb{R}^m$ — неизвестный вектор коэффициентов (вектор из $m$ компонент).

Ошибка $\varepsilon$

$\varepsilon$ — это ошибка, поскольку идеальная линейная зависимость встречается редко. Ошибка воспринимается как случайная величина.

$\varepsilon$ — это вектор длины $n$:

где $\varepsilon_i$ соответствует $i$-му наблюдению.

Предположения на ошибку

На ошибку накладываются следующие предположения:

1. Нулевое математическое ожидание:

   $$\mathbb{E}\varepsilon_i = 0$$

   То есть в среднем ошибка равна нулю — это означает, что модель «более-менее адекватная».

2. Некоррелированность (но не независимость!):

   $$\text{cov}(\varepsilon_i, \varepsilon_j) = 0, \quad i \neq j$$

   На интуитивном уровне — мы независимо наблюдаем и $i$-ю, и $j$-ю строчку. Замечание: студент предложил предположение независимости и одинаковой распределённости, но Иван Александрович уточнил, что независимость пока не предполагается — только некоррелированность.

3. Гомоскедастичность — одинаковые дисперсии у ошибок:

   $$\mathbb{D}\varepsilon_i = \sigma^2$$

   Слово гомоскедастичность означает, что дисперсии у ошибок одинаковые. При этом $\sigma^2$ неизвестна.

Вектор наблюдений $y$

$y \in \mathbb{R}^n$ — наблюдение зависимой переменной.

Глобальная цель

Цель — «оценить» вектор коэффициентов $c$ и величину $\sigma^2$ (которая называется остаточная дисперсия).

Слово «оценить» написано в кавычках, потому что:

• Можно дать точечную оценку;
• Можно построить доверительный интервал;
• Можно проверять гипотезы.

То есть можно решать всякие разные статистические задачи касательно $c$ и $\sigma^2$.

Пример: цена недвижимости

Допустим, рассматриваем цену недвижимости. Цена недвижимости (это $y$) может зависеть от разных факторов:

• расстояние от центра города;
• расстояние до ближайшего метро;
• и так далее.

Эти переменные образуют матрицу $X$:

• Первая строчка — значение переменных для первого наблюдения;
• Вторая строчка — для второго наблюдения; и т. д.

Например, столбец $y$ — это flat\_price ($y_1, \ldots, y_n$). Переменные:

• distance\_to\_center: $x_{1,1}, \ldots, x_{n,1}$;
• distance\_to\_nearest\_subway: $x_{1,2}, \ldots, x_{n,2}$;
• и т. д.

Предполагаем, что цена линейно зависит от факторов:

Грубо говоря, $c_j$ — это значимость (коэффициент) при соответствующей переменной. Цель — оценить эти коэффициенты.

Замечание про свободный коэффициент $c_0$

Часто в линейных моделях фигурирует свободный коэффициент $c_0$. Однако его введение не умаляет общности записи. Если ввести $c_0$, то это частный случай рассмотренной ситуации:

— то есть мы добавляем фиктивную переменную, равную единице для всех наблюдений. Поэтому общий вид $y = Xc + \varepsilon$ покрывает и случай со свободным членом.

Вспомогательная матрица $A$

Введём матрицу:

На что она похожа? Это похоже на «ковариацию» между переменными (в кавычках!).

Действительно, строчка матрицы $X^T$ — это столбец переменной. Если поделить на $n$, то получится почти выборочная ковариация. Формально это не совсем ковариация, но нечто, очень сильно напоминающее её. На интуитивном уровне про матрицу $A$ можно думать как про вариацию между переменными.

Свойства матрицы $A$

• $A$ — матрица $m \times m$ по построению.
• Предполагаем: $\text{rank}(A) = m$.

Это означает, что переменные линейно независимы. В контексте регрессионного анализа это называется отсутствие мультиколлинеарности.

$\text{rank}(A) = m$ ⟺ переменные линейно независимы ⟺ отсутствует мультиколлинеарность.

Также предполагаем, что количество наблюдений существенно больше количества переменных: $n \gg m$.

Оценка наименьших квадратов

Рассмотрим квадратическую ошибку:

Или в матричном виде:

Оценка наименьших квадратов $\hat{c}$ — это оценка, которая минимизирует квадратическую ошибку:

Утверждение: формула для $\hat{c}$

В рамках наших предположений можно написать точную формулу:

Доказательство

Обычно доказательство ведётся через дифференцирование $S^2(c)$ по $c$ и приравнивание градиента к нулю. Однако докажем «в лоб» — по ходу доказательства получим важное соотношение, которое будет использовано в дальнейшем.

Рассмотрим $S^2(\hat{c} + h)$, где $h$ — некоторое приращение. Распишем:

Сгруппируем так:

Раскрываем скобки:

Анализ перекрёстных членов

Распишем $h^T X^T (X\hat{c} - y)$, подставляя $\hat{c} = A^{-1} X^T y$:

Поскольку $A = X^T X$ и $A$ обратима (по предположению о ранге):

Поэтому:

Аналогично второй перекрёстный член:

Итоговое соотношение

Таким образом:

Заметим, что $h^T A h = h^T X^T X h = (Xh)^T (Xh) \geq 0$ — скалярное произведение вектора на себя.

Поскольку $\text{rank}(A) = m$, матрица $A$ не вырождена, значит, она строго положительно определена. Это означает: если $h \neq 0$, то $h^T A h > 0$, то есть:

Тем самым доказано, что $\hat{c} = A^{-1} X^T y$ действительно является минимумом. ∎

Важное соотношение, полученное по ходу доказательства

Если положить $c_1 = \hat{c} + h$, $c_2 = \hat{c}$, то $h = c_1 - c_2$, и мы получили:

Это соотношение будет использоваться в дальнейших выкладках.

Практическое замечание

С вычислительной точки зрения формула $\hat{c} = A^{-1} X^T y$ не самая удобная: нужно обращать матрицы, перемножать их. На практике обычно используются численные методы:

• оптимизация исходной функции ошибок;
• численное решение уравнения градиент = 0.

Теорема Гаусса–Маркова

Это фундаментальная теорема в рамках линейных моделей. Традиционно она формулируется для самой оценки наименьших квадратов, но здесь рассмотрим более общее утверждение.

Постановка

Рассмотрим линейную функцию от вектора коэффициентов:

где $T$ — матрица $k \times m$, $k \leq m$, $\text{rank}(T) = k$.

Если взять $T = I$ (единичная матрица), получим теорему Гаусса–Маркова для обычной оценки наименьших квадратов.

Введём оценку:

Зачем нужно $T$?

В дальнейшем будут проверяться гипотезы о векторе $c$ при линейных ограничениях. Соотношение $Tc = \tau$ как раз задаёт линейное ограничение. В качестве нулевой гипотезы стат-теста будет выступать предположение, что $c$ удовлетворяет каким-то линейным ограничениям.

Формулировка

При выполнении всех предположений (некоррелированность ошибок, нулевое мат. ожидание, гомоскедастичность):

(а) $\hat{\tau}$ — несмещённая оценка для $\tau$:

(б) Матрица ковариаций $\text{cov}(\hat{\tau}) = \sigma^2 T A^{-1} T^T$, и $\hat{\tau}$ — оптимальная оценка для $\tau$ в классе линейных по $y$ несмещённых оценок.

Доказательство (а): несмещённость

$T$, $A^{-1}$, $X^T$ — константы, выносим за знак мат. ожидания:

(поскольку $\mathbb{E}\varepsilon = 0$, а $Xc$ — константа). Учитывая $X^T X = A$:

Доказательство (б): матрица ковариаций

Замечание (вопрос студента): в одномерном случае $\mathbb{D}(aX) = a^2 \mathbb{D}X$, но в многомерном случае матрица ковариаций $aX$ — это $A \cdot \text{cov}(X) \cdot A^T$. Это именно матрица ковариаций, а не дисперсия в квадрате, потому что $\hat{\tau}$ — это случайный вектор (многомерная величина).

Считаем $\text{cov}(\hat{c})$:

Симметрия $A^{-1}$: $A = X^T X$ симметрична ($A^T = (X^T X)^T = X^T X = A$), значит, $A^{-1}$ тоже симметрична. Поэтому $(A^{-1})^T = A^{-1}$.

Считаем $\text{cov}(y)$:

$Xc$ — константа, сдвиг на матрицу ковариаций не влияет (аналогично одномерному случаю, где $\mathbb{D}(X+a) = \mathbb{D}X$):

Поскольку компоненты $\varepsilon$ некоррелированы и имеют одинаковую дисперсию $\sigma^2$:

Подставляем:

Итого:

Введём обозначение:

(к этому обозначению вернёмся позже).

Доказательство (б): оптимальность

Напоминание: критерий оптимальности

Для несмещённых оценок: оценка оптимальна, если у неё минимальная дисперсия. В многомерном случае оптимизируется:

Можно показать, что:

где $\text{tr}$ — след матрицы (сумма диагональных элементов), а $\text{bias} = \mathbb{E}\hat{\theta} - \theta$.

Это обобщение одномерной формулы $\text{MSE} = \mathbb{D} + \text{bias}^2$.

В нашем случае оценка несмещённая, поэтому $\text{bias} = 0$ — нужно минимизировать $\text{tr}(\text{cov}(\hat{\tau}))$.

Шаг A: произвольная линейная несмещённая оценка

Пусть $\hat{L} = L y$ — произвольная линейная по $y$ несмещённая оценка для $\tau$:

С другой стороны:

Поскольку $\tau = T c$, получаем $T c = L X c$ для любого $c$. Отсюда:

Шаг B: переобозначение

Прибавим и вычтем $T A^{-1} X^T$:

Введём $\hat{L} = L - T A^{-1} X^T$. Тогда:

Дополнительное соотношение

Из $T = L X$ домножим обе части на $X$ справа… нет, у нас уже $T = LX$. Подставим $L = \hat{L} + T A^{-1} X^T$:

Отсюда:

Транспонируя: $X^T \hat{L}^T = 0$.

Шаг C: матрица ковариаций для $L y$

Распишем $\sigma^2 L L^T$, подставляя $L = T A^{-1} X^T + \hat{L}$:

Раскрываем:

Используем $\hat{L} X = 0$ и $X^T \hat{L}^T = 0$ — средние два слагаемых обнуляются:

Финальный шаг: оптимизация следа

Получили:

Считаем след:

(диагональный элемент $(\hat{L} \hat{L}^T)_{ii}$ — это $i$-я строка, скалярно умноженная на саму себя, то есть сумма квадратов её элементов).

Минимум суммы квадратов достигается при $\hat{L}_{ij} = 0$ для всех $i, j$, то есть $\hat{L} = 0$. А это в точности означает, что $L = T A^{-1} X^T$ — то есть, что $L y = \hat{\tau}$.

Таким образом, оценка наименьших квадратов оптимальна в классе линейных несмещённых оценок. ∎

Точечная оценка для $\sigma^2$

Найдём несмещённую оценку для остаточной дисперсии $\sigma^2$.

Шаг 1: вычислим $\mathbb{E} S^2(c)$

Поскольку $Xc - y = -\varepsilon$:

Используем:

Итого:

Шаг 2: вычислим $\mathbb{E}[S^2(c) - S^2(\hat{c})]$

Используем выведенное ранее соотношение:

(подставили $c_1 = c$, $c_2 = \hat{c}$, $h = c - \hat{c}$, но из-за симметрии знак не важен).

Расписываем по компонентам:

По линейности мат. ожидания (и поскольку $c_i = \mathbb{E}\hat{c}_i$ — несмещённость):

Замечание о матрице ковариаций $\hat{c}$

В теореме Гаусса–Маркова матрица ковариаций $\hat{\tau}$ равна $\sigma^2 T A^{-1} T^T$. Подставляя $T = I$, получаем:

Поэтому $\text{cov}(\hat{c}_i, \hat{c}_j) = \sigma^2 (A^{-1})_{ij}$.

Продолжение вычислений

Используя симметрию $A$: $A_{ij} = A_{ji}$, и заметим:

(строка матрицы $A$ умножается на столбец $A^{-1}$ — это диагональный элемент произведения $A A^{-1} = I$).

Итого:

Шаг 3: окончательная формула

Из шагов 1 и 2:

Откуда:

Таким образом, несмещённая оценка остаточной дисперсии:

Аналогия с выборочной дисперсией

Можно провести параллель с обычной выборочной дисперсией. Когда мы считали выборочную дисперсию, делённую на $n$, она оказывалась смещённой; чтобы сделать её несмещённой, мы делили на $n - 1$.

Здесь аналогично: если бы мы делили квадратическую ошибку на $n$, оценка была бы смещённой. А деление на $n - m$ (разность между количеством наблюдений и количеством переменных) даёт несмещённую оценку $\sigma^2$.

Анонс следующей лекции

Сегодня были рассмотрены точечные оценки для $\hat{c}$ и $\sigma^2$. В следующий раз будут рассмотрены:

• Интервальное оценивание (доверительные интервалы);
• Проверка различных статистических гипотез.