Лекция 11: Линейная регрессия. Доверительные интервалы и проверка гипотез

Восстановление контекста

Рассматривается линейная модель:

где:

• $c$ — вектор коэффициентов
• $X$ — матрица с элементами (матрица плана)
• $y$ — вектор значений
• $\varepsilon$ — вектор ошибок

Базовые предположения

1. $\mathbb{E}[\varepsilon] = 0$ — математическое ожидание ошибки равно нулю
2. Матрица ковариаций ошибок: $\text{Cov}(\varepsilon) = \sigma^2 \cdot E$, где $E$ — единичная матрица

Это означает, что модель гомоскедастичная: матрица ковариаций диагональная, и на диагонали стоит одна и та же дисперсия.

Что было получено ранее

Найдена оценка наименьших квадратов (ОНК):

где $A = X^T X$.

Теорема Гаусса—Маркова (повторение):

• $\hat{c}$ — несмещённая оценка
• $\hat{c}$ — оптимальная (эффективная) в классе линейных несмещённых оценок

Также получена несмещённая оценка остаточной дисперсии:

где $S^2(\hat{c})$ — квадратическая ошибка для ОНК, $n$ — число наблюдений, $m$ — число переменных.

До этого мы научились находить точечные оценки для $c$ и для остаточной дисперсии. Теперь будем строить доверительные интервалы.

Усиление предположений: гауссовские ошибки

До сих пор: $\mathbb{E}[\varepsilon] = 0$ и диагональная матрица ковариаций.

Усиление: $\varepsilon$ теперь — гауссовская величина:

Так как $y$ — линейное преобразование гауссовской величины, то $y$ тоже гауссовская:

Функция правдоподобия

Запишем плотность $y$ при фиксированных $c$ и $\sigma^2$ (многомерное нормальное распределение):

Здесь:

• Определитель диагональной матрицы $\sigma^2 E$ равен $\sigma^{2n}$, корень даёт $\sigma^n$
• Обратная матрица к $\sigma^2 E$ — это $\frac{1}{\sigma^2} E$

Связь МНК и метода максимального правдоподобия

Зафиксируем $\sigma^2$. Тогда максимизация $L$ по $c$ равносильна максимизации аргумента экспоненты, то есть минимизации выражения:

Это и есть квадратическая ошибка! Минимум достигается на ОНК.

Вывод: При добавлении предположения о нормальности оценка наименьших квадратов совпадает с оценкой максимального правдоподобия:

Следствие: Ранее было показано, что оценка максимального правдоподобия эффективна в классе всех несмещённых оценок (а не только линейных). То есть:

• В теореме Гаусса—Маркова (минимальные предположения): ОНК эффективна в классе линейных несмещённых оценок
• При добавлении нормальности: ОНК эффективна в классе всех несмещённых оценок

Теорема о нормальной регрессии

Условия: выполнены все предположения, плюс ошибка распределена нормально.

Утверждения:

1. $\hat{c} \sim \mathcal{N}(c, \sigma^2 A^{-1})$

2. $\dfrac{S^2(\hat{c})}{\sigma^2} \sim \chi^2_{n-m}$ (хи-квадрат с $n - m$ степенями свободы)

3. $\dfrac{S^2(c) - S^2(\hat{c})}{\sigma^2} \sim \chi^2_{m}$ (хи-квадрат с $m$ степенями свободы)

4. Пары $\hat{c}$ и $S^2(\hat{c})$ — независимы (несмотря на то, что $S^2(\hat{c})$ зависит от $\hat{c}$)

Эту теорему можно воспринимать как переформулировку теоремы Фишера (которая использовалась при построении доверительных интервалов для параметров нормального закона).

Доверительный интервал для дисперсии $\sigma^2$

Используем результат 2 теоремы.

Запишем:

где $q_{\alpha/2}$, $q_{1-\alpha/2}$ — квантили распределения $\chi^2_{n-m}$.

Разрешая неравенство относительно $\sigma^2$:

Проверка гипотезы о дисперсии

Гипотеза: $H_0: \sigma^2 = \sigma_0^2$

Статистика критерия:

При истинности $H_0$: $T \sim \chi^2_{n-m}$.

Виды альтернатив и критические области

Замечание о терминологии. Везде в записи используются квантили. В практических таблицах часто используются критические значения, которые могут обозначаться как $Q_\alpha$ (то, что в записи через квантили является $q_{1-\alpha}$). Важно понимать смысл и не путать.

Замечание о носителе. Распределение $\chi^2$ имеет носитель $[0, +\infty)$ (как сумма квадратов), поэтому отрицательных значений быть не может.

Доверительный интервал для коэффициента $c_i$

Из результата 1 теоремы:

Но $\sigma^2$ неизвестна — оценим её через $\hat{\sigma}^2 = \dfrac{S^2(\hat{c})}{n-m}$.

Подставляя оценку, получаем:

Почему распределение Стьюдента?

По формальному определению: $t_k = \dfrac{\xi}{\sqrt{\chi^2_k / k}}$, где $\xi \sim \mathcal{N}(0,1)$.

В числителе у нас стандартная гауссовская величина, а в знаменателе — корень из хи-квадрата, делённого на число степеней свободы. Получается распределение Стьюдента с $n-m$ степенями свободы.

Доверительный интервал

Величина $\sqrt{\dfrac{S^2(\hat{c}) \cdot (A^{-1})_{ii}}{n-m}}$ называется стандартной ошибкой.

Используется симметричность распределения Стьюдента относительно нуля.

$t$-тест значимости коэффициента линейной регрессии

Идея: проверить, действительно ли $i$-я переменная влияет на модель.

Нулевая гипотеза: $H_0: c_i = 0$ (фактор не влияет)

Альтернативы (зависят от подозрений):

• $c_i \neq 0$ (двусторонняя)
• $c_i > 0$ (правосторонняя)
• $c_i < 0$ (левосторонняя)

Статистика критерия:

При $H_0$: $T \sim t_{n-m}$.

Примеры выбора альтернативы

Пример 1. Цена недвижимости в зависимости от расстояния до центра. Подозрение: чем меньше расстояние, тем больше цена → левосторонняя альтернатива ($c_i < 0$).

Пример 2. Стоимость авто в зависимости от мощности. Подозрение: чем больше мощность, тем больше цена → правосторонняя альтернатива ($c_i > 0$).

Предсказание новых значений

До сих пор имели “тренировочный набор”: $y = Xc + \varepsilon$, по которому оценили $c$ и $\sigma^2$.

Теперь — новое наблюдение:

где:

• $x_\nu$ — новая строка наблюдений
• $\varepsilon_\nu \sim \mathcal{N}(0, \sigma^2)$
• $\varepsilon_\nu$ и $\varepsilon$ независимы

На уровне модели: $y_\nu \sim \mathcal{N}(x_\nu c, \sigma^2)$.

Оценка нового значения

Распределение $\hat{y}_\nu$:

Здесь это дисперсия (число), а не матрица, потому что $x_\nu$ — строка.

Независимость $\hat{y}_\nu$ и $y_\nu$

• $\hat{c}$ — функция от старого $y$, который функция от старого $\varepsilon$
• $y_\nu$ — функция от нового $\varepsilon_\nu$
• Старый и новый $\varepsilon$ независимы → $\hat{y}_\nu$ и $y_\nu$ независимы

Распределение разности

(дисперсии складываются при независимости)

Стандартизация:

Заменяя $\sigma^2$ на оценку:

Отсюда стандартным образом строится доверительный интервал для $y_\nu$ (зажимаем между квантилями и разрешаем неравенство).

Условные оценки наименьших квадратов

Понадобятся для описания $F$-критерия.

Постановка: вектор $c$ удовлетворяет линейным ограничениям:

где:

• $T$ — матрица $k \times m$, $k \leq m$
• $\text{rank}(T) = k$ (ограничения линейно независимы)

Определение условной ОНК:

Это задача оптимизации квадратичной функции при линейных ограничениях.

Аналитическая формула

где:

(матрица $D$ возникала в теореме Гаусса—Маркова).

Матрица $D$ симметрична: $D^T = D$, поэтому $(D^{-1})^T = D^{-1}$. $D^{-1}$ существует, потому что $\text{rank}(T) = k$.

Идея вывода

Аналогично доказательству обычной ОНК. Показывается:

для любого $h \neq 0$ такого, что $T h = 0$ (приращение в допустимом направлении).

Упражнение: показать, что $T \hat{c}_T = t_0$ (выполняется в одну строчку).

Ключевое наблюдение

Из результата прошлой лекции:

Подставляя $c = \hat{c}_T$:

Используя формулу для $\hat{c}_T - \hat{c} = -A^{-1} T^T D^{-1}(T\hat{c} - t_0)$:

Это квадратичная форма от $\hat{c}$. Так как $\hat{c}$ имеет нормальное распределение, и квадратичная форма построена с матрицей ранга $k$, эта величина связана с распределением $\chi^2_k$ — число степеней свободы равно $k$.

$F$-критерий для линейной модели

Общая формулировка

Гипотезы:

• $H_0: Tc = t_0$
• $H_1: Tc \neq t_0$

Статистика критерия:

При истинности $H_0$: $F \sim F_{k, \, n-m}$ (распределение Фишера).

Обоснование правосторонней критической области

Знаменатель:

— всегда, независимо от истинности $H_0$.

Числитель: математическое ожидание разности квадратичных ошибок.

Расписываем как сумму:

Используя $\mathbb{E}[XY] = \text{Cov}(X, Y) + \mathbb{E}[X]\mathbb{E}[Y]$, получаем две части:

Часть 1 (с ковариациями):

Так как $t_0$ — константа, ковариация определяется только $T\hat{c}$. Матрица ковариации $T\hat{c}$:

Подставляя:

Здесь использовано: $\sum_{i,j}(D^{-1})_{ij} D_{ij} = \text{tr}(D^{-1} D) = \text{tr}(E_k) = k$.

Часть 2 (с произведениями матожиданий):

Используя $\mathbb{E}[\hat{c}] = c$:

Итого:

Анализ:

• Если $H_0$ верна ($Tc = t_0$): математическое ожидание числителя равно $\sigma^2$
• Если $H_0$ не верна: математическое ожидание числителя строго больше $\sigma^2$

Знаменатель всегда в среднем равен $\sigma^2$. Поэтому:

• При $H_0$: $\mathbb{E}[F] \approx 1$
• При $H_1$: $\mathbb{E}[F] > 1$

Критическая область — правосторонняя.

$F$-критерий “по умолчанию” (значимость модели в целом)

Стандартная модель

В библиотеках $c_0$ (свободный член) обычно выделяется отдельно.

Гипотеза по умолчанию

Нулевая гипотеза: все коэффициенты, кроме свободного, равны нулю:

Альтернатива: $H_1$: хотя бы один $c_i \neq 0$ (то есть $\neg H_0$).

Это проверка значимости модели в целом.

Коэффициент детерминации $R^2$

Определение. Множественный коэффициент корреляции — это коэффициент корреляции между $y$ и $\hat{y}$:

где $\hat{y} = X\hat{c}$.

Коэффициент детерминации:

Связь с остаточной дисперсией

Имеет место соотношение:

Правая сумма — константа, зависящая от датасета.

Интерпретация

$F$-статистика через $R^2$

Для гипотезы по умолчанию $F$-статистика выражается через коэффициент детерминации:

Замечание Ивана Александровича: возможны небольшие неточности в коэффициентах — нужно перепроверить.

Что планируется на следующей лекции

• Модель однофакторного дисперсионного анализа
• Обобщения линейных моделей
• Как проверять исходные предположения
• Что делать, если матрица $A$ необратима или плохо обратима