Лекция 5: Информация Фишера, неравенство Рао–Крамера и доверительные интервалы

1. Информация Фишера: напоминание определений

В прошлый раз была введена информация Фишера.

Информация Фишера для всей выборки определяется как дисперсия логарифмической функции правдоподобия:

Для одного наблюдения:

В силу того, что математическое ожидание этой величины равно нулю, дисперсия совпадает с математическим ожиданием квадрата:

Альтернативная формула (через вторую производную):

2. Пример 1. Распределение Бернулли

Рассмотрим выборку из распределения Бернулли. Плотность (точнее, вероятность):

где $x \in \{0, 1\}$: исход $1$ с вероятностью $p$, исход $0$ с вероятностью $1-p$.

Шаг 1. Логарифм:

Шаг 2. Первая производная по $p$:

Шаг 3. Вторая производная по $p$:

Шаг 4. Информация Фишера для одного наблюдения (используем формулу через вторую производную, со знаком минус):

Пользуемся линейностью матожидания и тем, что $E[x] = p$:

Итог: для распределения Бернулли

Информация Фишера для всей выборки:

3. Пример 2. Равномерное распределение

Здесь нужно быть внимательным. Информация Фишера не определена, так как не выполняются условия регулярности.

Необходимое условие регулярности: множество значений случайной величины не должно зависеть от параметра.

Для равномерного распределения множество значений зависит от параметра — поэтому модель нерегулярна и информация Фишера для неё не определяется.

4. Многомерная информация Фишера

Если параметр $\theta$ не одномерный, а многомерный, формулу можно обобщить. Информационная матрица Фишера:

5. Пример 3. Нормальное распределение $N(\mu, b)$

Здесь $b = \sigma^2$ — дисперсия. Плотность:

Логарифм плотности:

Первые производные

По $\mu$ (первые два слагаемых обнуляются):

По $b$:

Вторые производные

По $\mu$ дважды:

Смешанная (по $\mu$ и $b$):

По $b$ дважды:

Информационная матрица

Берём $-E[\cdot]$ от каждой второй производной.

• $-E\left[-\dfrac{1}{b}\right] = \dfrac{1}{b}$
• Смешанная: $-E\left[-\dfrac{x - \mu}{b^2}\right] = \dfrac{1}{b^2} \cdot E[x - \mu] = 0$ (т. к. $E[x] = \mu$)
• По $b$ дважды: $-E\left[\dfrac{1}{2b^2} - \dfrac{(x-\mu)^2}{b^3}\right] = -\dfrac{1}{2b^2} + \dfrac{E[(x-\mu)^2]}{b^3} = -\dfrac{1}{2b^2} + \dfrac{b}{b^3} = \dfrac{1}{2b^2}$

Здесь использовано, что $E[(x-\mu)^2] = D(x) = b$.

Итог — информационная матрица для нормального распределения:

6. Неравенство Рао–Крамера

Эта теорема устанавливает нетривиальную нижнюю границу дисперсии несмещённой оценки.

Формулировка

Пусть выполнены условия:

• модель регулярна (в смысле, обсуждавшемся ранее);
• $\tau(\theta)$ — оцениваемая функция, $\tau \in C^1$ (непрерывно дифференцируема);
• в частном случае $\tau(\theta) = \theta$ — оценивается сам параметр;
• $T(x)$ — оценка функции $\tau(\theta)$;
• $E[T(x)] = \tau(\theta)$ (оценка несмещённая).

Тогда:

Доказательство

Стартуем из:

Модель регулярна — продифференцируем тождество по $\theta$ (регулярность позволяет вносить производную под интеграл):

Трюк: домножим и разделим на функцию правдоподобия:

Здесь использовано: $\dfrac{\partial \ln L}{\partial \theta} = \dfrac{1}{L} \cdot \dfrac{\partial L}{\partial \theta}$ — логарифмическая производная.

То есть это матожидание произведения:

где $V(x, \theta) = \dfrac{\partial \ln L(x, \theta)}{\partial \theta}$ — вклад выборки.

В прошлый раз было показано, что $E[V(x, \theta)] = 0$. Значит,

Возведём в квадрат:

Применяем вероятностный аналог неравенства Коши–Буняковского для ковариации:

А $D(V(x, \theta))$ — это в точности $n \cdot i(\theta)$ (информация Фишера для всей выборки). Отсюда

Что и требовалось доказать. $\blacksquare$

7. Замечания к неравенству Рао–Крамера

Замечание 1. Связь с MSE

Вспомним:

Если оценка несмещённая, то $\mathrm{MSE} = D(T)$. Значит, при выполнении условий регулярности и несмещённости оценки можно дать нижнюю границу не только для дисперсии, но и для MSE.

Если в регулярной модели несмещённая оценка достигает нижней границы Рао–Крамера, то она оптимальная.

То есть в несмещённой ситуации в регулярной модели оценка оптимальна тогда и только тогда, когда её дисперсия достигает нижней границы Рао–Крамера.

Замечание 2. Многомерная формулировка

Пусть $\tau(\theta)$ — функция из $\mathbb{R}^d \to \mathbb{R}$, и $T(x)$ — несмещённая оценка для $\tau(\theta)$. Тогда:

8. Возвращение к примерам — проверка оптимальности

Бернулли

Получили: $i(p) = \dfrac{1}{p(1-p)}$. Нижняя граница Рао–Крамера:

Стандартная оценка — выборочное среднее $\hat{p} = \bar{x}$ (доля единиц). Это несмещённая оценка, и

Дисперсия совпадает с нижней границей $\Rightarrow$ выборочное среднее — оптимальная оценка для $p$ в распределении Бернулли.

Вопрос из аудитории: а если бы дисперсия не совпала? Ответ: если бы дисперсия была больше, мы бы сказали, что оценка не оптимальна. В общем случае задача поиска оптимальной оценки не разрешима, но известно, что оценка максимального правдоподобия в регулярном случае асимптотически эффективна (см. ниже).

Нормальное распределение, оценка для $\mu$

Пусть $\tau(\mu, b) = \mu$. Градиент: $\nabla \tau = (1, 0)^\top$.

Информационная матрица $I = \begin{pmatrix} 1/b & 0 \\ 0 & 1/(2b^2)\end{pmatrix}$. Обратная: $I^{-1} = \begin{pmatrix} b & 0 \\ 0 & 2b^2\end{pmatrix}$.

Нижняя граница:

Стандартная оценка матожидания — $\hat{\mu} = \bar{x}$ (выборочное среднее). Это несмещённая оценка с $D(\bar{x}) = \dfrac{b}{n}$.

Снова дисперсия совпала с нижней границей $\Rightarrow$ выборочное среднее — оптимальная оценка для матожидания нормального закона.

9. Асимптотическая нормальность ОМП

Формулировка теоремы

Условия:

• $\left|\dfrac{\partial^3 \ln p(x, \theta)}{\partial \theta^3}\right| \leq M(x)$, причём $E[M(x)] < \infty$;
• модель регулярна.

Утверждение:

Здесь $\hat{\theta}$ — оценка максимального правдоподобия.

Интерпретация

Неформально: при больших $n$

То есть асимптотическая дисперсия ОМП совпадает с нижней границей Рао–Крамера. Поэтому можно говорить, что оценки максимального правдоподобия асимптотически эффективны.

10. Переход к доверительным интервалам

Точечное оценивание даёт оценку в виде конкретного числа. Но число не всегда наглядно. Иногда удобнее давать оценку в виде диапазона — это и есть доверительные интервалы (confidence intervals).

Определение

Пусть выборка $x_1, \dots, x_n$ из распределения $F$ с параметром $\theta$ (одномерным). Рассмотрим две статистики $L(x)$ и $R(x)$.

Будем говорить, что $(L(x), R(x))$ образуют доверительный интервал уровня доверия $1 - \alpha$, если

Практическая интерпретация

Обычно $1 - \alpha$ берут $90\%$, $95\%$ или $99\%$.

Пример. Пусть уровень доверия $95\%$. Если провести 100 экспериментов и для каждой выборки построить свой доверительный интервал, то хотя бы в 95 случаях из 100 реальное значение параметра попадёт в построенный интервал. То есть «хорошими» в этом смысле будут не менее 95 из 100 интервалов.

Замечание об обозначениях. Уровень доверия часто обозначают буквой $\gamma = 1 - \alpha$. Тогда квантили будут порядка $\dfrac{1 - \gamma}{2}$ слева и $\dfrac{1 + \gamma}{2}$ справа. В лекции используется обозначение через $\alpha$ — это связано с другой задачей (проверка гипотез), которую рассмотрим позже.

11. Общая схема построения доверительного интервала

Шаг 1. Найти функцию $g(x, \theta)$ — статистику, аналитически зависящую от выборки и параметра, такую что распределение $g(x, \theta)$ не зависит от $\theta$.

Шаг 2. Записать вероятность

Шаг 3. На графике плотности отсечь:

• слева вероятностную массу $\alpha/2$;
• справа вероятностную массу $\alpha/2$;
• посередине останется $1 - \alpha$.

Тогда:

— квантили распределения статистики $g$.

Шаг 4. Разрешить неравенство относительно $\theta$ — получится доверительный интервал.

12. Доверительный интервал для матожидания при известной дисперсии

Условия: выборка $x_1, \dots, x_n$ из $N(\mu, \sigma^2)$, причём $\sigma^2$ известна. Строим доверительный интервал для $\mu$.

Рецепт 1 (плохой). Использование одного элемента

Статистика:

Её распределение не зависит от $\mu$.

Зажимаем квантилями стандартного нормального (распределение симметрично относительно 0):

Разрешаем относительно $\mu$:

Рецепт 2 (хороший). Использование всей выборки

Статистика:

(центрировали и нормировали — снова стандартное нормальное).

Зажимаем квантилями:

Разрешаем относительно $\mu$:

Сравнение

Какой интервал лучше? Второй, потому что:

• в нём участвует вся выборка (а не только первый элемент);
• длина интервала уменьшается с ростом $n$ (за счёт деления на $\sqrt{n}$);
• середина интервала ($\bar{x}$) при увеличении объёма выборки становится всё ближе к реальному значению параметра.

Оба интервала имеют один и тот же уровень доверия $1 - \alpha$, но второй — содержательно лучше.

Терминология

В контексте доверительных интервалов выражения вида «оценка $\pm$ что-то» возникают часто. Величина перед квантилью называется стандартной ошибкой ($SE$, Standard Error).

Для квантилей нормального закона нередко используют букву $z$ (вместо $q$). На лекции используется $q$, но из контекста всегда понятно, какое распределение имеется в виду.

13. Три важных вспомогательных распределения

Перед тем как переходить к следующим задачам, нужно ввести три распределения, играющих ключевую роль в статистике.

A. Распределение хи-квадрат $\chi^2_n$

Пусть $x_1, x_2, \dots, x_n$ — независимые случайные величины, каждая со стандартным нормальным распределением $N(0, 1)$. Тогда

Параметр $n$ — число степеней свободы (это просто количество независимых слагаемых).

Связь с гамма-распределением: $\chi^2_n$ — это гамма-распределение с параметрами $\left(\dfrac{n}{2}, \dfrac{1}{2}\right)$. То есть класс распределений $\chi^2$ содержится в классе гамма-распределений.

B. Распределение Стьюдента $t_n$

Пусть $x_0, x_1, \dots, x_n$ — независимые $N(0, 1)$. Рассмотрим:

Тогда $T_n$ имеет распределение Стьюдента ($t$-распределение) с $n$ степенями свободы: $T_n \sim t_n$.

Под корнем стоит усреднённый $\chi^2$.

Свойства распределения Стьюдента

1. Симметрично относительно нуля. Числитель — стандартное гауссовское (симметрично), знаменатель — неотрицательная константа.
2. При больших $n$ близко к нормальному. По закону больших чисел знаменатель $\to 1$, и остаётся гауссовская величина. То есть при больших $n$: $t_n \approx N(0, 1)$.

C. Распределение Фишера $F_{n, m}$

Пусть $\chi^2_n$ имеет распределение хи-квадрат с $n$ степенями свободы, а $\chi^2_m$ — независимая случайная величина с распределением хи-квадрат с $m$ степенями свободы. Тогда

имеет распределение Фишера с параметрами $n$ и $m$.

Где используются эти распределения

• Нормальное — при построении доверительного интервала для матожидания, если дисперсия известна (или, забегая вперёд, при больших объёмах выборки — по ЦПТ).
• $\chi^2$ — при построении доверительного интервала для дисперсии.
• Стьюдент — при построении доверительного интервала для матожидания, если дисперсия неизвестна.
• Фишер — при построении доверительного интервала для отношения дисперсий.

14. Доверительный интервал для дисперсии при известном матожидании

Условия: выборка из $N(\mu, \sigma^2)$, $\mu$ известно, строим интервал для $\sigma^2$.

Почему нельзя использовать прежнюю статистику

Если попробовать взять $g(x) = \sqrt{n} \cdot \dfrac{\bar{x} - \mu}{\sigma}$, то при разрешении неравенства относительно $\sigma$ возникнут проблемы: $\bar{x} - \mu$ может быть как положительным, так и отрицательным, и при делении/умножении на эту величину знаки неравенств будут меняться по-разному. Это неудобно.

Правильная статистика

Заметим, что $\dfrac{x_k - \mu}{\sigma} \sim N(0, 1)$. Значит, по определению $\chi^2$:

Это распределение не зависит от $\sigma$.

Зажимаем квантилями

Распределение $\chi^2_n$ не симметрично относительно нуля (плотность сосредоточена на $[0, \infty)$, асимметрична), поэтому обе квантили нужно считать честно:

где $q$ — квантили распределения $\chi^2_n$.

Разрешаем относительно $\sigma^2$

Из неравенства $\sum_k (x_k - \mu)^2 / \sigma^2 \leq q_{1 - \alpha/2}$ получаем $\sigma^2 \geq \dfrac{\sum_k (x_k - \mu)^2}{q_{1 - \alpha/2}}$.

Аналогично с другой стороны.

Итог:

где квантили — распределения $\chi^2_n$.

15. Теорема Фишера

Перед следующей задачей понадобится ключевая теорема. В разных источниках в неё включают разные пункты, приведём основные.

Условия: выборка $x_1, \dots, x_n$ из гауссовского закона $N(\mu, \sigma^2)$.

Пункт 1

где

• $S^2 = \dfrac{1}{n} \sum\limits_{k=1}^{n}(x_k - \bar{x})^2$ — смещённая выборочная дисперсия;
• $S^{*2} = \dfrac{1}{n-1} \sum\limits_{k=1}^{n}(x_k - \bar{x})^2$ — несмещённая выборочная дисперсия.

Неформально, почему $n - 1$. В каждом слагаемом $(x_k - \bar{x})^2$ участвует выборочное среднее $\bar{x}$, которое «портит» независимость слагаемых. За счёт этой связи число степеней свободы уменьшается на единицу.

Пункт 2

$\bar{x}$ и $S^2$ независимы (а также $\bar{x}$ и $S^{*2}$ независимы).

Это не очевидное наблюдение: в обеих статистиках на первый взгляд участвует $\bar{x}$ — казалось бы, они должны быть зависимы. Однако для выборок из нормального закона эти статистики независимы. Это нетривиальное свойство именно гауссовского распределения.

Эти два пункта потребуются для решения следующих задач.

16. Доверительный интервал для дисперсии при неизвестном матожидании

Условия: выборка из $N(\mu, \sigma^2)$, $\mu$ неизвестно, строим интервал для $\sigma^2$.

Здесь нельзя использовать предыдущий рецепт, поскольку в нём фигурировало $\mu$. На помощь приходит теорема Фишера.

По теореме Фишера:

(Замечание Ивана Александровича: в записи может быть как $S^2$, так и $S^{*2}$ — нужно следить, что именно записано: смещённая или несмещённая дисперсия. Здесь идёт зажатие именно этой статистики.)

Зажимаем квантилями

где квантили — распределения $\chi^2_{n-1}$.

Разрешаем относительно $\sigma^2$

где квантили распределения $\chi^2_{n-1}$.

17. Доверительный интервал для матожидания при неизвестной дисперсии

Условия: выборка из $N(\mu, \sigma^2)$, дисперсия неизвестна, строим интервал для $\mu$.

Здесь нельзя использовать рецепт со стандартным нормальным, поскольку в нём фигурирует $\sigma$.

Подбираем статистику

Рассмотрим:

Почему $S$, а не $S^2$? Физически $\bar{x} - \mu$ — это «метры», а $S^2$ — это «метры в квадрате». Математически: при нормировании мы делим на стандартное отклонение, а не на дисперсию.

Распределение этой статистики

Перепишем:

• В числителе: $\sqrt{n} \cdot \dfrac{\bar{x} - \mu}{\sigma} \sim N(0, 1)$ — стандартная гауссовская величина.
• В знаменателе под корнем: $\dfrac{S^{*2}}{\sigma^2}$ связано с $\chi^2_{n-1}$ по теореме Фишера, причём поделенным на число степеней свободы.
• По теореме Фишера числитель и знаменатель независимы.

По определению распределения Стьюдента (отношение нормального к корню из «усреднённого $\chi^2$») получаем:

Доверительный интервал

Распределение Стьюдента симметрично относительно нуля, поэтому:

где $q$ — квантили распределения $t_{n-1}$.

Разрешая относительно $\mu$:

где $q_{1 - \alpha/2}$ — квантиль распределения Стьюдента $t_{n-1}$.

Это доверительный интервал для матожидания нормального закона при неизвестной дисперсии — в нём как раз и используется распределение Стьюдента.

18. Итоговая таблица: сводка доверительных интервалов для $N(\mu, \sigma^2)$

19. Что будет в следующий раз

• Доверительный интервал для разности матожиданий двух выборок.
• Доверительный интервал для отношения дисперсий (здесь будет работать распределение Фишера).
• Ивана Александровича обещал прислать листинг с конкретными числовыми примерами.