Лекция 8: Статистические критерии (продолжение)

1. Критерий о медиане (одна выборка)

Постановка

Пусть $x_1, x_2, \ldots, x_n$ — выборка из некоторого непрерывного распределения. Проверяем гипотезу о теоретической медиане:

Альтернатива $H_1$ настраивается: $\text{med} \neq c$, $\text{med} > c$, либо $\text{med} < c$.

Идея построения статистики

Что может оценивать теоретическую медиану? Элемент вариационного ряда, стоящий в центре.

Напоминание: вариационный ряд — это упорядоченная (отсортированная) выборка.

Средний член вариационного ряда $x_{(n/2)}$, если выборка из непрерывного закона, асимптотически нормален:

где $p(c)$ — плотность распределения в точке $c$. В знаменателе стоит $\sqrt{p(1-p)}$, и поскольку для медианы $p = 1/2$, получаем $\sqrt{1/2 \cdot 1/2} = 1/2$.

Тип критической области

Логика та же, что и для гипотез о мат. ожидании:

• $H_1: \text{med} > c$ — правосторонняя
• $H_1: \text{med} < c$ — левосторонняя
• $H_1: \text{med} \neq c$ — двусторонняя

2. Z-тест для одной выборки (дисперсия известна)

Постановка

Выборка $x_1, \ldots, x_n$ из нормального закона $\mathcal{N}(\mu_x, \sigma^2_x)$, причём $\sigma^2_x$ известна.

Статистика критерия

Мат. ожидание оценивается выборочным средним $\bar{x}$. Центрируем и нормируем, чтобы получить стандартное нормальное распределение:

Это ещё одна вариация Z-теста.

Терминология

Если статистика критерия имеет нормальное распределение при условии истинности $H_0$, такой тест называется Z-тест.

3. T-тест для одной выборки (дисперсия неизвестна)

Постановка

Та же гипотеза $H_0: \mu_x = \mu_0$, но теперь $\sigma^2_x$ неизвестна.

Статистика критерия

Заменяем $\sigma$ на её оценку $S$ (выборочное стандартное отклонение):

Распределение Стьюдента с $n-1$ степенями свободы — следствие теоремы Фишера. Этот же факт всплывал при построении доверительного интервала для мат. ожидания нормального закона при неизвестной дисперсии.

Терминология

T-тест — стат. критерий, у которого статистика имеет распределение Стьюдента.

Здесь рассмотрен T-тест для одной выборки на мат. ожидание.

⚠️ Важная ремарка о применимости

Существует рекомендация: если объём выборки маленький (порядка $n \in [10, 20]$), то для проверки гипотезы о мат. ожидании нужно использовать T-тест.

НО: есть важная посылка, о которой часто забывают:

• В крайнем случае T-тест более-менее адекватно работает, если исходное распределение более-менее симметрично.
• Если от нормальности совсем отказываемся — к результатам теста нужно относиться очень аккуратно.

4. Критерий $\chi^2$ для дисперсии (одна выборка)

Постановка

Выборка $x_1, \ldots, x_n$ из нормального закона $\mathcal{N}(\mu_x, \sigma^2_x)$.

Альтернативы: $\neq$, $>$, $<$.

Статистика критерия

Дисперсию оценивает выборочная дисперсия $S^{*2}$. По теореме Фишера:

Анализ типов критической области

Рассмотрим мат. ожидание статистики, домножив и поделив на реальную дисперсию:

Здесь $\frac{n S^{\*2}}{\sigma^2_x} \sim \chi^2(n-1)$ независимо от истинности $H_0$, и $E[\chi^2(n-1)] = n-1$.

Вопрос из аудитории: «А что у нас сверху было с $\sigma_0$?»

Ответ: В контексте «при условии истинности $H_0$» мы заменили $\sigma^2_x$ на $\sigma^2_0$. Отсюда — единичка в отношении.

Логика выбора критической области:

5. Парная выборка — сведение к одной выборке

Что такое парная выборка

Есть $n$ наблюдений, для каждого замерены два показателя:

При этом априори считаем, что эти два фактора зависимы (то есть мы НЕ можем считать их независимыми выборками).

Гипотеза

объём выборки достаточно большой.

Классический приём

Рассматриваем новую выборку:

Тогда исходная гипотеза эквивалентна:

Это уже задача о мат. ожидании для одной выборки — её и решаем разобранными ранее методами.

Замечание Ивана Александровича: «Это классический рецепт».

6. F-тест для отношения дисперсий (две выборки)

Постановка

Две независимые выборки из нормального закона:

• $x_1, \ldots, x_n \sim \mathcal{N}(\mu_x, \sigma^2_x)$
• $y_1, \ldots, y_m \sim \mathcal{N}(\mu_y, \sigma^2_y)$

Альтернативы: $\neq$, $>$, $<$.

Статистика критерия

Идея взята из доверительного интервала для отношения дисперсий, где всплывали два $\chi^2$, и их отношение давало распределение Фишера.

Анализ критических областей

Домножим и поделим на отношение реальных дисперсий:

Первое отношение — мат. ожидание распределения Фишера (не зависит от $H_0$).

Терминология

Критерии, у которых статистика имеет распределение Фишера, называются F-тесты. Этот F-тест сравнивает дисперсии двух выборок.

7. Z-тест для двух выборок (мат. ожидания, дисперсии известны)

Постановка

$x_1, \ldots, x_n \sim \mathcal{N}(\mu_x, \sigma^2_x)$, $y_1, \ldots, y_m \sim \mathcal{N}(\mu_y, \sigma^2_y)$, выборки независимы, дисперсии известны.

Построение статистики

• $\bar{x} \sim \mathcal{N}(\mu_x, \sigma^2_x / n)$
• $\bar{y} \sim \mathcal{N}(\mu_y, \sigma^2_y / m)$
• В силу независимости: $\bar{x} - \bar{y} \sim \mathcal{N}\!\left(\mu_x - \mu_y,\; \dfrac{\sigma^2_x}{n} + \dfrac{\sigma^2_y}{m}\right)$ (дисперсии складываются)

Стандартизуем:

(При $H_0$ числитель в среднем ноль.)

Почему нормальное распределение → Z-тест? Исторически так сложилось. F-тест — от фамилии Fisher; «Z» же — историческая конвенция.

Модификация: ЦПТ-вариант (без нормальности)

Пусть теперь выборки $x$ и $y$ независимы и достаточно большого объёма (без предположения о нормальности). По ЦПТ:

Если дисперсии неизвестны — подставляем их состоятельные оценки. В пределе по-прежнему получаем $\mathcal{N}(0,1)$.

Тип критической области

• $H_1: \mu_x > \mu_y$: разность $\mu_x - \mu_y > 0$, статистика в среднем положительна → правосторонняя
• $H_1: \mu_x < \mu_y$: → левосторонняя
• $H_1: \mu_x \neq \mu_y$: → двусторонняя

8. T-тест для двух выборок (дисперсии равны и неизвестны)

Постановка

Две независимые выборки из нормального закона, дисперсии равны, но неизвестны:

Построение статистики

Если бы дисперсия была известна:

Дисперсию не знаем — оцениваем. Чтобы получить распределение Стьюдента, нужно поделить на корень из усреднённого $\chi^2$.

Откуда взять $\chi^2$? Из теоремы Фишера:

• $\dfrac{n S^{\*2}_x}{\sigma^2} \sim \chi^2(n-1)$
• $\dfrac{m S^{\*2}_y}{\sigma^2} \sim \chi^2(m-1)$

Так как выборки независимы, сумма этих $\chi^2$ — снова $\chi^2$ с суммой степеней свободы:

(Это следует из формального определения $\chi^2$ как суммы квадратов независимых стандартных гауссовских величин.)

Итоговая статистика

Делим стандартную нормальную величину на корень из ($\chi^2$ / число степеней свободы):

Прелесть в том, что $\sigma^2$ сокращаются — в финальной статистике дисперсии нет.

После упрощения получаем:

Окончательное «причёсывание» формулы оставлено как упражнение.

Это T-тест для двух выборок (сравнивает мат. ожидания).

9. Простой рецепт проверки однородности

Что такое однородность

Однородность двух выборок означает, что распределения двух выборок одинаковы.

Рецепт (для нормально распределённых выборок)

1. F-тест на равенство дисперсий ($H_0: \sigma^2_x = \sigma^2_y$).
2. Если $H_0$ принята → T-тест на равенство мат. ожиданий.

Почему «простой» в кавычках

• Простой только на бумаге — на практике вычислений много.
• Важная посылка: рецепт реально проверяет однородность, только если выборки из нормального закона (нормальный закон полностью задаётся $\mu$ и $\sigma^2$).

Устойчивость к нарушению посылок

• F-тест более-менее устойчив к нарушению предположения о нормальности.
• T-тест — менее устойчив.

Применение T-теста: A/B-тестирование

Пример приложения T-теста для двух выборок — A/B-тестирование:

• Часть пользователей видит старую версию сайта (группа A).
• Часть пользователей — новую версию (группа B).
• Анализируем, как ведут себя пользователи (достигают ли целевого показателя).
• T-тест помогает сравнить мат. ожидания целевой метрики между группами.

10. T-критерий Уэлча (упоминание)

T-критерий Уэлча — модификация T-теста для ситуации, когда нельзя считать, что $\sigma^2_x = \sigma^2_y$. То есть отказываемся от предположения о равенстве дисперсий.

Подробное обсуждение, какая там статистика и откуда она берётся — отложено.

11. Критерий согласия Колмогорова

Постановка

Простая выборка $x_1, \ldots, x_n$. Проверяем гипотезу:

где $F_0$ — обязательно непрерывная функция распределения.

Альтернатива (классическая): $H_1: F \neq F_0$.

Статистика критерия

где $F_n$ — эмпирическая функция распределения.

Теорема Колмогорова

При условии истинности $H_0$:

где $K(t)$ — функция распределения Колмогорова:

«Тут меня лучше проверить — мог немного набрать.»

В стат-библиотеках есть численная реализация $K(t)$.

Тип критической области

• При $H_0$: $F_n \approx F_0$, супремум близок к 0 → статистика близка к 0.
• При нарушении $H_0$: статистика существенно больше 0 (модуль).
• → Критическая область правосторонняя.

Замечания и нюансы

1. Размер выборки. Если выборка объёма уже несколько десятков, асимптотика более-менее адекватная. В качестве критического значения берут квантиль порядка $1 - \alpha$ распределения Колмогорова.

2. Сложные гипотезы. Можно проверять не равенство конкретной $F_0$, а гипотезу о принадлежности параметрическому семейству $F_\theta$. Но распределение статистики тогда будет более нетривиальным.

3. Проверка нормальности. Чисто гипотетически критерий Колмогорова можно использовать для проверки согласованности с нормальным законом. НО лучше использовать специализированные критерии:

• Тест Шапиро-Уилка.
• Тест Жака-Бера (Jarque-Bera): статистика играется с асимметрией и эксцессом ($A + E$). У стандартного нормального распределения $A = 0$, $E = 0$.

Терминология: критерий согласия

Критерий согласия — тест, проверяющий согласованность данных с заданным вероятностным распределением.

Критерий Колмогорова — пример критерия согласия.

12. Критерий однородности Смирнова

Постановка

Две независимые выборки. Проверяем:

где $F_X, F_Y$ — непрерывные функции распределения.

Статистика критерия

где $F_n$ и $F_m$ — эмпирические функции распределения для выборок $x$ и $y$ соответственно.

Предельное распределение

— то же самое распределение Колмогорова!

Тип критической области

• При $H_0$: $F_X \approx F_Y$ → супремум близок к нулю.
• При $H_1$: существенное отличие, модуль → большое значение.
• → Правосторонняя.

Замечание

Поскольку предельное распределение совпадает у критериев Колмогорова и Смирнова, в некоторых стат-пакетах эти два критерия объединены в одну функцию.

Терминология: критерий однородности

Критерий однородности — тест, проверяющий равенство распределений двух и более выборок.

Критерий Смирнова работает с двумя выборками.

13. Дискретизация распределений

Зачем

Критерии типа $\chi^2$ работают с дискретными распределениями с конечным множеством значений. Иногда нужно применить их в других ситуациях.

Случай 1: Дискретное распределение с бесконечным (счётным) множеством значений

Например, пуассоновская случайная величина (значения $0, 1, 2, \ldots$).

Идея: оставить первые $n$ значений, а «хвост» объединить в одно значение.

Замечание из аудитории: «А можно ли это делать оптимальным образом? Например, в хвост брать самые невероятные.»

Ответ: Да, идея совершенно верная и разумная.

Случай 2: Абсолютно непрерывное распределение

Идея: разбить вещественную ось на конечное число интервалов $\Delta_1, \ldots, \Delta_k$.

Вероятность попадания в интервал:

Случайная величина теперь принимает $k$ значений (номер интервала). Крайние интервалы могут быть бесконечными (от $-\infty$ или до $+\infty$).

Итог

Если у нас дискретное распределение со счётным множеством значений или любое непрерывное распределение — можем свести задачу к ситуации с дискретным распределением с конечным множеством значений.

14. Критерий согласия Пирсона $\chi^2$

Постановка

• Дискретная случайная величина с конечным множеством значений (без потери общности — $1, 2, \ldots, n$).
• Этим значениям сопоставлен вектор вероятностей $P = (p_1, \ldots, p_n)$.
• $\nu_k$ — количество элементов в выборке, равных $k$ (наблюдаемая частота).

Гипотеза

Пример (из обсуждения): многократно бросают кубик. Вопрос — честный ли? Для честного кубика $P_0 = (1/6, 1/6, 1/6, 1/6, 1/6, 1/6)$.

Статистика критерия

При условии истинности $H_0$:

Логика типа критической области

• $\nu_k$ — наблюдаемые частоты, $n p_{0,k}$ — ожидаемые частоты при $H_0$.
• При $H_0$: $\nu_k \approx n p_{0,k}$ → статистика малая.
• При $H_1$: расхождение большое → статистика большая.
• → Правосторонняя критическая область (как в большинстве классических версий — там либо квадрат, либо модуль).

Рекомендации к применению

• Объём выборки $n$ — желательно хотя бы несколько десятков.
• $\nu_k$ должны быть хотя бы 4 или 5 в каждой ячейке (точная цифра — порядка этого).

Демонстрация при $n = 2$

Покажем, что при $n = 2$ в пределе действительно получается $\chi^2(1)$.

Шаг 1. Распишем явно:

Шаг 2. Связи между переменными при $n = 2$:

• $p_{0,2} = 1 - p_{0,1}$ (вероятности в сумме дают 1).
• $\nu_2 = n - \nu_1$ (количества в сумме дают $n$).

Тогда $\nu_2 - n p_{0,2} = (n - \nu_1) - n(1 - p_{0,1}) = -\nu_1 + n p_{0,1} = -(\nu_1 - n p_{0,1})$.

Шаг 3. Квадрат не чувствует знака. Выносим $(\nu_1 - n p_{0,1})^2 / n$ за скобки:

Шаг 4. Приводим к общему знаменателю:

Шаг 5. Получаем:

Шаг 6. Куда сходится выражение в скобках?

$\nu_1$ — это количество исходов типа 1 в $n$ испытаниях. Это биномиальная случайная величина $\text{Bin}(n, p_{0,1})$, у которой:

• $E[\nu_1] = n p_{0,1}$
• $\text{Var}(\nu_1) = n p_{0,1}(1 - p_{0,1})$

По ЦПТ:

Шаг 7. Квадрат стандартной нормальной величины — это $\chi^2(1)$. Получили требуемое: $\chi^2(n-1) = \chi^2(1)$ при $n = 2$. ✓

В общем случае логика рассуждений похожая, но выкладки более громоздкие.

15. Сводная таблица всех критериев лекции

16. Конвенции терминологии

17. Упоминавшиеся, но не разобранные подробно тесты

• Тест Романовского — обсуждался у соседних групп; даёт более слабый вывод (выборочное и теоретическое распределения совпадают «случайно/неслучайно»), тогда как обычные критерии дают более сильный вывод (нет оснований отвергать $H_0$).
• Тест Шапиро-Уилка — для проверки нормальности.
• Тест Жака-Бера — для проверки нормальности (через асимметрию и эксцесс).
• Тест Уэлча — модификация T-теста при неравных неизвестных дисперсиях.