Лекция 08

25.03.2026 Обновлено: 25.03.2026

Лекция 8: Статистические критерии (продолжение)

1. Критерий о медиане (одна выборка)

Постановка

Пусть $x_1, x_2, \ldots, x_n$ — выборка из некоторого непрерывного распределения. Проверяем гипотезу о теоретической медиане:

$$H_0: \text{med} = c$$

Альтернатива $H_1$ настраивается: $\text{med} \neq c$, $\text{med} > c$, либо $\text{med} < c$.

Идея построения статистики

Что может оценивать теоретическую медиану? Элемент вариационного ряда, стоящий в центре.

Напоминание: вариационный ряд — это упорядоченная (отсортированная) выборка.

Средний член вариационного ряда $x_{(n/2)}$, если выборка из непрерывного закона, асимптотически нормален:

$$\sqrt{n} \cdot p(c) \cdot \frac{x_{(n/2)} - c}{\sqrt{\frac{1}{2} \cdot \frac{1}{2}}} \xrightarrow{d} \mathcal{N}(0, 1)$$

где $p(c)$ — плотность распределения в точке $c$. В знаменателе стоит $\sqrt{p(1-p)}$, и поскольку для медианы $p = 1/2$, получаем $\sqrt{1/2 \cdot 1/2} = 1/2$.

Тип критической области

Логика та же, что и для гипотез о мат. ожидании:

  • $H_1: \text{med} > c$ — правосторонняя
  • $H_1: \text{med} < c$ — левосторонняя
  • $H_1: \text{med} \neq c$ — двусторонняя

2. Z-тест для одной выборки (дисперсия известна)

Постановка

Выборка $x_1, \ldots, x_n$ из нормального закона $\mathcal{N}(\mu_x, \sigma^2_x)$, причём $\sigma^2_x$ известна.

$$H_0: \mu_x = \mu_0, \qquad H_1: \mu_x \neq \mu_0 \;/\; > \mu_0 \;/\; < \mu_0$$

Статистика критерия

Мат. ожидание оценивается выборочным средним $\bar{x}$. Центрируем и нормируем, чтобы получить стандартное нормальное распределение:

$$Z = \frac{\bar{x} - \mu_0}{\sigma_x / \sqrt{n}} \sim \mathcal{N}(0, 1) \quad \text{при } H_0$$

Это ещё одна вариация Z-теста.

Терминология

Если статистика критерия имеет нормальное распределение при условии истинности $H_0$, такой тест называется Z-тест.


3. T-тест для одной выборки (дисперсия неизвестна)

Постановка

Та же гипотеза $H_0: \mu_x = \mu_0$, но теперь $\sigma^2_x$ неизвестна.

Статистика критерия

Заменяем $\sigma$ на её оценку $S$ (выборочное стандартное отклонение):

$$T = \frac{\bar{x} - \mu_0}{S / \sqrt{n}} \sim t(n-1) \quad \text{при } H_0$$

Распределение Стьюдента с $n-1$ степенями свободы — следствие теоремы Фишера. Этот же факт всплывал при построении доверительного интервала для мат. ожидания нормального закона при неизвестной дисперсии.

Терминология

T-тест — стат. критерий, у которого статистика имеет распределение Стьюдента.

Здесь рассмотрен T-тест для одной выборки на мат. ожидание.

⚠️ Важная ремарка о применимости

Существует рекомендация: если объём выборки маленький (порядка $n \in [10, 20]$), то для проверки гипотезы о мат. ожидании нужно использовать T-тест.

НО: есть важная посылка, о которой часто забывают:

  • В крайнем случае T-тест более-менее адекватно работает, если исходное распределение более-менее симметрично.
  • Если от нормальности совсем отказываемся — к результатам теста нужно относиться очень аккуратно.

4. Критерий $\chi^2$ для дисперсии (одна выборка)

Постановка

Выборка $x_1, \ldots, x_n$ из нормального закона $\mathcal{N}(\mu_x, \sigma^2_x)$.

$$H_0: \sigma^2_x = \sigma^2_0$$

Альтернативы: $\neq$, $>$, $<$.

Статистика критерия

Дисперсию оценивает выборочная дисперсия $S^{*2}$. По теореме Фишера:

$$\frac{n S^{\*2}}{\sigma^2_0} \sim \chi^2(n-1) \quad \text{при } H_0$$

Анализ типов критической области

Рассмотрим мат. ожидание статистики, домножив и поделив на реальную дисперсию:

$$E\left[\frac{n S^{\*2}}{\sigma^2_0}\right] = E\left[\frac{n S^{\*2}}{\sigma^2_x} \cdot \frac{\sigma^2_x}{\sigma^2_0}\right]$$

Здесь $\frac{n S^{\*2}}{\sigma^2_x} \sim \chi^2(n-1)$ независимо от истинности $H_0$, и $E[\chi^2(n-1)] = n-1$.

Вопрос из аудитории: «А что у нас сверху было с $\sigma_0$?»

Ответ: В контексте «при условии истинности $H_0$» мы заменили $\sigma^2_x$ на $\sigma^2_0$. Отсюда — единичка в отношении.

Логика выбора критической области:

СлучайПоведение $\sigma^2_x / \sigma^2_0$В среднем статистикаКритическая область
$H_0$ верна$= 1$$\approx n-1$
$\sigma^2_x > \sigma^2_0$$> 1$больше $n-1$правосторонняя
$\sigma^2_x < \sigma^2_0$$< 1$меньше $n-1$левосторонняя
$\sigma^2_x \neq \sigma^2_0$двусторонняя

5. Парная выборка — сведение к одной выборке

Что такое парная выборка

Есть $n$ наблюдений, для каждого замерены два показателя:

$$(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$$

При этом априори считаем, что эти два фактора зависимы (то есть мы НЕ можем считать их независимыми выборками).

Гипотеза

$$H_0: \mu_x = \mu_y$$

объём выборки достаточно большой.

Классический приём

Рассматриваем новую выборку:

$$u_i = x_i - y_i, \quad i = 1, \ldots, n$$

Тогда исходная гипотеза эквивалентна:

$$H_0: E[U] = 0$$

Это уже задача о мат. ожидании для одной выборки — её и решаем разобранными ранее методами.

Замечание Ивана Александровича: «Это классический рецепт».


6. F-тест для отношения дисперсий (две выборки)

Постановка

Две независимые выборки из нормального закона:

  • $x_1, \ldots, x_n \sim \mathcal{N}(\mu_x, \sigma^2_x)$
  • $y_1, \ldots, y_m \sim \mathcal{N}(\mu_y, \sigma^2_y)$
$$H_0: \sigma^2_x = \sigma^2_y$$

Альтернативы: $\neq$, $>$, $<$.

Статистика критерия

Идея взята из доверительного интервала для отношения дисперсий, где всплывали два $\chi^2$, и их отношение давало распределение Фишера.

$$F = \frac{S^{\*2}_x}{S^{\*2}_y} \sim F(n-1, m-1) \quad \text{при } H_0$$

Анализ критических областей

Домножим и поделим на отношение реальных дисперсий:

$$E\left[\frac{S^{\*2}_x}{S^{\*2}_y}\right] = E\left[\frac{S^{\*2}_x / \sigma^2_x}{S^{\*2}_y / \sigma^2_y}\right] \cdot \frac{\sigma^2_x}{\sigma^2_y}$$

Первое отношение — мат. ожидание распределения Фишера (не зависит от $H_0$).

АльтернативаОтношение $\sigma^2_x / \sigma^2_y$Среднее значение статистикиКритическая область
$\sigma^2_x > \sigma^2_y$$> 1$больше $E[F]$правосторонняя
$\sigma^2_x < \sigma^2_y$$< 1$меньше $E[F]$левосторонняя
$\sigma^2_x \neq \sigma^2_y$двусторонняя

Терминология

Критерии, у которых статистика имеет распределение Фишера, называются F-тесты. Этот F-тест сравнивает дисперсии двух выборок.


7. Z-тест для двух выборок (мат. ожидания, дисперсии известны)

Постановка

$x_1, \ldots, x_n \sim \mathcal{N}(\mu_x, \sigma^2_x)$, $y_1, \ldots, y_m \sim \mathcal{N}(\mu_y, \sigma^2_y)$, выборки независимы, дисперсии известны.

$$H_0: \mu_x = \mu_y$$

Построение статистики

  • $\bar{x} \sim \mathcal{N}(\mu_x, \sigma^2_x / n)$
  • $\bar{y} \sim \mathcal{N}(\mu_y, \sigma^2_y / m)$
  • В силу независимости: $\bar{x} - \bar{y} \sim \mathcal{N}\!\left(\mu_x - \mu_y,\; \dfrac{\sigma^2_x}{n} + \dfrac{\sigma^2_y}{m}\right)$ (дисперсии складываются)

Стандартизуем:

$$Z = \frac{\bar{x} - \bar{y}}{\sqrt{\dfrac{\sigma^2_x}{n} + \dfrac{\sigma^2_y}{m}}} \sim \mathcal{N}(0,1) \quad \text{при } H_0$$

(При $H_0$ числитель в среднем ноль.)

Почему нормальное распределение → Z-тест? Исторически так сложилось. F-тест — от фамилии Fisher; «Z» же — историческая конвенция.

Модификация: ЦПТ-вариант (без нормальности)

Пусть теперь выборки $x$ и $y$ независимы и достаточно большого объёма (без предположения о нормальности). По ЦПТ:

$$\frac{\bar{x} - \bar{y}}{\sqrt{\dfrac{\sigma^2_x}{n} + \dfrac{\sigma^2_y}{m}}} \xrightarrow{d} \mathcal{N}(0, 1)$$

Если дисперсии неизвестны — подставляем их состоятельные оценки. В пределе по-прежнему получаем $\mathcal{N}(0,1)$.

Тип критической области

  • $H_1: \mu_x > \mu_y$: разность $\mu_x - \mu_y > 0$, статистика в среднем положительна → правосторонняя
  • $H_1: \mu_x < \mu_y$: → левосторонняя
  • $H_1: \mu_x \neq \mu_y$: → двусторонняя

8. T-тест для двух выборок (дисперсии равны и неизвестны)

Постановка

Две независимые выборки из нормального закона, дисперсии равны, но неизвестны:

$$\sigma^2_x = \sigma^2_y = \sigma^2 \text{ (неизвестна)}$$$$H_0: \mu_x = \mu_y$$

Построение статистики

Если бы дисперсия была известна:

$$\frac{\bar{x} - \bar{y}}{\sqrt{\dfrac{\sigma^2}{n} + \dfrac{\sigma^2}{m}}} \sim \mathcal{N}(0,1)$$

Дисперсию не знаем — оцениваем. Чтобы получить распределение Стьюдента, нужно поделить на корень из усреднённого $\chi^2$.

Откуда взять $\chi^2$? Из теоремы Фишера:

  • $\dfrac{n S^{\*2}_x}{\sigma^2} \sim \chi^2(n-1)$
  • $\dfrac{m S^{\*2}_y}{\sigma^2} \sim \chi^2(m-1)$

Так как выборки независимы, сумма этих $\chi^2$ — снова $\chi^2$ с суммой степеней свободы:

$$\frac{n S^{\*2}_x + m S^{\*2}_y}{\sigma^2} \sim \chi^2(n + m - 2)$$

(Это следует из формального определения $\chi^2$ как суммы квадратов независимых стандартных гауссовских величин.)

Итоговая статистика

Делим стандартную нормальную величину на корень из ($\chi^2$ / число степеней свободы):

$$T = \frac{\bar{x} - \bar{y}}{\sqrt{\dfrac{\sigma^2}{n} + \dfrac{\sigma^2}{m}}} \cdot \frac{1}{\sqrt{\dfrac{n S^{\*2}_x + m S^{\*2}_y}{\sigma^2 (n+m-2)}}}$$

Прелесть в том, что $\sigma^2$ сокращаются — в финальной статистике дисперсии нет.

После упрощения получаем:

$$T \sim t(n + m - 2) \quad \text{при } H_0$$

Окончательное «причёсывание» формулы оставлено как упражнение.

Это T-тест для двух выборок (сравнивает мат. ожидания).


9. Простой рецепт проверки однородности

Что такое однородность

Однородность двух выборок означает, что распределения двух выборок одинаковы.

Рецепт (для нормально распределённых выборок)

  1. F-тест на равенство дисперсий ($H_0: \sigma^2_x = \sigma^2_y$).
  2. Если $H_0$ принята → T-тест на равенство мат. ожиданий.

Почему «простой» в кавычках

  • Простой только на бумаге — на практике вычислений много.
  • Важная посылка: рецепт реально проверяет однородность, только если выборки из нормального закона (нормальный закон полностью задаётся $\mu$ и $\sigma^2$).

Устойчивость к нарушению посылок

  • F-тест более-менее устойчив к нарушению предположения о нормальности.
  • T-тест — менее устойчив.

Применение T-теста: A/B-тестирование

Пример приложения T-теста для двух выборок — A/B-тестирование:

  • Часть пользователей видит старую версию сайта (группа A).
  • Часть пользователей — новую версию (группа B).
  • Анализируем, как ведут себя пользователи (достигают ли целевого показателя).
  • T-тест помогает сравнить мат. ожидания целевой метрики между группами.

10. T-критерий Уэлча (упоминание)

T-критерий Уэлча — модификация T-теста для ситуации, когда нельзя считать, что $\sigma^2_x = \sigma^2_y$. То есть отказываемся от предположения о равенстве дисперсий.

Подробное обсуждение, какая там статистика и откуда она берётся — отложено.


11. Критерий согласия Колмогорова

Постановка

Простая выборка $x_1, \ldots, x_n$. Проверяем гипотезу:

$$H_0: F = F_0$$

где $F_0$ — обязательно непрерывная функция распределения.

Альтернатива (классическая): $H_1: F \neq F_0$.

Статистика критерия

$$D_n = \sqrt{n} \cdot \sup_{x} \left| F_n(x) - F_0(x) \right|$$

где $F_n$ — эмпирическая функция распределения.

Теорема Колмогорова

При условии истинности $H_0$:

$$P(D_n \le t) \xrightarrow{n \to \infty} K(t)$$

где $K(t)$ — функция распределения Колмогорова:

$$K(t) = \sum_{j = -\infty}^{+\infty} (-1)^j e^{-2 j^2 t^2}$$

«Тут меня лучше проверить — мог немного набрать.»

В стат-библиотеках есть численная реализация $K(t)$.

Тип критической области

  • При $H_0$: $F_n \approx F_0$, супремум близок к 0 → статистика близка к 0.
  • При нарушении $H_0$: статистика существенно больше 0 (модуль).
  • → Критическая область правосторонняя.

Замечания и нюансы

1. Размер выборки. Если выборка объёма уже несколько десятков, асимптотика более-менее адекватная. В качестве критического значения берут квантиль порядка $1 - \alpha$ распределения Колмогорова.

2. Сложные гипотезы. Можно проверять не равенство конкретной $F_0$, а гипотезу о принадлежности параметрическому семейству $F_\theta$. Но распределение статистики тогда будет более нетривиальным.

3. Проверка нормальности. Чисто гипотетически критерий Колмогорова можно использовать для проверки согласованности с нормальным законом. НО лучше использовать специализированные критерии:

  • Тест Шапиро-Уилка.
  • Тест Жака-Бера (Jarque-Bera): статистика играется с асимметрией и эксцессом ($A + E$). У стандартного нормального распределения $A = 0$, $E = 0$.

Терминология: критерий согласия

Критерий согласия — тест, проверяющий согласованность данных с заданным вероятностным распределением.

Критерий Колмогорова — пример критерия согласия.


12. Критерий однородности Смирнова

Постановка

Две независимые выборки. Проверяем:

$$H_0: F_X = F_Y$$

где $F_X, F_Y$ — непрерывные функции распределения.

$$H_1: F_X \neq F_Y$$

Статистика критерия

$$D_{m,n} = \sqrt{\frac{mn}{m+n}} \cdot \sup_{x} \left| F_n(x) - F_m(x) \right|$$

где $F_n$ и $F_m$ — эмпирические функции распределения для выборок $x$ и $y$ соответственно.

Предельное распределение

$$P(D_{m,n} \le t) \xrightarrow{} K(t)$$

то же самое распределение Колмогорова!

Тип критической области

  • При $H_0$: $F_X \approx F_Y$ → супремум близок к нулю.
  • При $H_1$: существенное отличие, модуль → большое значение.
  • Правосторонняя.

Замечание

Поскольку предельное распределение совпадает у критериев Колмогорова и Смирнова, в некоторых стат-пакетах эти два критерия объединены в одну функцию.

Терминология: критерий однородности

Критерий однородности — тест, проверяющий равенство распределений двух и более выборок.

Критерий Смирнова работает с двумя выборками.


13. Дискретизация распределений

Зачем

Критерии типа $\chi^2$ работают с дискретными распределениями с конечным множеством значений. Иногда нужно применить их в других ситуациях.

Случай 1: Дискретное распределение с бесконечным (счётным) множеством значений

Например, пуассоновская случайная величина (значения $0, 1, 2, \ldots$).

Идея: оставить первые $n$ значений, а «хвост» объединить в одно значение.

БылоСтало
$1, 2, 3, \ldots, n, n+1, \ldots$$1, 2, 3, \ldots, n, \{> n\}$
$p_1, p_2, p_3, \ldots, p_n, p_{n+1}, \ldots$$p_1, p_2, p_3, \ldots, p_n, \sum_{k > n} p_k$

Замечание из аудитории: «А можно ли это делать оптимальным образом? Например, в хвост брать самые невероятные.»

Ответ: Да, идея совершенно верная и разумная.

Случай 2: Абсолютно непрерывное распределение

Идея: разбить вещественную ось на конечное число интервалов $\Delta_1, \ldots, \Delta_k$.

Вероятность попадания в интервал:

$$p(\Delta_i) = \int_{\Delta_i} p(x) \, dx$$

Случайная величина теперь принимает $k$ значений (номер интервала). Крайние интервалы могут быть бесконечными (от $-\infty$ или до $+\infty$).

Итог

Если у нас дискретное распределение со счётным множеством значений или любое непрерывное распределение — можем свести задачу к ситуации с дискретным распределением с конечным множеством значений.


14. Критерий согласия Пирсона $\chi^2$

Постановка

  • Дискретная случайная величина с конечным множеством значений (без потери общности — $1, 2, \ldots, n$).
  • Этим значениям сопоставлен вектор вероятностей $P = (p_1, \ldots, p_n)$.
  • $\nu_k$ — количество элементов в выборке, равных $k$ (наблюдаемая частота).

Гипотеза

$$H_0: P = P_0 = (p_{0,1}, p_{0,2}, \ldots, p_{0,n})$$$$H_1: P \neq P_0$$

Пример (из обсуждения): многократно бросают кубик. Вопрос — честный ли? Для честного кубика $P_0 = (1/6, 1/6, 1/6, 1/6, 1/6, 1/6)$.

Статистика критерия

$$\chi^2 = \sum_{k=1}^{n} \frac{(\nu_k - n p_{0,k})^2}{n p_{0,k}}$$

При условии истинности $H_0$:

$$\chi^2 \xrightarrow{d} \chi^2(n - 1)$$

Логика типа критической области

  • $\nu_k$ — наблюдаемые частоты, $n p_{0,k}$ — ожидаемые частоты при $H_0$.
  • При $H_0$: $\nu_k \approx n p_{0,k}$ → статистика малая.
  • При $H_1$: расхождение большое → статистика большая.
  • Правосторонняя критическая область (как в большинстве классических версий — там либо квадрат, либо модуль).

Рекомендации к применению

  • Объём выборки $n$ — желательно хотя бы несколько десятков.
  • $\nu_k$ должны быть хотя бы 4 или 5 в каждой ячейке (точная цифра — порядка этого).

Демонстрация при $n = 2$

Покажем, что при $n = 2$ в пределе действительно получается $\chi^2(1)$.

Шаг 1. Распишем явно:

$$\chi^2 = \frac{(\nu_1 - n p_{0,1})^2}{n p_{0,1}} + \frac{(\nu_2 - n p_{0,2})^2}{n p_{0,2}}$$

Шаг 2. Связи между переменными при $n = 2$:

  • $p_{0,2} = 1 - p_{0,1}$ (вероятности в сумме дают 1).
  • $\nu_2 = n - \nu_1$ (количества в сумме дают $n$).

Тогда $\nu_2 - n p_{0,2} = (n - \nu_1) - n(1 - p_{0,1}) = -\nu_1 + n p_{0,1} = -(\nu_1 - n p_{0,1})$.

Шаг 3. Квадрат не чувствует знака. Выносим $(\nu_1 - n p_{0,1})^2 / n$ за скобки:

$$\chi^2 = \frac{(\nu_1 - n p_{0,1})^2}{n} \left( \frac{1}{p_{0,1}} + \frac{1}{1 - p_{0,1}} \right)$$

Шаг 4. Приводим к общему знаменателю:

$$\frac{1}{p_{0,1}} + \frac{1}{1 - p_{0,1}} = \frac{1}{p_{0,1}(1 - p_{0,1})}$$

Шаг 5. Получаем:

$$\chi^2 = \frac{(\nu_1 - n p_{0,1})^2}{n p_{0,1}(1 - p_{0,1})} = \left( \frac{\nu_1 - n p_{0,1}}{\sqrt{n p_{0,1}(1 - p_{0,1})}} \right)^2$$

Шаг 6. Куда сходится выражение в скобках?

$\nu_1$ — это количество исходов типа 1 в $n$ испытаниях. Это биномиальная случайная величина $\text{Bin}(n, p_{0,1})$, у которой:

  • $E[\nu_1] = n p_{0,1}$
  • $\text{Var}(\nu_1) = n p_{0,1}(1 - p_{0,1})$

По ЦПТ:

$$\frac{\nu_1 - n p_{0,1}}{\sqrt{n p_{0,1}(1 - p_{0,1})}} \xrightarrow{d} \mathcal{N}(0, 1)$$

Шаг 7. Квадрат стандартной нормальной величины — это $\chi^2(1)$. Получили требуемое: $\chi^2(n-1) = \chi^2(1)$ при $n = 2$. ✓

В общем случае логика рассуждений похожая, но выкладки более громоздкие.


15. Сводная таблица всех критериев лекции

КритерийЧто проверяетРаспределение статистикиКрит. область
Критерий о медиане$\text{med} = c$ (1 выборка)$\mathcal{N}(0,1)$ асимпт.по альтернативе
Z-тест (1 выборка)$\mu = \mu_0$, $\sigma^2$ известна$\mathcal{N}(0,1)$по альтернативе
T-тест (1 выборка)$\mu = \mu_0$, $\sigma^2$ неизвестна$t(n-1)$по альтернативе
$\chi^2$-тест на дисперсию$\sigma^2 = \sigma^2_0$$\chi^2(n-1)$по альтернативе
Парная выборка$\mu_x = \mu_y$ (зависимые)через разность $u_i$по альтернативе
F-тест$\sigma^2_x = \sigma^2_y$$F(n-1, m-1)$по альтернативе
Z-тест (2 выборки)$\mu_x = \mu_y$, $\sigma^2$ известны$\mathcal{N}(0,1)$по альтернативе
T-тест (2 выборки)$\mu_x = \mu_y$, $\sigma^2_x = \sigma^2_y$ неизв.$t(n+m-2)$по альтернативе
Уэлч$\mu_x = \mu_y$, дисперсии не равны(упоминание)
Колмогоров$F = F_0$ (1 выборка)Колмогорова $K(t)$правосторонняя
Смирнов$F_X = F_Y$ (2 выборки)Колмогорова $K(t)$правосторонняя
Пирсон $\chi^2$$P = P_0$ (дискретное)$\chi^2(n-1)$правосторонняя

16. Конвенции терминологии

ТестОпределение
Z-тестСтатистика имеет (асимпт.) нормальное распределение при $H_0$
T-тестСтатистика имеет распределение Стьюдента при $H_0$
F-тестСтатистика имеет распределение Фишера при $H_0$
$\chi^2$-тестСтатистика имеет (асимпт.) распределение хи-квадрат при $H_0$
Критерий согласияПроверяет согласованность данных с заданным распределением
Критерий однородностиПроверяет равенство распределений двух и более выборок

17. Упоминавшиеся, но не разобранные подробно тесты

  • Тест Романовского — обсуждался у соседних групп; даёт более слабый вывод (выборочное и теоретическое распределения совпадают «случайно/неслучайно»), тогда как обычные критерии дают более сильный вывод (нет оснований отвергать $H_0$).
  • Тест Шапиро-Уилка — для проверки нормальности.
  • Тест Жака-Бера — для проверки нормальности (через асимметрию и эксцесс).
  • Тест Уэлча — модификация T-теста при неравных неизвестных дисперсиях.