Лекция 2: Описательная статистика. Выборочные моменты, квантили и асимптотические свойства

Повторение материала прошлой лекции

Модель простейшей выборки

С математической точки зрения простейшая выборка — это набор случайных величин, которые:

• независимы
• одинаково распределены (i.i.d.)

Распределение этих величин описывается теоретической функцией распределения $F(x)$.

Эмпирическая функция распределения

В прошлый раз научились оценивать $F(x)$ с помощью эмпирической функции распределения:

Словами: это доля элементов выборки, которые не превосходят заданного аргумента $x$.

Свойства эмпирической функции распределения

1. Состоятельность: при $n \to \infty$ эмпирическая функция $\hat{F}_n(x)$ всё лучше оценивает теоретическую — $\hat{F}_n(x) \xrightarrow{P} F(x)$ по вероятности (в силу закона больших чисел).

   • Состоятельность означает: оценка стремится к оцениваемому параметру.

2. Несмещённость: $\mathbb{E}[\hat{F}_n(x)] = F(x)$ — в среднем эмпирическая функция распределения равна теоретической.

   • С практической точки зрения это означает отсутствие систематической ошибки.

3. Асимптотическая нормальность (по ЦПТ):

   $$\sqrt{n} \cdot \frac{\hat{F}_n(x) - F(x)}{\sqrt{F(x)(1 - F(x))}} \xrightarrow{d} \mathcal{N}(0, 1)$$

Также упоминались:

• Теорема Гливенко–Кантелли
• Теорема Колмогорова–Смирнова
• Гистограмма как графическая оценка теоретической плотности — при увеличении объёма выборки в силу ЗБЧ её график становится всё более похожим на график реальной плотности.

Выборочные начальные моменты

Обозначения:

• $\alpha_k = \mathbb{E}[X_1^k]$ — теоретический $k$-й начальный момент
• $\hat{\alpha}_k = \overline{X^k} = \frac{1}{n}\sum_{j=1}^{n} X_j^k$ — выборочный $k$-й начальный момент

Свойства: $\hat{\alpha}_k$ является:

• состоятельной оценкой $\alpha_k$
• несмещённой
• асимптотически нормальной

Центральные выборочные моменты

Определения

Теоретический центральный $k$-й момент:

Выборочный центральный $k$-й момент:

В частности, для $k=2$:

Ключевое наблюдение

Выборочный момент — это не просто формулка, а момент относительно эмпирического распределения. Поэтому свойства и соотношения, справедливые для теоретических моментов, справедливы и для выборочных.

Например, аналог формулы дисперсии:

(среднее от квадрата минус квадрат среднего)

Состоятельность центральных выборочных моментов

Идея: произвольный $k$-й выборочный центральный момент — это некоторый полином от выборочных начальных моментов $\hat{\alpha}_1, \hat{\alpha}_2, \ldots, \hat{\alpha}_k$.

Поскольку:

• начальные выборочные моменты сходятся к теоретическим по вероятности,
• полином — непрерывная функция,

по теореме о сходимости непрерывной функции от сходящихся величин:

Таким образом, состоятельность есть.

Несмещённость — есть проблемы (на примере дисперсии)

Введём обозначение выборочной дисперсии со звёздочкой:

Вычислим математическое ожидание:

• Первое слагаемое: $\mathbb{E}[\overline{X^2}] = \alpha_2$ (поскольку начальный выборочный момент несмещён).
• Второе слагаемое (используем $\mathbb{E}[Y^2] = \mathbb{D}Y + (\mathbb{E}Y)^2$): $$\mathbb{E}[\overline{X}^2] = \mathbb{D}[\overline{X}] + (\mathbb{E}\overline{X})^2 = \frac{\beta_2}{n} + \alpha_1^2$$

Подставляя:

Вывод: $\mathbb{E}[S^{*2}] \neq \beta_2$ — выборочная дисперсия является смещённой.

Исправленная (несмещённая) выборочная дисперсия

Чтобы убрать смещение, вводят:

Эта величина называется исправленной выборочной дисперсией. Её свойство:

Таким образом, выборочных дисперсий две штуки: $S^{*2}$ и $S^2$.

Выборочное стандартное отклонение: $S = \sqrt{S^2}$.

Промежуточный итог

У центральных выборочных моментов:

• состоятельность ✓
• несмещённость нарушается (требуется поправка)

Дельта-метод

Зачем нужен

Для асимптотической нормальности начальных выборочных моментов и эмпирической функции распределения мы напрямую применяли ЦПТ. Но для центральных моментов это не работает: слагаемые вида $(X_j - \overline{X})^k$ не являются независимыми, потому что везде присутствует $\overline{X}$. Поэтому ЦПТ напрямую не применима — нужен дельта-метод.

Одномерная версия дельта-метода

Постановка. Пусть случайные величины $\xi_n$ удовлетворяют:

Пусть $\varphi: \mathbb{R} \to \mathbb{R}$ — достаточно гладкая функция (столько раз дифференцируемая, сколько потребуется).

Вопрос: к чему сходится $\sqrt{n}(\varphi(\xi_n) - \varphi(a))$?

Обоснование одномерного дельта-метода

Шаг 0: $\xi_n - a \xrightarrow{P} 0$.

Действительно, рассмотрим:

Поскольку $\sqrt{n}(\xi_n - a) \xrightarrow{d} \mathcal{N}(0,\sigma^2)$, имеем:

Значит, $\xi_n \xrightarrow{P} a$.

Шаг 1. Раскладываем по формуле Тейлора с остатком в форме Лагранжа:

где $\tilde{\xi}_n$ — между $a$ и $\xi_n$.

Шаг 2. Домножим на $\sqrt{n}$:

• Первое слагаемое: $\varphi'(a) \cdot \sqrt{n}(\xi_n-a) \xrightarrow{d} \mathcal{N}(0, (\varphi'(a))^2 \sigma^2)$
• Второе слагаемое: $\sqrt{n}(\xi_n - a)^2 = \underbrace{\sqrt{n}(\xi_n - a)}_{\to \mathcal{N}(0,\sigma^2)} \cdot \underbrace{(\xi_n - a)}_{\xrightarrow{P} 0} \xrightarrow{P} 0$, причём $\tilde{\xi}_n \xrightarrow{P} a$, $\varphi''(\tilde{\xi}_n)$ — ограничено.

В итоге всё второе слагаемое сходится к нулю по вероятности.

Результат (одномерный дельта-метод)

Многомерная версия дельта-метода

Постановка: $\xi_n$ — теперь случайный вектор, и

где $\Sigma$ — матрица ковариаций. Пусть $\varphi: \mathbb{R}^d \to \mathbb{R}$ — гладкая (непрерывно дифференцируемая) функция $d$ переменных.

Утверждение:

где $\nabla\varphi(a)$ — градиент (строчка из частных производных). Размерность согласуется: строчка × матрица × столбец = число.

Замечание: матрица ковариаций — это аналог дисперсии в многомерном случае.

Многомерная ЦПТ (для удобства использования)

Пусть $X_1, \ldots, X_n$ — независимые одинаково распределённые случайные векторы, $\mathbb{E}X_1 = a$, $\mathbb{D}X_1 = \Sigma$. Пусть $S_n = \sum_{k=1}^n X_k$. Тогда:

В удобной для статистики форме:

Теорема об асимптотической нормальности функций от начальных выборочных моментов

Постановка

Пусть $X_1, \ldots, X_n$ — простейшая выборка (одномерные величины). Обозначим:

— вектор математических ожиданий случайного вектора $(X_1, X_1^2, \ldots, X_1^k)$.

— матрица ковариаций этого случайного вектора.

— выборочный аналог $a$ (это в точности $S_n/n$).

К $\hat{a}$ применима многомерная ЦПТ.

Пусть $\varphi: \mathbb{R}^k \to \mathbb{R}$ — гладкая функция.

Утверждение 1

Это напрямую следует из дельта-метода.

Утверждение 2 (важно для практики)

Положим:

Эта величина — функция от $\mathbb{E}X_1, \mathbb{E}X_1^2, \ldots, \mathbb{E}X_1^{2k}$ (поскольку на диагонали матрицы $\Sigma$ стоит $\mathbb{D}X_1^k = \mathbb{E}X_1^{2k} - (\mathbb{E}X_1^k)^2$).

Будем считать, что $\sigma^2$ — непрерывная функция от своих аргументов. Тогда:

где в знаменателе вместо теоретических моментов подставлены выборочные аналоги. Это работает, потому что знаменатель — непрерывная функция, и подстановка выборочных моментов сохраняет сходимость.

Асимптотическая нормальность выборочной дисперсии

Применение теоремы

Выборочная дисперсия:

где $\varphi(x_1, x_2) = x_2 - x_1^2$.

Градиент:

В точке $a = (\mathbb{E}X_1, \mathbb{E}X_1^2)$:

Применяем дельта-метод

где

Упрощение (упражнение)

После раскрытия:

где $\mu_4$ — четвёртый центральный момент.

Стандартизованный результат

где $\hat{\beta}_4$ — четвёртый выборочный центральный момент.

Вывод: выборочная дисперсия — асимптотически нормальная оценка.

Парные выборки. Выборочная ковариация и корреляция

Теоретические понятия (повторение)

Ковариация:

Коэффициент корреляции:

Парная выборка

В статистике часто возникает ситуация парной выборки — датафрейм длины $n$ с двумя атрибутами:

Выборочная ковариация

Выборочный коэффициент корреляции (Пирсона)

Это нормированная величина, принимающая значения от $-1$ до $1$. Используется для оценки меры линейной зависимости.

Порядковые статистики и выборочные квантили

Вариационный ряд

Пусть $X_1, \ldots, X_n$ — исходная выборка. Сортируем по возрастанию и получаем:

Это и есть вариационный ряд. Элементы $X_{(k)}$ называются порядковыми статистиками.

Замечание: некоторые авторы под вариационным рядом понимают статистический ряд — где сначала берётся unique, затем для каждого уникального значения считается количество вхождений $\nu_i$:

после чего массив сортируется по $x$. Здесь $\nu_i$ — случайные величины (функции от выборки).

Теоретический квантиль (повторение)

Квантиль порядка $\alpha$ $u_\alpha$ — это число, такое что:

В непрерывном случае квантиль определяется однозначно:

Геометрическая интерпретация: квантиль $u_\alpha$ делит вероятностную массу под графиком плотности на части $\alpha$ (слева) и $1 - \alpha$ (справа).

Выборочные квантили

Обозначение: $\hat{u}_\alpha$.

Граничные случаи:

• $\hat{u}_0 = X_{(1)} = \min X_i$ — минимум
• $\hat{u}_1 = X_{(n)} = \max X_i$ — максимум

Содержательный случай $\alpha \in (0, 1)$. Существует номер $k \in \{1, \ldots, n\}$, такой что:

Тогда:

(элемент вариационного ряда с номером $\lceil n\alpha \rceil$).

Связанные термины

Квартили (от лат. quartus — четвёртый): делят выборку на четыре равные (в смысле эмпирической вероятностной массы) части.

• Нулевой квартиль = $\min$
• Первый квартиль (нижний) = $\hat{u}_{1/4}$
• Второй квартиль = медиана = $\hat{u}_{1/2}$
• Третий квартиль (верхний) = $\hat{u}_{3/4}$
• Четвёртый квартиль = $\max$

Перцентили: например, 74-й перцентиль = $\hat{u}_{0.74}$.

Дециль: разбиение на десять частей.

Выборочная медиана

Часто определяется специальным образом в зависимости от чётности $n$:

• Если $n = 2m+1$ (нечётно): $\widehat{\mathrm{med}} = X_{(m+1)}$ — центральный элемент.
• Если $n = 2m$ (чётно): $\widehat{\mathrm{med}} = \dfrac{X_{(m)} + X_{(m+1)}}{2}$ — среднее арифметическое двух центральных элементов вариационного ряда.

При программировании необходимо смотреть, какое именно определение используется в конкретной библиотеке.

Средства визуализации выборки

Box plot («ящик с усами»)

Также неформально: «японские свечи» (хотя это другой объект на самом деле).

Структура (вертикальная ориентация):

• Прямоугольник (ящик):
  • Нижняя граница = первый (нижний) квартиль $\hat{u}_{1/4}$
  • Средняя линия = медиана $\hat{u}_{1/2}$
  • Верхняя граница = третий (верхний) квартиль $\hat{u}_{3/4}$
• Межквартильный размах $\mathrm{IQR} = \hat{u}_{3/4} - \hat{u}_{1/4}$ — аналог стандартного отклонения.
• «Усики»: длиной обычно $1.5 \cdot \mathrm{IQR}$ от границ ящика.
• Точки за пределами «усов» отмечаются отдельно и трактуются как выбросы.

Внутри ящика сосредоточено 50% эмпирической вероятностной массы.

Применение: на одной картинке можно нарисовать несколько box plot для разных категорий — это позволяет визуально сравнивать распределения.

Violin plot («скрипка»)

Неформально — это box plot + гистограмма на одной картинке. Точнее — аппроксимация плотности с двух сторон (KDE с очень узкими bin’ами), а внутри что-то вроде box plot.

Асимптотические результаты для порядковых статистик

Теорема об асимптотике среднего члена вариационного ряда

Условия: $X_1, \ldots, X_n$ — выборка из непрерывного закона с теоретической плотностью $f$. Пусть $p \in (0, 1)$ — фиксированное число.

Утверждение:

при $n \to \infty$.

Замечания:

• $u_p$ — теоретический квантиль порядка $p$.
• Выборочный квантиль порядка $p$ — асимптотически нормальная оценка теоретического квантиля.
• Структура напоминает дисперсию распределения Бернулли $p(1-p)$.
• При $p = 1/2$ получаем результат для выборочной медианы.
• На русском языке эта теорема плохо гуглится — на английском лучше.

Теорема об асимптотике крайних членов вариационного ряда (более экзотическая)

Условия: те же — выборка из непрерывного закона.

Утверждение: Для фиксированных $\ell, s$:

• $n \cdot F(X_{(\ell)})$ сходится по распределению к $\Gamma$-распределению с параметрами $(\ell, 1)$.
• $n \cdot (1 - F(X_{(n - s + 1)}))$ сходится по распределению к $\Gamma$-распределению с параметрами $(s, 1)$.

При этом эти предельные распределения независимы.

Заключительные замечания

Что обсудили в курсе

• Описательные статистики: эмпирическая функция распределения, гистограмма, выборочные характеристики.
• Хорошие свойства выборочных характеристик: состоятельность, несмещённость (для исправленных версий), асимптотическая нормальность.

Важная оговорка: модель простейшей выборки

Все эти результаты получены в рамках модели простейшей выборки (i.i.d.), а это сильное предположение.

Проблема робастности

Если ослабить предположения модели (например, отказаться от полной независимости/одинаковой распределённости, допустить выбросы), оценки могут вести себя по-разному:

• Выборочное среднее — неробастная оценка: при наличии выбросов оно сильно искажается.
• Медиана — более устойчивая оценка к выбросам.

Это нетривиальная тема, на эту тему написано немалое количество нетонких книг. Конкретные подходы к борьбе с нарушением условий зависят от конкретной задачи и предметной области.

Где почитать про распределение порядковых статистик

Ивченко, Медведев — «Введение в математическую статистику» (упоминалась в списке литературы курса).