Title: Математическая статистика / Лекция 14

Q: Что такое обобщённые линейные модели (ОЛМ)?
A: Расширение линейных моделей, где зависимая переменная — не обязательно непрерывная. Примеры: логистическая регрессия (бинарная), регрессия Пуассона (счётная).

Q: Что такое сигмоида?
A: \[f(t) = \frac{1}{1 + e^{-t}}\] Свойства: \(f(+\infty) = 1\), \(f(-\infty) = 0\), \(f(0) = 1/2\). Гладкая, монотонно возрастающая.

Q: Модель логистической регрессии
A: \(yi \in \{0, 1\}\), и \[yi \sim \text{Bern}\left(f(c0 + c1 x{i1} + \ldots + cm x{im})\right)\] где \(f\) — сигмоида. \(yi\) — бернуллиевская с вероятностью успеха = сигмоиде от линейной комбинации.

Q: Как оцениваются коэффициенты в логистической регрессии?
A: Методом максимального правдоподобия. Минимизируется \(-\ln L\) — это и есть стандартная функция потерь (loss function) в ML. Аналитического решения нет — численные методы (градиентный спуск).

Q: Свойства оценок коэффициентов в логистической регрессии
A: Поскольку получены через ОМП, они асимптотически нормальны. Можно строить ДИ и проверять гипотезы о \(c_i\).

Q: Модель регрессии Пуассона
A: \(yi \in \{0, 1, 2, \ldots\}\), и \[yi \sim \text{Pois}\left(e^{c0 + c1 x{i1} + \ldots + cm x_{im}}\right)\] — пуассоновская с параметром = экспоненте от линейной комбинации.

Q: Постановка критерия отношения правдоподобия (простые гипотезы)
A: \(H0: f = f0\) vs \(H1: f = f1\) (конкретные распределения). Статистика: \[L(X) = \frac{L(X|H1)}{L(X|H0)}\] — отношение правдоподобий.

Q: Решающее правило критерия отношения правдоподобия
A: Если \(L(X) \geq C\) — принимаем \(H1\), иначе \(H0\). Логика: если правдоподобие \(H1\) больше, чем \(H0\), то верим \(H_1\).

Q: Как выбирается константа \(C\)?
A: Чтобы \(\psi(C) = P(L(X) \geq C \mid H_0) = \alpha\) — вероятность ошибки первого рода равнялась заданному уровню значимости. Можно показать: \(\psi(C) \leq 1/C\).

Q: Формулировка леммы Неймана–Пирсона
A: Критерий отношения правдоподобия с \(C = C_\alpha\) — оптимальный: имеет минимальную вероятность ошибки II рода среди всех тестов с \(P(\text{ошибка I}) = \alpha\).

Q: Постановка общего критерия отношения правдоподобия
A: Параметрические гипотезы: \(H0: \theta \in \Theta0\) vs \(H1: \theta \in \Theta \setminus \Theta0\). Статистика: \[\Lambdan = \frac{\sup{\theta \in \Theta0} L(X, \theta)}{\sup{\theta \in \Theta} L(X, \theta)}\]

Q: Асимптотическое распределение \(-2 \ln \Lambda_n\)
A: \[-2 \ln \Lambdan \xrightarrow{d} \chi^2{m - r}\] где \(m = \dim \Theta\), \(r = \dim \Theta_0\). Работает в условиях асимптотической нормальности ОМП.

Q: Почему именно \(-2 \ln \Lambda_n\) (интуиция)?
A: Минус: «переворачивает» дробь (числитель ↔ знаменатель). Логарифм: упрощает работу с произведениями. Двойка: \(2\ln x = \ln x^2\), и сумма логарифмов \(\to\) сумма квадратов \(\to \chi^2\).

Q: Проверка значимости логистической регрессии: гипотезы
A: \(H0: c1 = c2 = \ldots = cm = 0\) (все коэффициенты, кроме свободного, нулевые → переменные не влияют). \(\dim\Theta0 = 1\) (остался \(c0\)). \(\dim\Theta = m + 1\). df = \(m\).

Q: Решающее правило в общем критерии отношения правдоподобия
A: Если \(-2\ln\Lambdan < \tilde{C}\) — принимаем \(H0\), иначе \(H1\). \(\tilde{C}\) — квантиль распределения \(\chi^2{m-r}\) уровня \(1 - \alpha\). Критическая область — правосторонняя.

Q: Пример: проверка \(H0: \mathcal{N}(0,1)\) vs \(H1: \mathcal{N}(1,1)\)
A: После взятия логарифма \(L(X) \geq C\) сводится к: \(\sum xi \geq \tilde{C} + n/2\). При \(H0\): \(\sum xi \sim \mathcal{N}(0, n)\). При \(H1\): \(\sum x_i \sim \mathcal{N}(n, n)\).

Q: Геометрическая интерпретация \(\alpha\) и \(\beta\) в простых гипотезах
A: Две гауссианы (для \(H0\) и \(H1\)), вертикальная черта в \(\tilde{C}\). \(\alpha\) = площадь под гауссианой \(H0\) справа от черты. \(\beta\) = площадь под гауссианой \(H1\) слева от черты.

Q: Trade-off \(\alpha\) и \(\beta\) (геометрически)
A: Двигая черту \(\tilde{C}\) вправо: \(\alpha \downarrow\), \(\beta \uparrow\). Двигая влево: \(\alpha \uparrow\), \(\beta \downarrow\). Невозможно одновременно занулить обе.