158 lines
12 KiB
TeX
158 lines
12 KiB
TeX
\section{Statistické učení}
|
|
|
|
V této kapitole se budeme věnovat základům matematické statistiky, což je obor, který bude středobodem naší pozornosti po celý zbytek semestru. Začneme formalizací pojmů týkajících se opakovaného provádění experimentu a charakterizací statistických modelů.
|
|
|
|
\begin{definition}
|
|
Pokud jsou $X_1, \dots, X_n$ nezávislé a každá má stejné marginální rozdělení a distribuční funkci $F$, říkáme, že $X_1, \dots, X_n$ jsou IID (nezávislé a stejně rozdělené) a píšeme
|
|
$$ X_1, \dots, X_n \overset{IID}\sim F. $$
|
|
Takové $X_1, \dots, X_n$ nazýváme \textit{náhodný výběr} velikosti $n$ z $F$.
|
|
\end{definition}
|
|
|
|
Obecně si představujeme měřitelná zobrazení $X_1, \dots, X_n$. V praxi však většinou dostaneme pouze reálná čísla $X_i(\omega)$ pro pro jedno konkrétní $\omega \in \Omega$. Možná rozdělení těchto náhodných veličin budeme modelovat pomocí takzvaných parametrických modelů, tedy množin $\mathcal{F}$ rozdělení, jež se dají parametrizovat konečným počtem parametrů.
|
|
|
|
\begin{example}[Normální model]
|
|
\label{ex-normal-model}
|
|
$$ \mathcal{F} = \left\{ f(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left\{- \frac{(x - \mu)^2}{2\sigma^2} \right\}, \mu \in \R, \sigma^2 > 0\right\}. $$
|
|
Taková data pochází z normálního rozdělení se dvěma parametry $\mu$ a $\sigma^2$.
|
|
\end{example}
|
|
|
|
Všechny parametrické modely můžeme obecně zapsat ve tvaru
|
|
$$ \mathcal{F} = \{ f(\cdot; \vec \theta) : \vec \theta \in \vec \Theta \subseteq \R^d \}. $$
|
|
V dalším textu budeme využívat následující značení:
|
|
$$ P_\theta[X\in A] := \int_A f(x; \theta) dx; $$
|
|
$$ \E_\theta[g(X)] := \int_\R g(x) f(x; \theta) dx. $$
|
|
|
|
Velkou skupinou modelů jsou také neparametrické modely, který nemůžeme parametrizovat konečným počtem parametrů. Například, celou funkci hustoty můžeme považovat za nekonečnědimenzionální prostor. Uvedeme si jeden příklad takového neparametrického modelu.
|
|
|
|
\begin{example}[Model Sobolevova prostoru]
|
|
$$ \mathcal{F} = \left\{ f: \int_\R (f''(x))^2 dx < \infty \right\}. $$
|
|
Data pochází z rozdělení s nepříliš ``vlnitou" hustotou.
|
|
\end{example}
|
|
|
|
\begin{definition}
|
|
\textit{Bodový odhad} $\hat \theta_n$ parametru $\theta$ je měřitelná funkce $t$ náhodných veličin $X_1, \dots, X_n$:
|
|
$$ \hat \theta_n = t(X_1, \dots, X_n). $$
|
|
\end{definition}
|
|
|
|
V této definici předpokládáme, že $\theta$ je pevné ale neznámé reálné číslo (vektor). Avšak získaný odhad $\hat \theta_n$ je sice náhodná veličina, ale umíme ji přesně charakterizovat.
|
|
|
|
\begin{definition}
|
|
Odhad $\hat \theta_n$ je \textit{nestranný}, pokud $\E[\hat \theta_n] = \theta$ pro všechna $n \in \N$. \textit{Vychýlení} odhadu definujeme jako $\bias(\hat \theta_n) := \E[\hat \theta_n] - \theta$. Odhad je \textit{konzistentní}, jestliže $\hat \theta_n \overset P \to \theta$ pro $n \to \infty$.
|
|
|
|
\end{definition}
|
|
|
|
V dnešní době je díky vývoji výpočetní techniky nestrannost více upozaďována, větší důraz proto klademe na konzistenci modelu.
|
|
|
|
\begin{definition}
|
|
Rozdělení odhadu $\hat \theta_n$ nazýváme \textit{výběrové rozdělení}. Standardní odchylku $\hat \theta_n$ nazýváme \textit{standardní chyba} $\se(\hat \theta_n) = \sqrt{\Var \hat \theta_n}$.
|
|
\end{definition}
|
|
|
|
V těchto případech je standardní chyba $\se$ neznámá veličina (parametr), ale obvykle ji můžeme odhadnout. Takovou odhadnutou standardní chybu značíme $\widehat \se$.
|
|
|
|
\begin{example}
|
|
\label{ex-coin-bernoulli}
|
|
Mějme Bernoulliho náhodný výběr $X_1, \dots, X_n \overset{IID}\sim Be(p)$ a parametr $p \in (0, 1)$. Potom můžeme uvažovat odhad
|
|
$$ \hat p_n := \frac{1}{n} \sum_{i=1}^n X_i $$
|
|
a z toho získáme odhad standardní chyby (díky nezávislosti a stejné rozdělenosti máme $\Var(\hat p_n) = \frac{p(1 - p)}{n}$). Jelikož přesná hodnota $p$ je neznámá, musíme tento parametr také odhadnout, proto
|
|
$$ \widehat \se(\hat p_n) := \sqrt{\frac{\hat p_n(1 - \hat p_n)}{n}}. $$
|
|
\end{example}
|
|
|
|
\begin{definition}
|
|
Kvalitu bodového odhadu můžeme posuzovat pomocí \textit{střední kvadratické chyby}
|
|
$$ \MSE(\hat \theta_n) := \E_\theta [\hat \theta_n - \theta]^2. $$
|
|
\end{definition}
|
|
|
|
Mějme na paměti, že $\E_\theta$ se v případě nezávislých a stejně rozdělených $X_i$ vztahuje k očekávané hodnotě vzhledem k rozdělení
|
|
$$ f(x_1, \dots, x_n; \theta) = \prod_{i=1}^n f(x_i; \theta). $$
|
|
|
|
\begin{theorem}[Rozklad střední kvadratické chyby]
|
|
\label{thm-mse-bias-var}
|
|
Mějme odhad $\hat \theta_n$. Pak vždy platí $\MSE(\hat \theta_n) = \bias^2(\hat \theta_n) + \Var(\hat \theta_n)$.
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Rozepsáním definice dostáváme
|
|
$$ \MSE[\hat \theta_n] = \E_\theta[\hat \theta_n - \theta]^2 = \E_\theta\left\{ [\hat \theta_n - \E\hat \theta_n + \E\hat \theta_n - \theta]^2 \right\} = $$
|
|
$$ \E_\theta\left\{[\hat \theta_n - \E \hat\theta_n]^2 - 2[\hat\theta_n - \E\hat\theta_n][\E\hat\theta_n - \theta] + [\E\hat\theta_n - \theta]^2 \right\} = $$
|
|
$$ = \Var(\hat\theta_n) + \bias^2(\hat\theta_n), $$
|
|
kde poslední rovnost plyne z toho, že druhý sčítanec je nulový, což plyne z linearity střední hodnoty.
|
|
\end{proof}
|
|
|
|
\begin{theorem}[Postačující podmínka pro konzistenci]
|
|
\label{thm-consistence-sufficient-condition}
|
|
Nechť platí $\bias(\hat \theta_n) \to 0$ a $\Var(\hat \theta_n) \to 0$. Potom platí $\hat\theta_n$ je konzistentní.
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Z Věty \ref{thm-mse-bias-var} dostáváme, že $\MSE(\hat\theta_n) = \E_\theta[\hat\theta_n - \theta]^2 \to 0$. Z definice $L_2$ konvergence dostáváme, že $\hat\theta_n \overset{L_2}\to \theta$. Zbytek dostáváme z faktu, že $L_2$ konvergence implikuje konvergenci v pravděpodobnosti.
|
|
\end{proof}
|
|
|
|
\begin{example} \label{ex-coin-consistent}
|
|
Mějme stejnou situaci jako v Příkladu \ref{ex-coin-bernoulli}. Jelikož náš odhad je nestranný ($\E(\hat p_n) = p$) a $\Var(\hat p_n) = \frac{p(1 - p)}{n} \to 0$ pro $n \to \infty$, dostáváme díky Větě \ref{thm-consistence-sufficient-condition}, že $\hat p_n \overset P \to p$.
|
|
\end{example}
|
|
|
|
\begin{definition}
|
|
Odhad $\hat \theta_n$ parametru $\theta$ se nazývá \textit{asymptoticky standardně normální}, jestliže pro $n \to \infty$ platí
|
|
$$ \frac{\hat \theta_n - \theta}{\se(\hat \theta_n)} \overset D \to N(0, 1). $$
|
|
\end{definition}
|
|
|
|
\begin{definition}
|
|
$(1-\alpha)$-\textit{interval spolehlivosti} (konfidenční interval) pro parametr $\theta$ je interval $C_n = (a, b)$, kde $a = a(X_1, \dots, X_n)$ a $b = b(X_1, \dots, X_n)$ jsou měřitelné funkce dat takové, že pro všechna $\theta \in \Theta$
|
|
$$ P_\theta[\theta \in C_n] = 1 - \alpha. $$
|
|
\textit{Asymptotický} (přibližný) $(1 - \alpha)$-\textit{interval spolehlivosti} pro parametr $\theta$ je interval $C_n$ takový, že pro všechna $\theta \in \Theta$
|
|
$$ \lim_{n \to \infty} P_\theta [\theta \in C_n] = 1 - \alpha. $$
|
|
\end{definition}
|
|
|
|
Tato definice říká, že interval $C_n$ zachytí $\theta$ s pravděpodobností (přibližně) $1 - \alpha$. Tento parametr nazýváme \textit{pokrytí} intervalu spolehlivosti (CI). Interval spolehlivosti je náhodná veličina, i přestože $\theta$ je pevné deterministické. Pro vícerozměrné prostory uvažujeme kouli/elipsoid spolehlivosti (ale toto rozšíření je komplikovanější, protože na $\R^d, d>1$ neexistuje vhodné uspořádání).
|
|
|
|
\hfill \textit{konec 15. přednášky (8.4.2025)}
|
|
|
|
\begin{example}[Interval spolehlivosti a normalita]
|
|
Mějme stejný setup jako v Příkladu \ref{ex-normal-model}, tedy $X_1, \dots, X_n \overset{IID}\sim N(\mu, \sigma^2)$ a parametr $\mu \in \R$ je \textit{neznámý} a má být \textit{odhadnut} (bodový odhad a konfidenční interval), $\sigma^2 > 0$ je předpokládáno \textit{známé}.
|
|
|
|
Nezávislost a stejná rozdělenost nám poskytuje možnost pracovat s mnohorozměrným vektorem $\vec X := (X_1, \dots, X_n)^T \sim ((\mu, \dots, \mu)^T, \sigma^2 I_n)$.
|
|
|
|
Uvažujme bodový odhad $\hat \mu_n = \frac{1}{n} \sum_{i=1}^n X_i \equiv \bar X_n$. Tento odhad je konzistentní, což plyne ze zákona velkých čísel \ref{thm-weak-lln}.
|
|
Z linearity normálních rozdělení dostáváme $\sqrt{n}(\hat \mu_n - \mu) / \sigma \sim N(0, 1)$.
|
|
|
|
Nechť $u_\beta := \Phi^{-1}(\beta)$ je $\beta$-kvantil ($\beta \in (0, 1)$) standardního normálního rozdělení a nechť $Y = \sqrt{n}\frac{\bar X_n - \mu}{\sqrt{\sigma^2}}$. Potom
|
|
$$ P[ -u_{1 - \alpha/2} \leq Y \leq u_{1 - \alpha/2}] = P[Y \leq u_{1 - \alpha/2}] - P[Y \leq - u_{1 - \alpha/2}] = $$
|
|
$$ 1 - \frac{\alpha}{2} - \frac{\alpha}{2} = 1 - \alpha$$
|
|
pro všechna $n \in \N$ a $\mu \in \R$. Ve druhé rovnosti jsme použili vlastnost $u_\beta = -u_{1 - \beta}$, která se snadno ověří přímým dosazením do definice distribuční funkce normálního rozdělení.
|
|
|
|
Jednoduchými algebraickými úpravami získáme nerovnost pro $\mu$ (zapíšeme to rovnou ve tvaru intervalu):
|
|
$$ \mu \in \left(\bar X_n - u_{1 - \alpha / 2} \sqrt{\frac{\sigma^2}{n}}, \bar X_n + u_{1 - \alpha/2} \sqrt{\frac{\sigma^2}{n}}\right). $$
|
|
Tento interval je $1 - \alpha$ interval spolehlivosti pro hodnotu $\mu$. Tedy s pravděpodobnosti $1 - \alpha$ leží hodnota $\mu$ v tomto intervalu.
|
|
|
|
Pro výpočet také můžeme použít centrální limitní větu, v tomto případě dostaneme stejný interval spolehlivosti (s poznámkou, že jde o přibližný, tedy asymptotický interval spolehlivosti).
|
|
\end{example}
|
|
|
|
Zkoumejme délku získaného intervalu spolehlivosti. Z předchozího příkladu máme délku $2u_{1 - \alpha/2}\sqrt{\frac{\sigma^2}{n}}$. Poznamenejme si, že s klesajícím $\alpha$ (povolená tolerance) roste délka intervalu. Taktéž roste délka intervalu s rostoucím rozptylem $\sigma^2$ a klesajícím rozsahem výběru $n$. Mějme danou délku $d$. Kolik pozorování potřebujeme, abychom získali interval spolehlivosti užší než $d$? Vychází
|
|
$$ n \geq \floor*{\frac{4u^2_{1 - \alpha/2} \sigma^2}{d^2}} + 1. $$
|
|
|
|
\begin{theorem}[Interval spolehlivosti založený na normalitě]
|
|
Předpokládejme, že $\hat \theta_n$ je asymptoticky standardně normální odhad parametru $\theta$ a $\widehat\se(\hat \theta_n)$ je konzistentní odhad $\se(\theta_n)$, tj. $\widehat\se(\hat \theta_n) - \se(\hat \theta_n) \overset P \to 0$. Nechť $u_{1 - \alpha/2}$ je $(1 - \alpha/2)$-kvantil standardního normálního rozdělení a
|
|
$$ C_n = \left(\hat \theta_n - u_{1 - \alpha/2}\widehat\se(\hat\theta_n), \hat\theta_n + u_{1 - \alpha/2}\widehat\se(\hat\theta_n)\right).$$
|
|
Pak
|
|
$$P_\theta[\theta \in C_n] \overset {n\to\infty} \to 1 - \alpha.$$
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Z definice asymptoticky standardně normálního odhadu máme
|
|
$$ \frac{\hat \theta_n - \theta}{\se(\hat\theta_n)} \overset D \to N(0, 1) $$
|
|
a máme konzistentní odhad standardní chyby odhadu
|
|
$$ \widehat\se(\hat\theta_n H) - \se(\hat\theta_n) \overset P \to 0. $$
|
|
|
|
Ze Slutského věty (Věta \ref{thm-slutsky}) dostáváme $Y := \frac{\hat\theta_n - \theta}{\widehat\se(\hat\theta_n)} \overset D \to N(0, 1)$. Potom již platí
|
|
$$ \lim_{n \to \infty} P[-u_{1 - \alpha/2} \leq Y \leq u_{1 - \alpha/2}] = \Phi(u_{1 - \alpha_2}) - \Phi(u_{\alpha/2}) = 1 - \alpha. $$
|
|
\end{proof}
|
|
|
|
Neformálně zapisujeme $\theta_n \approx N(\theta, \widehat\se(\hat\theta_n))$. Přibližně platí pro $95\%$-intervaly spolehlivosti $\alpha = 0.05$ a $u_{0.975} \approx 1.96 \approx 2$ vedoucí k explicitnímu intervalu spolehlivosti $\hat\theta_n \pm 2\widehat\se(\hat\theta_n)$.
|
|
|
|
\begin{example}
|
|
Pokračujeme v Příkladu \ref{ex-coin-consistent}. Již jsme spočítali $\hat p_n \overset P \to p$, $\se(\hat p_n) = \sqrt{p(1 - p)/n}$ a $\widehat\se(\hat p_n) := \sqrt{\hat p_n(1 - \hat p_n) / n}$. Ze Slutského věty pak máme $\widehat\se(\hat p_n) - \se(\hat p_n) \overset P \to 0$.
|
|
|
|
Z centrální limitní věty dostáváme, že $\frac{\hat p_n - p}{\se(\hat p_n)} \overset D \to N(0, 1)$. Dále opětovným použitím Slutského věty získáme $\frac{\hat p_n - p}{\widehat\se(\hat p_n)} \overset D \to N(0, 1)$. Tedy z předchozí věty
|
|
$$ \hat p_n \pm u_{1 - \alpha/2} \sqrt{\hat p_n(1 - \hat p_n)/n} $$
|
|
je asymptotický (přibližný) $(1 - \alpha)$-interval spolehlivosti pro $p$.
|
|
\end{example}
|