\section{Parametrická inference}

V této kapitole se budeme věnovat problému odhadování parametru tak, aby získané rozdělení co nejvhodněji pasovalo na experimentální data. Hlavním objektem zkoumání bude rodina parametrických modelů
$$ \mathcal{F} := \{f(\cdot, \vec \theta): \vec \theta \in \vec \Theta \subseteq \R^d\}, $$
kde $\vec \Theta$ je parametrický prostor a $\vec \theta = (\theta_1, \dots, \theta_d)$ je parametr.

Je zřejmé, že ne každý model je schopen pokrýt všechna možná rozdělení vyskytující se v přírodě. Musíme proto aproximovat a umět dobře odhadnout, kdy máme ``dost dobrý" odhad.
Budeme se zajímat o odhad nějaké funkce $T(\vec \theta)$. Například pro $X_i \sim N(\mu, \sigma^2)$, pokud naším parametrem zájmu je $\mu$, stačí volit $T(\vec \theta) = \mu$ a $\sigma^2$ se potom nazývá \textit{nežádoucí/rušivý parametr}.

\begin{example}
	Připomeňme si, že náhodná veličina $X$ má rozdělení $\Gamma(a, p)$, jestliže
	$$ f_X(x; a, p) = \frac{a^p}{\Gamma(p)} x^{p - 1} \exp\{-ax\}.$$
	kde $a, p > 0$ a
	$$ \Gamma(p) = \int_0^\infty y^{p-1}e^{-y} dy. $$

	Parametrem ve smyslu úvodu je tedy vektor $\vec \theta = (a, p)$. Chceme-li spočítat průměrnou délku života (což je jedna z věcí, k modelování kterých se používá Gamma rozdělení), dostáváme
	$$ T(a, p) = \E_{\vec\theta} X = \int_0^\infty \frac{a^px^p}{\Gamma(p)} e^{-ax} dx = \frac{1}{a\Gamma(p)} \int_0^\infty y^p e^{-y}dy = \frac{\Gamma(p + 1)}{a\Gamma(p)} = \frac{p}{a}. $$
\end{example}

V dalším textu uvažujme náhodný výběr $X_1, \dots, X_n \overset{IID}\sim F \in \mathcal{F}$.

\begin{example}
	Uvažujme  $\mathcal{F} = \{F(\mu): \E_{F(\mu)} = \mu \land |\mu| < \infty$ rodinu modelů s konečnou střední hodnotou. Potom $\bar X_n$ je konzistentní a nestranný odhad $\mu$ a $X_1$ je nestranný, ale ne konzistentní odhad $\mu$.

	Dále uvažujme $\mathcal{F} = \{F(\sigma^2): \Var_{F(\sigma^2)} = \sigma^2 < \infty\}$ rodinu modelů s konečným rozptylem. Potom $\hat\sigma_n^2 = n^{-1}\sum_{i=1}^n (X_i - \bar X_n)^2$ je konzistentní, ale ne nestranný odhad $\sigma^2$ a $S_n^2 = (n - 1)^{-1} \sum_{i=1}^n (X_i - \bar X_n)^2$ je konzistentní a nestranný odhad $\sigma^2$.
\end{example}

\hfill \textit{konec 17. přednášky (15.4.2025)}

\begin{example}
	Nechť $\mathcal{F} = \{Po(\lambda), \lambda > 0\}$ a $\theta = P[X_i = 0] = e^{-\lambda}$. Potom $\hat \theta_n = n^{-1} \sum_{i=1}^n \chi_{\{X_i = 0\}}$ (relativní četnost nul v původních datech) je konzistentní a nestranný odhad $\lambda$. Zároveň také $\tilde \theta_n = \left(\frac{n-1}{n}\right)^{\sum_{i=1}^n X_i}$ je konzistentní a nestranný.

	Ukážeme si, že $\hat \theta_n$ je nestranný. Chceme dokázat, že $\E \hat\theta_n = \theta$. Můžeme psát
	$$ \E\hat\theta_n = \E\left[\frac{1}{n} \sum_{i=1}^n \chi_{\{X_i = 0\}}\right] = \frac{1}{n}\sum_{i=1}^n P[X_i = 0] = \theta. $$
	Obdobně ukážeme konzistenci tohoto odhadu, tedy, že $\hat\theta_n \to \theta$. Díky slabému zákonu velkých čísel (Věta \ref{thm-weak-lln}):
	$$ \hat\theta_n \overset P\to \E[\chi_{\{X_1 = 0\}}] = P[X_1 = 0] = \theta. $$

	Dále pro odhad $\tilde \theta_n$ můžeme psát (používáme označení $\sum_{i=1}^n X_i = Y$)
	$$\E \tilde\theta_n = \E\left(\frac{n-1}{n}\right)^{\sum_{i=1}^n X_i} = \sum_{y=1}^\infty \left(\frac{n-1}{n}\right)^y \frac{(n\lambda)^y}{y!}e^{-n\lambda} = $$
	$$ e^{-n\lambda}\sum_{y=0}^\infty \frac{[(n-1)\lambda]^y}{y!} = e^{-\lambda},$$
	kde první rovnost plyne z toho, že součet $n$ IID poissonovských náhodných veličin s parametrem $\lambda$ je opět poissonovská náhodná veličina s parametrem $n\lambda$. K důkazu konzistence zlogaritmujeme náš odhad, dostaneme
	$$ \log \tilde\theta_n = \left(\sum_{i=1}^n X_i\right)\log\frac{n -1}{n} = \bar X_n \log \left(1 - \frac{1}n\right)^n \overset P \to - \lambda. $$
	Limitní přechod jsme získali díky Slutského větě (Věta \ref{thm-slutsky}). Dále z věty o spojité transformaci (Věta \ref{thm-continuous-mapping}) aplikované na funkci $t(x) = e^x$ dostáváme, že $\tilde \theta_n \overset P \to \theta$.

	Ve speciálním případě $\theta = e^{-2\lambda}$ jediný nestranný odhad je $(-1)^{X_1}$, který ale nikdy nedosáhne přípustné hodnoty $e^{-2\lambda}$.

	Skutečně, nechť existuje nestranný odhad parametru $\theta \in (0, 1)$. Označme ho $\hat\theta_n = T(X_1, \dots, X_n)$. Z definice nestrannosti musí platit, že $\E T(X_1, \dots, X_n) = \theta$. Potom platí
	$$\theta = \E \sum_{x=0}^\infty T(x) \frac{\lambda^x}{x!}e^{-\lambda} \overset{\text{předpoklad}} = e^{-2\lambda}. $$
	Z toho však plyne, že
	$$\sum_{x=0}^\infty T(x)\frac{\lambda^x}{x!} = e^{-\lambda} = \sum_{x=0}^\infty \frac{(-\lambda)^x}{x!},$$
	a tedy $T(x) = (-1)^x$ (rovnost mocninných řad).
\end{example}

Dále se budeme věnovat takzvané momentové metodě. Jedná se o univerzální techniku získání odhadů, která však ale nemusí poskytnout ten nejlepší možný odhad. Často ji například využijeme jako startovací bod pro další iterativní numerické metody.

\begin{definition}
	Definujeme \textit{$k$-tý necentrální moment} jako
	$$\mu_k' \equiv \mu_k'(\vec \theta) = \E_{\vec \theta} X^k = \int x^k f_X(x, \vec\theta) dP_X$$
	a \textit{$k$-tý výběrový moment} jako
	$$ \hat\mu_k' = \frac{1}{n} \sum_{i=1}^n X_i^k. $$
\end{definition}

\begin{definition}
	\textit{Odhad metodou momentů $\hat{\vec\theta}_n$} je definován jako hodnota $\vec\theta$, pro kterou platí
	$$\mu_1'(\hat{\vec\theta}_n) = \hat\mu_1', \dots, \mu_d'(\hat{\vec\theta}_n) = \hat\mu_d'.$$
\end{definition}

Alternativně bychom mohli použít centrované $k$-té momenty spolu s jejich empirickými protějšky.

\begin{example}
	Nechť $X_1, \dots, X_n \overset{IID}\sim Be(p)$. Pak $\mu_1' = \E_pX_1 = p$ a $\hat\mu_1' = \bar X_n$. Rovnost těchto dvou hodnot nám dává odhad
	$$ \hat p_n = \frac{1}{n} \sum_{i=1}^n X_i = \bar X_n $$
	a je to opět stejný plug-in odhad.
\end{example}

\begin{example}
	Nechť $X_1, \dots, X_n \overset{IID}\sim N(\mu, \sigma^2)$. Pak $\mu_1' = \E_{(\mu, \sigma^2)} X_1 = \mu$ a $\mu_2' = \E_{(\mu, \sigma^2)}X_1^2 = \Var_{(\mu, sigma^2)} X_1 + (\E_{(\mu, \sigma^2)} X_1)^2 = \sigma^2 + \mu^2$. Musíme vyřešit soustavu rovnic
	\begin{align*}
		\hat\mu_n &= \frac{1}{n} \sum_{i=1}^n X_i;\\
		\hat\mu_n^2 + \hat\sigma_n^2 &= \frac{1}{n}\sum_{i=1}^n X_i^2.
	\end{align*}

	Řešením této soustavy je $\hat\mu_n = \bar X_n$ a $\hat\sigma_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar X_n)^2$.
\end{example}

Je důležité si poznamenat, že někdy si nevystačíme s prvními $d$ momenty, například, pokud je naše teoretické rozdělení symetrické okolo nuly.

\begin{example}
	Nechť $X_1, \dots, X_n \overset{IID}\sim \Gamma(a, p)$, kde
	$$ f_X(x; a, p) = \frac{a^p}{\Gamma(p)}x^{p-1}e^{-ax}, x > 0, $$
	kde $a, p > 0$ a $\Gamma(p) = \int_0^\infty y^{p-1}e^{-y}dy$ je Gamma funkce. Pak, odhady momentovou metodou
	$$ \hat a_n = \frac{\bar X_n}{\hat\sigma_n^2} \quad\text{a}\quad\hat p_n = \frac{\bar X_n^2}{\hat\sigma_n^2}$$
	jsou konzistentní a AN.

	Skutečně, máme
	\begin{align*}
		\mu_1'(a, p) &= \E_{(a, p)}X_1 = \frac{p}{a},\\
		\mu_2'(a, p) &= \E_{(a, p)}X_1^2 = \int_0^\infty x^2 \frac{a^p}{\Gamma(p)}x^{p-1}e^{-ax} = \frac{a^p\Gamma(p + 2)}{\Gamma(p)a^{p+2}} = \frac{(p+1)p}{a^2}.
	\end{align*}

	Stačí tedy vyřešit soustavu
	\begin{align*}
		\hat\mu_1' &= \frac{1}{n}\sum_{i=1}^n X_i = \mu_1'(\hat a, \hat p) = \frac{\hat p}{\hat a};\\
		\hat\mu_2' &= \frac{1}{n}\sum_{i=1}^n X_i^2 = \mu_2'(\hat a, \hat p) = \frac{(\hat p + 1)\hat p}{\hat a^2};\\
	\end{align*}

	Jejím řešením jsou právě výše uvedené odhady.
\end{example}

\hfill \textit{konec 18. přednášky (22.4.2025)}