prednaska 22.4.2025

parametricka-inference.tex

@@ -22,7 +22,89 @@ V dalším textu uvažujme náhodný výběr $X_1, \dots, X_n \overset{IID}\sim
 \begin{example}
 	Uvažujme  $\mathcal{F} = \{F(\mu): \E_{F(\mu)} = \mu \land |\mu| < \infty$ rodinu modelů s konečnou střední hodnotou. Potom $\bar X_n$ je konzistentní a nestranný odhad $\mu$ a $X_1$ je nestranný, ale ne konzistentní odhad $\mu$.
 
-	Dále uvažujme $\mathcal{F} = \{F(\sigma^2): \Var_{F(\sigma^2)} = \sigma^2 < \infty\}$ rodinu modelů s konečným rozptylem. Potom $\hat\sigma_n^2 = n^{-1}\sum_{i=1}^n (X_i - \bar X_n)^2$ je konzistentní, ale ne nestranný odhad $\sigma^2$ a $S_n^2 = (n - 1)^{-1} \sum_{i=1}^n (X_i - \bar X_n)^2)$ je konzistentní a nestranný odhad $\sigma^2$.
+	Dále uvažujme $\mathcal{F} = \{F(\sigma^2): \Var_{F(\sigma^2)} = \sigma^2 < \infty\}$ rodinu modelů s konečným rozptylem. Potom $\hat\sigma_n^2 = n^{-1}\sum_{i=1}^n (X_i - \bar X_n)^2$ je konzistentní, ale ne nestranný odhad $\sigma^2$ a $S_n^2 = (n - 1)^{-1} \sum_{i=1}^n (X_i - \bar X_n)^2$ je konzistentní a nestranný odhad $\sigma^2$.
 \end{example}
 
 \hfill \textit{konec 17. přednášky (15.4.2025)}
+
+\begin{example}
+	Nechť $\mathcal{F} = \{Po(\lambda), \lambda > 0\}$ a $\theta = P[X_i = 0] = e^{-\lambda}$. Potom $\hat \theta_n = n^{-1} \sum_{i=1}^n \chi_{\{X_i = 0\}}$ (relativní četnost nul v původních datech) je konzistentní a nestranný odhad $\lambda$. Zároveň také $\tilde \theta_n = \left(\frac{n-1}{n}\right)^{\sum_{i=1}^n X_i}$ je konzistentní a nestranný.
+
+	Ukážeme si, že $\hat \theta_n$ je nestranný. Chceme dokázat, že $\E \hat\theta_n = \theta$. Můžeme psát
+	$$ \E\hat\theta_n = \E\left[\frac{1}{n} \sum_{i=1}^n \chi_{\{X_i = 0\}}\right] = \frac{1}{n}\sum_{i=1}^n P[X_i = 0] = \theta. $$
+	Obdobně ukážeme konzistenci tohoto odhadu, tedy, že $\hat\theta_n \to \theta$. Díky slabému zákonu velkých čísel (Věta \ref{thm-weak-lln}):
+	$$ \hat\theta_n \overset P\to \E[\chi_{\{X_1 = 0\}}] = P[X_1 = 0] = \theta. $$
+
+	Dále pro odhad $\tilde \theta_n$ můžeme psát (používáme označení $\sum_{i=1}^n X_i = Y$)
+	$$\E \tilde\theta_n = \E\left(\frac{n-1}{n}\right)^{\sum_{i=1}^n X_i} = \sum_{y=1}^\infty \left(\frac{n-1}{n}\right)^y \frac{(n\lambda)^y}{y!}e^{-n\lambda} = $$
+	$$ e^{-n\lambda}\sum_{y=0}^\infty \frac{[(n-1)\lambda]^y}{y!} = e^{-\lambda},$$
+	kde první rovnost plyne z toho, že součet $n$ IID poissonovských náhodných veličin s parametrem $\lambda$ je opět poissonovská náhodná veličina s parametrem $n\lambda$. K důkazu konzistence zlogaritmujeme náš odhad, dostaneme
+	$$ \log \tilde\theta_n = \left(\sum_{i=1}^n X_i\right)\log\frac{n -1}{n} = \bar X_n \log \left(1 - \frac{1}n\right)^n \overset P \to - \lambda. $$
+	Limitní přechod jsme získali díky Slutského větě (Věta \ref{thm-slutsky}). Dále z věty o spojité transformaci (Věta \ref{thm-continuous-mapping}) aplikované na funkci $t(x) = e^x$ dostáváme, že $\tilde \theta_n \overset P \to \theta$.
+
+	Ve speciálním případě $\theta = e^{-2\lambda}$ jediný nestranný odhad je $(-1)^{X_1}$, který ale nikdy nedosáhne přípustné hodnoty $e^{-2\lambda}$.
+
+	Skutečně, nechť existuje nestranný odhad parametru $\theta \in (0, 1)$. Označme ho $\hat\theta_n = T(X_1, \dots, X_n)$. Z definice nestrannosti musí platit, že $\E T(X_1, \dots, X_n) = \theta$. Potom platí
+	$$\theta = \E \sum_{x=0}^\infty T(x) \frac{\lambda^x}{x!}e^{-\lambda} \overset{\text{předpoklad}} = e^{-2\lambda}. $$
+	Z toho však plyne, že
+	$$\sum_{x=0}^\infty T(x)\frac{\lambda^x}{x!} = e^{-\lambda} = \sum_{x=0}^\infty \frac{(-\lambda)^x}{x!},$$
+	a tedy $T(x) = (-1)^x$ (rovnost mocninných řad).
+\end{example}
+
+Dále se budeme věnovat takzvané momentové metodě. Jedná se o univerzální techniku získání odhadů, která však ale nemusí poskytnout ten nejlepší možný odhad. Často ji například využijeme jako startovací bod pro další iterativní numerické metody.
+
+\begin{definition}
+	Definujeme \textit{$k$-tý necentrální moment} jako
+	$$\mu_k' \equiv \mu_k'(\vec \theta) = \E_{\vec \theta} X^k = \int x^k f_X(x, \vec\theta) dP_X$$
+	a \textit{$k$-tý výběrový moment} jako
+	$$ \hat\mu_k' = \frac{1}{n} \sum_{i=1}^n X_i^k. $$
+\end{definition}
+
+\begin{definition}
+	\textit{Odhad metodou momentů $\hat{\vec\theta}_n$} je definován jako hodnota $\vec\theta$, pro kterou platí
+	$$\mu_1'(\hat{\vec\theta}_n) = \hat\mu_1', \dots, \mu_d'(\hat{\vec\theta}_n) = \hat\mu_d'.$$
+\end{definition}
+
+Alternativně bychom mohli použít centrované $k$-té momenty spolu s jejich empirickými protějšky.
+
+\begin{example}
+	Nechť $X_1, \dots, X_n \overset{IID}\sim Be(p)$. Pak $\mu_1' = \E_pX_1 = p$ a $\hat\mu_1' = \bar X_n$. Rovnost těchto dvou hodnot nám dává odhad
+	$$ \hat p_n = \frac{1}{n} \sum_{i=1}^n X_i = \bar X_n $$
+	a je to opět stejný plug-in odhad.
+\end{example}
+
+\begin{example}
+	Nechť $X_1, \dots, X_n \overset{IID}\sim N(\mu, \sigma^2)$. Pak $\mu_1' = \E_{(\mu, \sigma^2)} X_1 = \mu$ a $\mu_2' = \E_{(\mu, \sigma^2)}X_1^2 = \Var_{(\mu, sigma^2)} X_1 + (\E_{(\mu, \sigma^2)} X_1)^2 = \sigma^2 + \mu^2$. Musíme vyřešit soustavu rovnic
+	\begin{align*}
+		\hat\mu_n &= \frac{1}{n} \sum_{i=1}^n X_i;\\
+		\hat\mu_n^2 + \hat\sigma_n^2 &= \frac{1}{n}\sum_{i=1}^n X_i^2.
+	\end{align*}
+
+	Řešením této soustavy je $\hat\mu_n = \bar X_n$ a $\hat\sigma_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar X_n)^2$.
+\end{example}
+
+Je důležité si poznamenat, že někdy si nevystačíme s prvními $d$ momenty, například, pokud je naše teoretické rozdělení symetrické okolo nuly.
+
+\begin{example}
+	Nechť $X_1, \dots, X_n \overset{IID}\sim \Gamma(a, p)$, kde
+	$$ f_X(x; a, p) = \frac{a^p}{\Gamma(p)}x^{p-1}e^{-ax}, x > 0, $$
+	kde $a, p > 0$ a $\Gamma(p) = \int_0^\infty y^{p-1}e^{-y}dy$ je Gamma funkce. Pak, odhady momentovou metodou
+	$$ \hat a_n = \frac{\bar X_n}{\hat\sigma_n^2} \quad\text{a}\quad\hat p_n = \frac{\bar X_n^2}{\hat\sigma_n^2}$$
+	jsou konzistentní a AN.
+
+	Skutečně, máme
+	\begin{align*}
+		\mu_1'(a, p) &= \E_{(a, p)}X_1 = \frac{p}{a},\\
+		\mu_2'(a, p) &= \E_{(a, p)}X_1^2 = \int_0^\infty x^2 \frac{a^p}{\Gamma(p)}x^{p-1}e^{-ax} = \frac{a^p\Gamma(p + 2)}{\Gamma(p)a^{p+2}} = \frac{(p+1)p}{a^2}.
+	\end{align*}
+
+	Stačí tedy vyřešit soustavu
+	\begin{align*}
+		\hat\mu_1' &= \frac{1}{n}\sum_{i=1}^n X_i = \mu_1'(\hat a, \hat p) = \frac{\hat p}{\hat a};\\
+		\hat\mu_2' &= \frac{1}{n}\sum_{i=1}^n X_i^2 = \mu_2'(\hat a, \hat p) = \frac{(\hat p + 1)\hat p}{\hat a^2};\\
+	\end{align*}
+
+	Jejím řešením jsou právě výše uvedené odhady.
+\end{example}
+
+\hfill \textit{konec 18. přednášky (22.4.2025)}