prednaska 1.4.2025

stochasticke-konvergence.tex

@@ -155,7 +155,8 @@ Z této věty okamžitě plyne následující důsledek (neboť konvergence v pr
 
 Ještě budeme potřebovat následující větu, která ekvivalentně charakterizuje konvergenci v distribuci, její důkaz je však aktuálně nad naše schopnosti.
 
-\begin{theorem}[Levyho věta o spojitosti]
+\begin{theorem}[Lévyho věta o spojitosti]
+	\label{thm-levy}
 	Platí $\vec X_n \overset D \to \vec X \Leftrightarrow \varphi_{\vec X_n}(\vec t) \to \varphi_{\vec X}(\vec t)$ pro všechna $\vec t \in \R^d$.
 \end{theorem}
 
@@ -183,3 +184,88 @@ Ukážeme si explicitní vyjádření charakteristické funkce normálního rozd
 \end{proof}
 
 \hfill \textit{konec 13. přednášky (31.3.2025)}
+
+\begin{definition}
+	\textit{Posloupností nezávislých náhodných veličin} rozumíme posloupnost náhodných veličin $\{X_n\}_{n \in \N}$ takovou, že pro každou $J \subset \N$, $|J| < \infty$ a všechna $\{x_j\}_{j \in J}$ platí
+	$$ F_{\{X_j\}_{j \in J}}(\{x_j\}_{j \in J}) = \prod_{j \in J} F_{X_j}(x_j). $$
+\end{definition}
+
+\begin{definition}
+		$\{X_n\}_{n \in \N}$ je \textit{posloupnost nezávislých stejně rozdělených náhodných veličin (IID)}, jestliže to je posloupnost nezávislých náhodných veličin majících stejnou distribuční funkci.
+\end{definition}
+
+Tyto definice lze celkem snadno přepsat i pro náhodné vektory (cvičení).
+
+\begin{theorem}[Slabý zákon velkých čísel]
+	\label{thm-weak-lln}
+	Jestliže $\{X_n\}_{n \in \N}$ je IID posloupnost náhodných veličin a $\E |X_1| < \infty$, pak
+	$$\bar{X}_n := \frac{1}{n} \sum_{i=1}^n X_i \overset P {\underset {n\to\infty} \to} \E X_1. $$
+\end{theorem}
+
+\begin{proof}
+	Rozvineme komplexní exponenciálu do Taylorova rozvoje do prvního řádu. Platí $e^{ity} = 1 + ity + o(t)$ pro všechna $y \in \R$. Potom $\E[e^{itY}] = 1 + it\E Y + o(t)$.
+	Dále můžeme počítat
+	$$ \varphi_{\bar X_n}(t) = \varphi_{\frac{1}{n} \sum X_i}(t) = \varphi_{\frac{\sum X_i}{n}}(t) = \left(\varphi_{\frac{X_1}{n}}(t)\right)^n = \left(\varphi_{X_1}\left(\frac t n\right)\right)^n = $$
+	$$ \left(\E[e^{\frac{itX_1}n}]\right)^n = \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n.$$
+	Pro $n \to \infty$ dále máme
+	$$ \lim_{n \to \infty} \varphi_{\bar X_n}(t) = \lim_{n \to \infty} \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n = \lim_{n\to\infty} (\E[e^{it\E X_1 / n}])^n = $$
+	$$ \lim_{n\to\infty} (e^{it\E X_1 / n})^n = e^{it\E X_1} = \varphi_{\E X_1}(t). $$
+	Z Lévyho věty (Věta \ref{thm-levy}) tedy dostáváme konvergenci $\bar X_n \overset D \to \E X_1$ v distribuci. Dále využijeme faktu, že jestliže posloupnost konverguje v distribuci ke konstantě, potom máme i konvergenci v pravděpodobnosti, čímž je důkaz ukončen.
+\end{proof}
+
+Jestliže konvergenci v pravděpodobnosti nahradíme konvergencí skoro jistě, dostaneme silný zákon velkých čísel. Jeho důkaz je však nad rámec tohoto kurzu. Kdybychom předpokládali, že $\Var X_1 < \infty$, pak tvrzení plyne okamžitě z Čebyševovy nerovnosti (Věta \ref{thm-chebyshev}).
+
+\begin{theorem}[Centrální limitní věta]
+	\label{thm-central-limit-theorem}
+	Pokud $\{X_n\}_{n \in \N}$ je posloupnost IID náhodných veličin s $\E X_1^2 < \infty$ a $\Var X_1 > 0$, pak
+	$$ Z_n := \sqrt{n} \frac{\bar X_n - \E X_1}{\sqrt{\Var X_1}} \overset D \to Z \sim N(0, 1). $$
+	Jinými slovy, pro všechna $x \in \R$,
+	$$ \lim_{n \to \infty} P[Z_n \leq x] = \Phi(x) \equiv \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} e^{\frac{-t^2}{2}} dt. $$
+	Zkráceně tedy máme $Z_n \overset D {\underset {n\to\infty} \to} N(0, 1)$.
+\end{theorem}
+
+\begin{proof}
+	Tentokrát budeme potřebovat rozvoj exponenciály do druhého řádu. Je tedy $e^{ity} = 1 + ity + \frac{(ity)^2}{2} + o(t^2)$. Potom také
+	$\E[e^{itY}] = 1 + it\E Y - \frac{t^2}{2}\E Y^2 + o(t^2)$.
+
+	Definujme $Y_n := \frac{(X_n - \E X_1)}{\sqrt{\Var X_1}}$. Pak $\E Y_n = 0, \Var Y_n = 1$ a platí
+	$$\frac{1}{\sqrt{n}} \sum_{i = 1}^n Y_i = \sqrt{n} \left(\frac{1}{n} \sum_{i=1}^n Y_i\right) = \sqrt{n}\bar Y_n = \sqrt{n}\frac{\bar X_n -\E X_1}{\sqrt{\Var X_1}} =: Z_n$$
+	pro každé $n \in \N$. Dále můžeme počítat
+	$$ \varphi_{Z_n}(t) = \varphi_{\sum_{i=1}^n \frac{1}{\sqrt{n}} Y_i} (t) = \left(\varphi_{\frac{Y_1}{\sqrt{n}}}(t)\right)^n = \left(\varphi_{Y_1} \frac{t}{\sqrt{n}}\right)^n = $$
+	$$ \left(1 + \frac{it}{\sqrt{n}}\E Y_1 - \frac{t^2}{2n} \E Y_1^2 + o\left(\frac{t^2}{n}\right)\right)^n = \left(1 - \frac{t^2}{2n} + o\left(\frac{t^2}{n}\right)\right)^n,$$
+	neboť $\E Y_1 = 0$ a $\E Y_1^2 = \Var Y_1 = 1$.
+	Jelikož $e^y = \lim_{n \to \infty} \left( 1 + \frac{y}{n}\right)^n$, dostáváme
+	$$ \lim_{n \to \infty} \varphi_{Z_n}^t = \lim_{n\to\infty}\left(1 - \frac{t^2}{2n}\right)^n = e^{-\frac{1}{2}t^2} = \varphi_Z(t), $$
+	kde $Z \sim N(0, 1)$. Z Lévyho věty (Věta \ref{thm-levy}) je konvergence charakteristických funkcí ekvivalentní konvergenci v distribuci, čímž je důkaz ukončen.
+\end{proof}
+
+Následující věta nám umožní zformulovat mnohorozměrnou verzi centrální limitní věty.
+
+\begin{theorem}[Cramér-Woldova věta]
+	Platí $\vec X_n \overset D \to X$ právě tehdy, když pro všechna $\vec t \in \R^d$ platí $\vec t^T \vec X_n \overset D \to \vec t^T \vec X$.
+\end{theorem}
+
+\begin{proof}
+	Důkaz plyne okamžitě z Věty \ref{thm-levy} a spojitosti lineárních zobrazení.
+\end{proof}
+
+\begin{theorem}[Mnohorozměrná CLT]
+	Pokud $\{\vec X_n\}_{n \in \N}$ je IID posloupnost $d$-rozměrných náhodných vektorů s pozitivně definitní varianční-kovarianční maticí $\Var \vec X_1$, pak
+	$$ \sqrt{n}(\bar {\vec X }_n - \E \vec X_1) \overset D \to N_d(\vec 0, \Var \vec X_1), n \to \infty. $$
+\end{theorem}
+
+\begin{theorem}[Delta metoda]
+	Pokud $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$ a $g$ je spojitě diferencovatelná v okolí $\mu$ taková, že $g'(\mu) \neq 0$, pak
+	$$ \sqrt{n}(g(Y_n) - g(\mu)) \overset D \to N(0, (g'(\mu))^2\sigma^2). $$
+\end{theorem}
+
+\begin{proof}
+	Podle věty o střední hodnotě dostáváme $g(Y_n) = g(\mu) + g'(\tilde \mu)(Y_n - \mu)$, kde $\tilde \mu$ leží mezi $Y_n$ a $\mu$. Když $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$, potom $Y_n - \mu \overset D \to 0$. Pak tedy i $Y_n - \mu \overset P \to 0$. Jelikož $|\tilde \mu - \mu | \leq |Y_n - \mu|$, musí platit, že $\tilde \mu - \mu \overset P \to 0$. Dle věty o spojitém zobrazení (Věta \ref{thm-continuous-mapping}) dostáváme $g'(\tilde \mu) \overset P \to g(\mu)$ (předpokládáme spojitost $g'$).
+
+	Dále můžeme dosadit $\sqrt{n}[g(Y_n) - g(\mu)] = g'(\tilde\mu)\sqrt{n}(Y_n - \mu)$. Nakonec, ze Slutského věty (Věta \ref{thm-slutsky}) máme (využili jsme předpoklad, že $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$)
+	$$ \sqrt{n}[g(Y_n) - g(\mu)] \overset D \to N(0, [g'(\mu)]^2 \sigma^2). $$
+\end{proof}
+
+Obdobně se dá zformulovat i mnohorozměrná delta-metoda (za předpokladu nenulovosti jakobiánu $g$).
+
+\hfill \textit{konec 14. přednášky (1.4.2025)}

stochasticke-nerovnosti.tex

@@ -28,6 +28,7 @@ V této kapitole budeme studovat užitečné nerovnosti, které budeme moci apli
 \end{proof}
 
 \begin{theorem}[Čebyševova nerovnost]
+	\label{thm-chebyshev}
 	Nechť $X$ je náhodná veličina a předpokládejme, že $\E[X]$ existuje, potom pro každé $\varepsilon > 0$ platí
 	$$ P[|X - \E X| \geq \varepsilon] \leq \frac{\Var[X]}{\varepsilon^2}. $$
 \end{theorem}