\section{Stochastické konvergence}

V této kapitole budeme studovat druhy konvergence v pravděpodobnostních prostorech, které jsou často jiné, neboť náš prostor je vždy normovaný na $1$.

\begin{definition}
	Nechť $X_1, X_2, \dots$ je posloupnost náhodných veličin a nechť $X$ je jiná náhodná veličina. Nechť $F_n$ označuje distribuční funkci $X_n$ a nechť $F$ označuje distribuční funkci $X$. Potom $X_n$ \textit{konverguje k $X$ v pravděpodobnosti} (předpokládáme, že $X_i, X$ všechny ``žijí" na stejném pravděpodobnostním prostoru) , značíme $X_n \overset{P}{\underset{n \rightarrow \infty}{\longrightarrow}}$, pokud pro každé $\varepsilon > 0$,
	$$ P[|X_n - X| > \varepsilon] \overset{n \rightarrow \infty}{\rightarrow} 0. $$

	Dále $X_n$ \textit{konverguje k $X$ v distribuci}, značíme $X_n \overset{D}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
	$$ \lim_{n \rightarrow \infty} F_n(x) = F(x) $$
	pro všechna $x$ kde je $F$ spojitá.

	$X_n$ \textit{konverguje k $X$ v $L_p$} pro $p \geq 1$, značíme $X_n \overset{L^p}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
	$$ \E |X_n - X|^p \overset{n \rightarrow \infty}\rightarrow 0. $$

	$X_n$ \textit{konverguje k $X$ skoro jistě}, značíme $X_n \overset{P-s.j.}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
	$$ P[\lim_{n \rightarrow \infty} X_n = X] \equiv P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)]=1.$$
\end{definition}

\begin{theorem}[Implikace mezi typy konvergence]
	\label{thm-convergence-types}
	Platí následující implikace
	\begin{enumerate}[(i)]
		\item $X_n \overset{P-\text{s.j.}}{\longrightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
		\item pro $p \geq 1$ platí $X_n \overset{L_p}{\rightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
		\item pro $p \geq q \geq 1$ platí $X_n \overset{L_p}{\rightarrow} \implies X_n \overset{L_q}{\rightarrow} X$;
		\item $X_n \overset{P}{\rightarrow} X \implies X_n \overset{D}{\rightarrow} X$;
		\item Pokud $X_n \overset{D}{\rightarrow} X$ a $P[X = c] = 1$ pro nějaké $c \in \R$, pak $X_n \overset{P}{\rightarrow} X$.
	\end{enumerate}
\end{theorem}

\hfill \textit{konec 11. přednášky (24.3.2025)}

\begin{proof}
	Budeme dokazovat postupně každou implikaci.
	\begin{enumerate}[(i)]
		\item Mějme $\varepsilon > 0$. Pro $n \in \N$ definujeme náhodné události
			$$ A_n := \{\omega \in \Omega: \exists m \geq n: |X_m(\omega) - X(\omega)| \geq \varepsilon \};$$
			$$ B_n := \{\omega: \Omega: |X_n(\omega) - X(\omega)| \geq \varepsilon \}. $$
			Chceme ukázat, že $P(B_n) \rightarrow 0$. Víme, že $A_n \supseteq B_n$, tedy díky monotonii pravděpodobnosti stačí ukázat, že $P(A_n) \rightarrow 0$. Reálná posloupnost $\{X_m(\omega)\}_m$ je konvergentní, jestliže existuje přirozené číslo $N$ takové, že pro žádné $m \geq N$ neplatí $|X_m(\omega) - X(\omega)| \geq \varepsilon$. Potom $\lim A_n$ je jev, že posloupnost $\{X_m(\omega)\}_m$ diverguje.
			Ale dle předpokladu $X_n$ konverguje skoro jistě, tedy $P(\lim A_n) = 0$. Jelikož $A_1 \supset A_2 \supset \dots$, z věty o spojitosti míry (Věta \ref{thm-continuity}) dostáváme $P(\lim A_n) = \lim P(A_n) = 0$, čímž jsme dostali požadovanou konvergenci v pravděpodobnosti.
		\item Nechť $X_n \overset{L_p}\rightarrow X$. Podle Markovovy nerovnosti (Věta \ref{thm-markov-inequality}) platí
			$$ P(|X_n - X| \geq \varepsilon) = P(|X_n - X|^p \geq \varepsilon^p) \leq \frac{\E|X_n - X|^p}{\varepsilon^p} \rightarrow 0 $$
			pro $n \rightarrow \infty$, neboť se jedná o posloupnost čísel a chování čitatele vyplývá z předpokladu konvergence v $L_p$.
		\item Nechť $X_n \overset{L_p}\rightarrow X$ a $p \geq q \geq 1$. Dle Jensenovy nerovnosti pro konvexní funkci (Věta \ref{thm-jensen-inequality}) $g(x) := x^{p/q}$ pro $x \geq 0$ dostáváme $g(\E[|X_n - X|^q]) \leq \E[|X_n - X|^{q\cdot\frac{p}{q}}] = \E|X_n-X|^p \rightarrow 0$, kde limitní přechod plyne z předpokladu konvergence v $L_p$, tedy jsme přímo ukázali konvergenci v $L_q$.
		\item Nechť $X_n \overset{P}\rightarrow X$. Zvolme $\varepsilon > 0$ libovolně. Nechť $x \in \R$ je libovolný bod, v němž je limitní distribuční funkce $F$ spojitá. Potom můžeme psát
			\begin{multline*}
				F_n(x) = P(X_n \leq x) = P(X_n \leq x, X \leq x + \varepsilon) + P(X_n \leq x, X > x + \varepsilon) \leq\\
				P(X \leq x + \varepsilon) + P(|X_n - X| > \varepsilon) = F(x + \varepsilon) + P(|X_n - X| > \varepsilon).
			\end{multline*}
			Taktéž dostaneme
			\begin{multline*}
				F(x - \varepsilon) = P(X \leq x - \varepsilon) = P(X \leq x - \varepsilon, X_n \leq X) + \\
				P(X \leq x - \varepsilon, X_n > \varepsilon) \leq F_n(x) + P(|X_n - X| > \varepsilon).
			\end{multline*}
			Potom $F(x - \varepsilon) - P(|X_n - X| > \varepsilon) \leq F_n(x) \leq F(x + \varepsilon) + P(|X_n - X| > \varepsilon)$. Jelikož $\varepsilon > 0$ bylo voleno libovolně a $F$ je spojitá v $x$, tedy $\lim_{n\rightarrow\infty} F_n(x) = F(x)$.
		\item Nechť $X_n \overset{D}{\rightarrow} X$ a nechť $P[X = c] = 1$ pro nějaké $c \in \R$. Zvolme libovolné $\varepsilon > 0$ a můžeme počítat
			\begin{align*}
				P(|X_n - X| \geq \varepsilon) =& P(X_n \leq c - \varepsilon) + P(X_n \geq c + \varepsilon) \leq \\
				&P(X_n \leq c - \varepsilon) + P(X_n > c + \frac{\varepsilon}{2}) \leq \\
				&F_n(c - \varepsilon) + 1 - F_n(c + \frac{\varepsilon}{2}) \overset{n \rightarrow \infty}\longrightarrow 0 + 1 - 1 = 0,
			\end{align*}
			čímž jsme dokončili důkaz této věty.
	\end{enumerate}
\end{proof}

Uvedeme si několik protipříkladů, na kterých si ukážeme, že implikace opačné k právě uvedeným nemusí platit.

\begin{example}
	Ukážeme, že konvergence v pravděpodobnosti neimplikuje konvergenci skoro jistě. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
	$$ X_{2^n + m}(\omega) = \chi_{\{\omega \in (m2^{-n}, (m + 1)2^{-n}]\}}, \omega \in [0, 1]. $$

	Například, protože $33 = 2^5 + 1$, dostaneme $X_{33}(\omega) = \chi_{\{ \omega \in (2^{-5}, 2^{-4}] \}}$. Pak pro každé $\varepsilon \in (0, 1)$ dostaneme $P[|X_{2^n + m}| > \varepsilon] = 2^{-n} \rightarrow 0$ pro $n \rightarrow \infty$. Tedy $X_n \overset{P}\rightarrow 0$. Avšak pro každé $\omega \in (0, 1]$, $X_j(\omega) = 1$ a $X_j(\omega) = 0$ pro nekonečně mnoho různých $j$ a tedy posloupnost $X_n$ nekonverguje skoro jistě.
\end{example}

\begin{example}
	Ukážeme, že konvergence v pravděpodobnosti neimplikuje konvergenci v $L_p$. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
	$$ X_{2^n + m}(\omega) = 2^n \chi_{\{\omega \in ((m-1)2^{-n}, m2^{-n}]\}}, \omega \in [0, 1]. $$

	Pak opět pro každé $\varepsilon \in (0, 1)$ dostaneme $P[|X_{2^n + m}| > \varepsilon] = 2^{-n} \rightarrow 0$. Tedy $X_n \overset{P}\rightarrow 0$. Nicméně, $\E |X_{2^n + m} - 0| = 2^n P[X_{2^n + m} = 2^n] = 2^n2^{-n} = 1$ a tedy posloupnost nekonverguje v $L_1$, tedy to nemůže konvergovat ani v vyšších $L_p, p > 1$.
\end{example}

\begin{example}
	Ukážeme, že konvergence v $L_q$ neimplikuje konvergenci v $L_p$ pro $p > q \geq 1$. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
	$$ X_{2^n + m}(\omega) = 2^{n/2} \chi_{\{\omega \in ((m-1)2^{-n}, m2^{-n}]\}}, \omega \in [0, 1]. $$

	Pak $\E |X_{2^n + m} - 0| = 2^{n/2} P[X_{2^n + m} = 2^n] = 2^{n/2}2^{-n}$ a tedy posloupnost konverguje v $L_1$.
	Nicméně, pro $p = 2$ máme $\E |X_{2^n + m} - 0|^2 = 2^{2(n/2)}2^{-n} = 1$ tedy posloupnost nekonverguje v $L_2$.
\end{example}

\begin{example}
	Ukážeme, že konvergence v distribuci neimplikuje konvergenci v pravděpodobnosti. Nechť $X \sim N(0, 1)$ a $X_n := -X, n \in \N$. Tedy $X_n \sim N(0, 1)$ pro každé $n \in \N$. Tedy triviálně $\lim F_n(x) = F(x)$ pro všechna $x \in \R$. Tedy $X_n \overset{D}\rightarrow X$.

	Nicméně, $P[|X_n - X| > \varepsilon] = P[|2X| > \varepsilon] = P[|X| > \varepsilon/2] \neq 0$ (nezávislé na $n$), tedy posloupnost $X_n$ nekonverguje v pravděpodobnosti.
\end{example}

\begin{theorem}[o spojitém zobrazení (CMT)]
	\label{thm-continuous-mapping}
	Nechť $\vec{X}, \vec{X}_1, \vec{X}_2, \dots$ jsou $d$-rozměrné náhodné vektory a $g: \R^d \rightarrow \R^m$ je spojitá v každém bodě množiny $C$ takové, že $P[\vec{X} \in C] = 1$.
	Potom platí
	\begin{itemize}
		\item $\vec{X_n} \overset{P-s.j.}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{P-s.j.}\longrightarrow g(\vec{X})$;
		\item $\vec{X_n} \overset{P}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{P}\longrightarrow g(\vec{X})$;
		\item $\vec{X_n} \overset{D}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{D}\longrightarrow g(\vec{X})$.
	\end{itemize}
\end{theorem}

\begin{proof}
	Dokážeme pouze první dvě vlastnosti. Nejdříve, nechť $X_n$ konverguje skoro jistě, potom ze spojitosti $g$ máme, že vlastnost $\lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)$ implikuje $\lim_{n\rightarrow \infty} g(X_n(\omega)) = g(X(\omega))$. Potom $P[\omega\in\Omega: \lim_{n\rightarrow \infty} g(X_n(\omega)) = g(X(\omega))] = P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)] = 1$, přičemž poslední rovnost plyne z definice konvergence skoro jistě.

	K důkazu druhé vlastnosti zvolme $\varepsilon > 0$. Potom uvažujme pro libovolné $\delta > 0$ množinu
	$$ B_\delta := \{ x \in \R: \exists y \in \R: |x - y| < \delta \land |g(x) - g(y)| \geq \varepsilon \}. $$

	\hfill \textit{konec 12. přednášky (25.3.2025)}

	Zřejmě $B_\delta \to \emptyset$ pro $\delta \to 0^+$. Potom můžeme psát
	$$ P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon) = P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon \cap |\vec X_n - \vec X| \geq \delta) + $$
	$$ P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon \cap |\vec X_n - \vec X| < \delta) \leq P(|\vec X_n - X| \geq \delta) + P(\vec X \in B_\delta). $$
	Jelikož $\delta$ bylo voleno libovolně, platí $P(\vec X \in B_\delta) \overset{\delta \to 0}\to 0$ a $P(|\vec X_n - \vec X| \geq \delta) \overset{n \to 0} \to 0$, čímž jsme dokázali konvergenci v pravděpodobnosti.
\end{proof}

Poznámka: z $\vec{X}_n \overset{L_p}\to \vec{X}$ nutně neplyne $g(\vec{X}_n) \overset{L_p}\to g(\vec{X})$.

Dalším významným tvrzením teorie pravděpodobnosti je takzvaná Slutského věta (v anglické literatuře se také používá název Cramer-Slutského věta).

\begin{theorem}[Slutského věta]
	\label{thm-slutsky}
	Pokud $X_n \overset{D}\to X$ a $Y_n \overset P \to c \in \R$, pak $X_n + Y_n \overset D \to X + c$ a $X_nY_n \overset D \to cX$.
\end{theorem}

\begin{proof}
	Dokážeme pouze výrok pro součet, část pro součin se dokáže analogicky.

	Mějme $x \in \R$ bod, v němž je spojitá distribuční funkce veličiny $X + c$. Potom $x - c$ je nutně bodem spojitosti distribuční funkce $F_X$. Zvolme $\eta > 0$. Potom existuje $\varepsilon_0 > 0$ takové, že $|F_X(x - c) - F_X(x - c - \varepsilon)| < \frac{\eta}{3}$ pro každé $|\varepsilon| < \varepsilon_0$.

	Jelikož $F_X$ je distribuční funkce, má nejvýše spočetně mnoho bodů nespojitosti. Dokážeme tuto vlastnost. Nechť tedy $D$ je množina bodů nespojitosti $F_X$. Pak $\forall y \in D: F_X(y_-) < F_X(y^+)$, tedy existuje racionální číslo $q_y \in \mathbb{Q}$ takové, že $F_X(y_-) < q_y < F_X(y^+)$. Jelikož $F_X$ je neklesající, pak $y \neq z \in D \implies q_y \neq q_z$. Tedy zobrazení $y \mapsto q_y$ je prosté.

	Z toho máme, že v každém okolí bodu $x - c$ můžeme nalézt vlevo i vpravo od $x - c$ nějaký bod, v němž je $F_X$ spojitá. Z definice spojitosti existuje $0 < \varepsilon < \varepsilon_0$ takové, že $F_X$ je spojitá v $x - c + \varepsilon$ i v $x - c - \varepsilon$. Potom
	$$ P(X_n + Y_n \leq x) = P(X_n + Y_n \leq x \cap |Y_n - c| < \varepsilon) + P(X_n + Y_n \leq x \cap |Y_n - c| \geq \varepsilon) \leq $$
	$$ P(X_n + c \leq x + \varepsilon \cap |Y_n - c| < \varepsilon) + P(|Y_n -c| \geq \varepsilon) \leq $$
	$$ P(X_n \leq x - c + \varepsilon) + P(|Y_n - c| \geq \varepsilon).$$

	Jelikož $F_X$ je spojitá v bodě $x - c + \varepsilon$ a $Y_n \overset P \to c$, existuje $n_1 \in \N$ takové, že pro všechna $n \geq n_1$ platí $P(X_n \leq x - c + \varepsilon) \leq P(X_n \leq x - c) + \frac{\eta}{3}$ a zároveň $P(|Y_n - c| \geq \varepsilon) \leq \frac{\eta}{3}$. Dohromady pro $n \geq n_1$ máme
	$$ P(X_n + Y_n \leq x) \leq P(X \leq x - c + \varepsilon) + \frac{2}{3}\eta \leq P(X \leq x - c) + \eta. $$
	Opačná nerovnost se dokáže analogicky. Pro $n \geq \max\{n_1, n_2\}$ dohromady máme
	$$ P(X + c \leq x) - \eta \leq P(X_n + Y_n \leq x) \leq P(X + c \leq x) + \eta. $$
	Jelikož $\eta > 0$ bylo voleno libovolně, věta je dokázaná.
\end{proof}

Z této věty okamžitě plyne následující důsledek (neboť konvergence v pravděpodobnosti implikuje konvergenci v distribuci, viz Věta \ref{thm-convergence-types}, vlastnosti (iv) a (v)).

\begin{corollary}
	Pokud $x_n \overset P \to a \in \R$ a $Y_n \overset P b \in \R$, potom $X_n + Y_n \overset P \to a + b$ a $X_nY_n \overset P \to ab$.
\end{corollary}

Ještě budeme potřebovat následující větu, která ekvivalentně charakterizuje konvergenci v distribuci, její důkaz je však aktuálně nad naše schopnosti.

\begin{theorem}[Lévyho věta o spojitosti]
	\label{thm-levy}
	Platí $\vec X_n \overset D \to \vec X \Leftrightarrow \varphi_{\vec X_n}(\vec t) \to \varphi_{\vec X}(\vec t)$ pro všechna $\vec t \in \R^d$.
\end{theorem}

Ukážeme si explicitní vyjádření charakteristické funkce normálního rozdělení.

\begin{example}
	Nechť $X \sim N(\mu, \sigma^2)$. Potom platí
	$$\varphi_X(t) = \exp\left\{i\mu t - \frac{1}{2}\sigma^2 t^2\right\}.$$
\end{example}

\begin{proof}
	Nejdříve uvažujme $X \sim N(0, 1)$ standardní normální rozdělení. Potom
	$$ \varphi_X(t) = \E[\exp\{itx\}] = \E[\cos(tx)] + i\E[\sin(tx)] = $$
	$$ \int_{-\infty}^\infty \cos(tx)dP_X + i \int_{-\infty}^\infty \sin(tx)dP_X = \E[\cos(tX)], $$
	kde poslední rovnost plyne z faktu, že $\sin$ je lichá funkce, a tedy příslušný integrál je nulový.
	Zderivujeme $\varphi_X(t)$ s použitím majoranty $x$.
	$$ \odv*{\varphi_X(t)}{t} = - \int_{-\infty}^\infty x \sin(tx) dP_X = -\int_{-\infty}^\infty x \sin(tx) \frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{x^2}{2}\right\} dx = $$
	$$ \overset{p.p.}= [x\sin(tx)f_X(x)]^\infty_{-\infty} - \int_{-\infty}^\infty t\cos(tx)f_X(x) dx = -t\E[\cos(tX)]. $$

	Dostali jsme, že $\odv*{\varphi_X(t)}{t} = -t\varphi_X(t)$. Tato diferenciální rovnice s počáteční podmínkou $\varphi_X(0) = \cos 0 = 1$ má jediné řešení $\varphi_X(t) = \exp\left\{-\frac{t^2}{2}\right\}$.

	Potom pro $Y = \mu + \sigma X$ ($Y \sim N(\mu, \sigma^2)$) dosadíme a aplikujeme výsledek pro standardní rozdělení, dostaneme
	$$ \varphi_Y(t) = \E[\exp\{itY\}] = E[\exp\{it(\mu + \sigma X\}) = $$
	$$ \exp\{it\mu\}\cdot\E[\exp\{i(t\sigma)X\} = \exp\left\{it\mu - \frac{1}{2}\sigma^2 t^2\right\}. $$
\end{proof}

\hfill \textit{konec 13. přednášky (31.3.2025)}

\begin{definition}
	\textit{Posloupností nezávislých náhodných veličin} rozumíme posloupnost náhodných veličin $\{X_n\}_{n \in \N}$ takovou, že pro každou $J \subset \N$, $|J| < \infty$ a všechna $\{x_j\}_{j \in J}$ platí
	$$ F_{\{X_j\}_{j \in J}}(\{x_j\}_{j \in J}) = \prod_{j \in J} F_{X_j}(x_j). $$
\end{definition}

\begin{definition}
		$\{X_n\}_{n \in \N}$ je \textit{posloupnost nezávislých stejně rozdělených náhodných veličin (IID)}, jestliže to je posloupnost nezávislých náhodných veličin majících stejnou distribuční funkci.
\end{definition}

Tyto definice lze celkem snadno přepsat i pro náhodné vektory (cvičení).

\begin{theorem}[Slabý zákon velkých čísel]
	\label{thm-weak-lln}
	Jestliže $\{X_n\}_{n \in \N}$ je IID posloupnost náhodných veličin a $\E |X_1| < \infty$, pak
	$$\bar{X}_n := \frac{1}{n} \sum_{i=1}^n X_i \overset P {\underset {n\to\infty} \to} \E X_1. $$
\end{theorem}

\begin{proof}
	Rozvineme komplexní exponenciálu do Taylorova rozvoje do prvního řádu. Platí $e^{ity} = 1 + ity + o(t)$ pro všechna $y \in \R$. Potom $\E[e^{itY}] = 1 + it\E Y + o(t)$.
	Dále můžeme počítat
	$$ \varphi_{\bar X_n}(t) = \varphi_{\frac{1}{n} \sum X_i}(t) = \varphi_{\frac{\sum X_i}{n}}(t) = \left(\varphi_{\frac{X_1}{n}}(t)\right)^n = \left(\varphi_{X_1}\left(\frac t n\right)\right)^n = $$
	$$ \left(\E[e^{\frac{itX_1}n}]\right)^n = \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n.$$
	Pro $n \to \infty$ dále máme
	$$ \lim_{n \to \infty} \varphi_{\bar X_n}(t) = \lim_{n \to \infty} \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n = \lim_{n\to\infty} (\E[e^{it\E X_1 / n}])^n = $$
	$$ \lim_{n\to\infty} (e^{it\E X_1 / n})^n = e^{it\E X_1} = \varphi_{\E X_1}(t). $$
	Z Lévyho věty (Věta \ref{thm-levy}) tedy dostáváme konvergenci $\bar X_n \overset D \to \E X_1$ v distribuci. Dále využijeme faktu, že jestliže posloupnost konverguje v distribuci ke konstantě, potom máme i konvergenci v pravděpodobnosti, čímž je důkaz ukončen.
\end{proof}

Jestliže konvergenci v pravděpodobnosti nahradíme konvergencí skoro jistě, dostaneme silný zákon velkých čísel. Jeho důkaz je však nad rámec tohoto kurzu. Kdybychom předpokládali, že $\Var X_1 < \infty$, pak tvrzení plyne okamžitě z Čebyševovy nerovnosti (Věta \ref{thm-chebyshev}).

\begin{theorem}[Centrální limitní věta]
	\label{thm-central-limit-theorem}
	Pokud $\{X_n\}_{n \in \N}$ je posloupnost IID náhodných veličin s $\E X_1^2 < \infty$ a $\Var X_1 > 0$, pak
	$$ Z_n := \sqrt{n} \frac{\bar X_n - \E X_1}{\sqrt{\Var X_1}} \overset D \to Z \sim N(0, 1). $$
	Jinými slovy, pro všechna $x \in \R$,
	$$ \lim_{n \to \infty} P[Z_n \leq x] = \Phi(x) \equiv \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} e^{\frac{-t^2}{2}} dt. $$
	Zkráceně tedy máme $Z_n \overset D {\underset {n\to\infty} \to} N(0, 1)$.
\end{theorem}

\begin{proof}
	Tentokrát budeme potřebovat rozvoj exponenciály do druhého řádu. Je tedy $e^{ity} = 1 + ity + \frac{(ity)^2}{2} + o(t^2)$. Potom také
	$\E[e^{itY}] = 1 + it\E Y - \frac{t^2}{2}\E Y^2 + o(t^2)$.

	Definujme $Y_n := \frac{(X_n - \E X_1)}{\sqrt{\Var X_1}}$. Pak $\E Y_n = 0, \Var Y_n = 1$ a platí
	$$\frac{1}{\sqrt{n}} \sum_{i = 1}^n Y_i = \sqrt{n} \left(\frac{1}{n} \sum_{i=1}^n Y_i\right) = \sqrt{n}\bar Y_n = \sqrt{n}\frac{\bar X_n -\E X_1}{\sqrt{\Var X_1}} =: Z_n$$
	pro každé $n \in \N$. Dále můžeme počítat
	$$ \varphi_{Z_n}(t) = \varphi_{\sum_{i=1}^n \frac{1}{\sqrt{n}} Y_i} (t) = \left(\varphi_{\frac{Y_1}{\sqrt{n}}}(t)\right)^n = \left(\varphi_{Y_1} \frac{t}{\sqrt{n}}\right)^n = $$
	$$ \left(1 + \frac{it}{\sqrt{n}}\E Y_1 - \frac{t^2}{2n} \E Y_1^2 + o\left(\frac{t^2}{n}\right)\right)^n = \left(1 - \frac{t^2}{2n} + o\left(\frac{t^2}{n}\right)\right)^n,$$
	neboť $\E Y_1 = 0$ a $\E Y_1^2 = \Var Y_1 = 1$.
	Jelikož $e^y = \lim_{n \to \infty} \left( 1 + \frac{y}{n}\right)^n$, dostáváme
	$$ \lim_{n \to \infty} \varphi_{Z_n}^t = \lim_{n\to\infty}\left(1 - \frac{t^2}{2n}\right)^n = e^{-\frac{1}{2}t^2} = \varphi_Z(t), $$
	kde $Z \sim N(0, 1)$. Z Lévyho věty (Věta \ref{thm-levy}) je konvergence charakteristických funkcí ekvivalentní konvergenci v distribuci, čímž je důkaz ukončen.
\end{proof}

Následující věta nám umožní zformulovat mnohorozměrnou verzi centrální limitní věty.

\begin{theorem}[Cramér-Woldova věta]
	Platí $\vec X_n \overset D \to X$ právě tehdy, když pro všechna $\vec t \in \R^d$ platí $\vec t^T \vec X_n \overset D \to \vec t^T \vec X$.
\end{theorem}

\begin{proof}
	Důkaz plyne okamžitě z Věty \ref{thm-levy} a spojitosti lineárních zobrazení.
\end{proof}

\begin{theorem}[Mnohorozměrná CLT]
	Pokud $\{\vec X_n\}_{n \in \N}$ je IID posloupnost $d$-rozměrných náhodných vektorů s pozitivně definitní varianční-kovarianční maticí $\Var \vec X_1$, pak
	$$ \sqrt{n}(\bar {\vec X }_n - \E \vec X_1) \overset D \to N_d(\vec 0, \Var \vec X_1), n \to \infty. $$
\end{theorem}

\begin{theorem}[Delta metoda]
	Pokud $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$ a $g$ je spojitě diferencovatelná v okolí $\mu$ taková, že $g'(\mu) \neq 0$, pak
	$$ \sqrt{n}(g(Y_n) - g(\mu)) \overset D \to N(0, (g'(\mu))^2\sigma^2). $$
\end{theorem}

\begin{proof}
	Podle věty o střední hodnotě dostáváme $g(Y_n) = g(\mu) + g'(\tilde \mu)(Y_n - \mu)$, kde $\tilde \mu$ leží mezi $Y_n$ a $\mu$. Když $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$, potom $Y_n - \mu \overset D \to 0$. Pak tedy i $Y_n - \mu \overset P \to 0$. Jelikož $|\tilde \mu - \mu | \leq |Y_n - \mu|$, musí platit, že $\tilde \mu - \mu \overset P \to 0$. Dle věty o spojitém zobrazení (Věta \ref{thm-continuous-mapping}) dostáváme $g'(\tilde \mu) \overset P \to g(\mu)$ (předpokládáme spojitost $g'$).

	Dále můžeme dosadit $\sqrt{n}[g(Y_n) - g(\mu)] = g'(\tilde\mu)\sqrt{n}(Y_n - \mu)$. Nakonec, ze Slutského věty (Věta \ref{thm-slutsky}) máme (využili jsme předpoklad, že $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$)
	$$ \sqrt{n}[g(Y_n) - g(\mu)] \overset D \to N(0, [g'(\mu)]^2 \sigma^2). $$
\end{proof}

Obdobně se dá zformulovat i mnohorozměrná delta-metoda (za předpokladu nenulovosti jakobiánu $g$).

\hfill \textit{konec 14. přednášky (1.4.2025)}