nmsa202/stochasticke-konvergence.tex

\section{Stochastické konvergence}

V této kapitole budeme studovat druhy konvergence v pravděpodobnostních prostorech, které jsou často jiné, neboť náš prostor je vždy normovaný na $1$.

\begin{definition}
	Nechť $X_1, X_2, \dots$ je posloupnost náhodných veličin a nechť $X$ je jiná náhodná veličina. Nechť $F_n$ označuje distribuční funkci $X_n$ a nechť $F$ označuje distribuční funkci $X$. Potom $X_n$ \textit{konverguje k $X$ v pravděpodobnosti} (předpokládáme, že $X_i, X$ všechny ``žijí" na stejném pravděpodobnostním prostoru) , značíme $X_n \overset{P}{\underset{n \rightarrow \infty}{\longrightarrow}}$, pokud pro každé $\varepsilon > 0$,
	$$ P[|X_n - X| > \varepsilon] \overset{n \rightarrow \infty}{\rightarrow} 0. $$

	Dále $X_n$ \textit{konverguje k $X$ v distribuci}, značíme $X_n \overset{D}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
	$$ \lim_{n \rightarrow \infty} F_n(x) = F(x) $$
	pro všechna $x$ kde je $F$ spojitá.

	$X_n$ \textit{konverguje k $X$ v $L_p$} pro $p \geq 1$, značíme $X_n \overset{L^p}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
	$$ \E |X_n - X|^p \overset{n \rightarrow \infty}\rightarrow 0. $$

	$X_n$ \textit{konverguje k $X$ skoro jistě}, značíme $X_n \overset{P-s.j.}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
	$$ P[\lim_{n \rightarrow \infty} X_n = X] \equiv P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)]=1.$$
\end{definition}

\begin{theorem}[Implikace mezi typy konvergence]
	\label{thm-convergence-types}
	Platí následující implikace
	\begin{enumerate}[(i)]
		\item $X_n \overset{P-\text{s.j.}}{\longrightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
		\item pro $p \geq 1$ platí $X_n \overset{L_p}{\rightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
		\item pro $p \geq q \geq 1$ platí $X_n \overset{L_p}{\rightarrow} \implies X_n \overset{L_q}{\rightarrow} X$;
		\item $X_n \overset{P}{\rightarrow} X \implies X_n \overset{D}{\rightarrow} X$;
		\item Pokud $X_n \overset{D}{\rightarrow} X$ a $P[X = c] = 1$ pro nějaké $c \in \R$, pak $X_n \overset{P}{\rightarrow} X$.
	\end{enumerate}
\end{theorem}

\hfill \textit{konec 11. přednášky (24.3.2025)}

\begin{proof}
	Budeme dokazovat postupně každou implikaci.
	\begin{enumerate}[(i)]
		\item Mějme $\varepsilon > 0$. Pro $n \in \N$ definujeme náhodné události
			$$ A_n := \{\omega \in \Omega: \exists m \geq n: |X_m(\omega) - X(\omega)| \geq \varepsilon \};$$
			$$ B_n := \{\omega: \Omega: |X_n(\omega) - X(\omega)| \geq \varepsilon \}. $$
			Chceme ukázat, že $P(B_n) \rightarrow 0$. Víme, že $A_n \supseteq B_n$, tedy díky monotonii pravděpodobnosti stačí ukázat, že $P(A_n) \rightarrow 0$. Reálná posloupnost $\{X_m(\omega)\}_m$ je konvergentní, jestliže existuje přirozené číslo $N$ takové, že pro žádné $m \geq N$ neplatí $|X_m(\omega) - X(\omega)| \geq \varepsilon$. Potom $\lim A_n$ je jev, že posloupnost $\{X_m(\omega)\}_m$ diverguje.
			Ale dle předpokladu $X_n$ konverguje skoro jistě, tedy $P(\lim A_n) = 0$. Jelikož $A_1 \supset A_2 \supset \dots$, z věty o spojitosti míry (Věta \ref{thm-continuity}) dostáváme $P(\lim A_n) = \lim P(A_n) = 0$, čímž jsme dostali požadovanou konvergenci v pravděpodobnosti.
		\item Nechť $X_n \overset{L_p}\rightarrow X$. Podle Markovovy nerovnosti (Věta \ref{thm-markov-inequality}) platí
			$$ P(|X_n - X| \geq \varepsilon) = P(|X_n - X|^p \geq \varepsilon^p) \leq \frac{\E|X_n - X|^p}{\varepsilon^p} \rightarrow 0 $$
			pro $n \rightarrow \infty$, neboť se jedná o posloupnost čísel a chování čitatele vyplývá z předpokladu konvergence v $L_p$.
		\item Nechť $X_n \overset{L_p}\rightarrow X$ a $p \geq q \geq 1$. Dle Jensenovy nerovnosti pro konvexní funkci (Věta \ref{thm-jensen-inequality}) $g(x) := x^{p/q}$ pro $x \geq 0$ dostáváme $g(\E[|X_n - X|^q]) \leq \E[|X_n - X|^{q\cdot\frac{p}{q}}] = \E|X_n-X|^p \rightarrow 0$, kde limitní přechod plyne z předpokladu konvergence v $L_p$, tedy jsme přímo ukázali konvergenci v $L_q$.
		\item Nechť $X_n \overset{P}\rightarrow X$. Zvolme $\varepsilon > 0$ libovolně. Nechť $x \in \R$ je libovolný bod, v němž je limitní distribuční funkce $F$ spojitá. Potom můžeme psát
			\begin{multline*}
				F_n(x) = P(X_n \leq x) = P(X_n \leq x, X \leq x + \varepsilon) + P(X_n \leq x, X > x + \varepsilon) \leq\\
				P(X \leq x + \varepsilon) + P(|X_n - X| > \varepsilon) = F(x + \varepsilon) + P(|X_n - X| > \varepsilon).
			\end{multline*}
			Taktéž dostaneme
			\begin{multline*}
				F(x - \varepsilon) = P(X \leq x - \varepsilon) = P(X \leq x - \varepsilon, X_n \leq X) + \\
				P(X \leq x - \varepsilon, X_n > \varepsilon) \leq F_n(x) + P(|X_n - X| > \varepsilon).
			\end{multline*}
			Potom $F(x - \varepsilon) - P(|X_n - X| > \varepsilon) \leq F_n(x) \leq F(x + \varepsilon) + P(|X_n - X| > \varepsilon)$. Jelikož $\varepsilon > 0$ bylo voleno libovolně a $F$ je spojitá v $x$, tedy $\lim_{n\rightarrow\infty} F_n(x) = F(x)$.
		\item Nechť $X_n \overset{D}{\rightarrow} X$ a nechť $P[X = c] = 1$ pro nějaké $c \in \R$. Zvolme libovolné $\varepsilon > 0$ a můžeme počítat
			\begin{align*}
				P(|X_n - X| \geq \varepsilon) =& P(X_n \leq c - \varepsilon) + P(X_n \geq c + \varepsilon) \leq \\
				&P(X_n \leq c - \varepsilon) + P(X_n > c + \frac{\varepsilon}{2}) \leq \\
				&F_n(c - \varepsilon) + 1 - F_n(c + \frac{\varepsilon}{2}) \overset{n \rightarrow \infty}\longrightarrow 0 + 1 - 1 = 0,
			\end{align*}
			čímž jsme dokončili důkaz této věty.
	\end{enumerate}
\end{proof}

Uvedeme si několik protipříkladů, na kterých si ukážeme, že implikace opačné k právě uvedeným nemusí platit.

\begin{example}
	Ukážeme, že konvergence v pravděpodobnosti neimplikuje konvergenci skoro jistě. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
	$$ X_{2^n + m}(\omega) = \chi_{\{\omega \in (m2^{-n}, (m + 1)2^{-n}]\}}, \omega \in [0, 1]. $$

	Například, protože $33 = 2^5 + 1$, dostaneme $X_{33}(\omega) = \chi_{\{ \omega \in (2^{-5}, 2^{-4}] \}}$. Pak pro každé $\varepsilon \in (0, 1)$ dostaneme $P[|X_{2^n + m}| > \varepsilon] = 2^{-n} \rightarrow 0$ pro $n \rightarrow \infty$. Tedy $X_n \overset{P}\rightarrow 0$. Avšak pro každé $\omega \in (0, 1]$, $X_j(\omega) = 1$ a $X_j(\omega) = 0$ pro nekonečně mnoho různých $j$ a tedy posloupnost $X_n$ nekonverguje skoro jistě.
\end{example}

\begin{example}
	Ukážeme, že konvergence v pravděpodobnosti neimplikuje konvergenci v $L_p$. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
	$$ X_{2^n + m}(\omega) = 2^n \chi_{\{\omega \in ((m-1)2^{-n}, m2^{-n}]\}}, \omega \in [0, 1]. $$

	Pak opět pro každé $\varepsilon \in (0, 1)$ dostaneme $P[|X_{2^n + m}| > \varepsilon] = 2^{-n} \rightarrow 0$. Tedy $X_n \overset{P}\rightarrow 0$. Nicméně, $\E |X_{2^n + m} - 0| = 2^n P[X_{2^n + m} = 2^n] = 2^n2^{-n} = 1$ a tedy posloupnost nekonverguje v $L_1$, tedy to nemůže konvergovat ani v vyšších $L_p, p > 1$.
\end{example}

\begin{example}
	Ukážeme, že konvergence v $L_q$ neimplikuje konvergenci v $L_p$ pro $p > q \geq 1$. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
	$$ X_{2^n + m}(\omega) = 2^{n/2} \chi_{\{\omega \in ((m-1)2^{-n}, m2^{-n}]\}}, \omega \in [0, 1]. $$

	Pak $\E |X_{2^n + m} - 0| = 2^{n/2} P[X_{2^n + m} = 2^n] = 2^{n/2}2^{-n}$ a tedy posloupnost konverguje v $L_1$.
	Nicméně, pro $p = 2$ máme $\E |X_{2^n + m} - 0|^2 = 2^{2(n/2)}2^{-n} = 1$ tedy posloupnost nekonverguje v $L_2$.
\end{example}

\begin{example}
	Ukážeme, že konvergence v distribuci neimplikuje konvergenci v pravděpodobnosti. Nechť $X \sim N(0, 1)$ a $X_n := -X, n \in \N$. Tedy $X_n \sim N(0, 1)$ pro každé $n \in \N$. Tedy triviálně $\lim F_n(x) = F(x)$ pro všechna $x \in \R$. Tedy $X_n \overset{D}\rightarrow X$.

	Nicméně, $P[|X_n - X| > \varepsilon] = P[|2X| > \varepsilon] = P[|X| > \varepsilon/2] \neq 0$ (nezávislé na $n$), tedy posloupnost $X_n$ nekonverguje v pravděpodobnosti.
\end{example}

\begin{theorem}[o spojitém zobrazení (CMT)]
	\label{thm-continuous-mapping}
	Nechť $\vec{X}, \vec{X}_1, \vec{X}_2, \dots$ jsou $d$-rozměrné náhodné vektory a $g: \R^d \rightarrow \R^m$ je spojitá v každém bodě množiny $C$ takové, že $P[\vec{X} \in C] = 1$.
	Potom platí
	\begin{itemize}
		\item $\vec{X_n} \overset{P-s.j.}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{P-s.j.}\longrightarrow g(\vec{X})$;
		\item $\vec{X_n} \overset{P}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{P}\longrightarrow g(\vec{X})$;
		\item $\vec{X_n} \overset{D}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{D}\longrightarrow g(\vec{X})$.
	\end{itemize}
\end{theorem}

\begin{proof}
	Dokážeme pouze první dvě vlastnosti. Nejdříve, nechť $X_n$ konverguje skoro jistě, potom ze spojitosti $g$ máme, že vlastnost $\lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)$ implikuje $\lim_{n\rightarrow \infty} g(X_n(\omega)) = g(X(\omega))$. Potom $P[\omega\in\Omega: \lim_{n\rightarrow \infty} g(X_n(\omega)) = g(X(\omega))] = P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)] = 1$, přičemž poslední rovnost plyne z definice konvergence skoro jistě.

	K důkazu druhé vlastnosti zvolme $\varepsilon > 0$. Potom uvažujme pro libovolné $\delta > 0$ množinu
	$$ B_\delta := \{ x \in \R: \exists y \in \R: |x - y| < \delta \land |g(x) - g(y)| \geq \varepsilon \}. $$

	\hfill \textit{konec 12. přednášky (25.3.2025)}

	Zřejmě $B_\delta \to \emptyset$ pro $\delta \to 0^+$. Potom můžeme psát
	$$ P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon) = P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon \cap |\vec X_n - \vec X| \geq \delta) + $$
	$$ P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon \cap |\vec X_n - \vec X| < \delta) \leq P(|\vec X_n - X| \geq \delta) + P(\vec X \in B_\delta). $$
	Jelikož $\delta$ bylo voleno libovolně, platí $P(\vec X \in B_\delta) \overset{\delta \to 0}\to 0$ a $P(|\vec X_n - \vec X| \geq \delta) \overset{n \to 0} \to 0$, čímž jsme dokázali konvergenci v pravděpodobnosti.
\end{proof}

Poznámka: z $\vec{X}_n \overset{L_p}\to \vec{X}$ nutně neplyne $g(\vec{X}_n) \overset{L_p}\to g(\vec{X})$.

Dalším významným tvrzením teorie pravděpodobnosti je takzvaná Slutského věta (v anglické literatuře se také používá název Cramer-Slutského věta).

\begin{theorem}[Slutského věta]
	\label{thm-slutsky}
	Pokud $X_n \overset{D}\to X$ a $Y_n \overset P \to c \in \R$, pak $X_n + Y_n \overset D \to X + c$ a $X_nY_n \overset D \to cX$.
\end{theorem}

\begin{proof}
	Dokážeme pouze výrok pro součet, část pro součin se dokáže analogicky.

	Mějme $x \in \R$ bod, v němž je spojitá distribuční funkce veličiny $X + c$. Potom $x - c$ je nutně bodem spojitosti distribuční funkce $F_X$. Zvolme $\eta > 0$. Potom existuje $\varepsilon_0 > 0$ takové, že $|F_X(x - c) - F_X(x - c - \varepsilon)| < \frac{\eta}{3}$ pro každé $|\varepsilon| < \varepsilon_0$.

	Jelikož $F_X$ je distribuční funkce, má nejvýše spočetně mnoho bodů nespojitosti. Dokážeme tuto vlastnost. Nechť tedy $D$ je množina bodů nespojitosti $F_X$. Pak $\forall y \in D: F_X(y_-) < F_X(y^+)$, tedy existuje racionální číslo $q_y \in \mathbb{Q}$ takové, že $F_X(y_-) < q_y < F_X(y^+)$. Jelikož $F_X$ je neklesající, pak $y \neq z \in D \implies q_y \neq q_z$. Tedy zobrazení $y \mapsto q_y$ je prosté.

	Z toho máme, že v každém okolí bodu $x - c$ můžeme nalézt vlevo i vpravo od $x - c$ nějaký bod, v němž je $F_X$ spojitá. Z definice spojitosti existuje $0 < \varepsilon < \varepsilon_0$ takové, že $F_X$ je spojitá v $x - c + \varepsilon$ i v $x - c - \varepsilon$. Potom
	$$ P(X_n + Y_n \leq x) = P(X_n + Y_n \leq x \cap |Y_n - c| < \varepsilon) + P(X_n + Y_n \leq x \cap |Y_n - c| \geq \varepsilon) \leq $$
	$$ P(X_n + c \leq x + \varepsilon \cap |Y_n - c| < \varepsilon) + P(|Y_n -c| \geq \varepsilon) \leq $$
	$$ P(X_n \leq x - c + \varepsilon) + P(|Y_n - c| \geq \varepsilon).$$

	Jelikož $F_X$ je spojitá v bodě $x - c + \varepsilon$ a $Y_n \overset P \to c$, existuje $n_1 \in \N$ takové, že pro všechna $n \geq n_1$ platí $P(X_n \leq x - c + \varepsilon) \leq P(X_n \leq x - c) + \frac{\eta}{3}$ a zároveň $P(|Y_n - c| \geq \varepsilon) \leq \frac{\eta}{3}$. Dohromady pro $n \geq n_1$ máme
	$$ P(X_n + Y_n \leq x) \leq P(X \leq x - c + \varepsilon) + \frac{2}{3}\eta \leq P(X \leq x - c) + \eta. $$
	Opačná nerovnost se dokáže analogicky. Pro $n \geq \max\{n_1, n_2\}$ dohromady máme
	$$ P(X + c \leq x) - \eta \leq P(X_n + Y_n \leq x) \leq P(X + c \leq x) + \eta. $$
	Jelikož $\eta > 0$ bylo voleno libovolně, věta je dokázaná.
\end{proof}

Z této věty okamžitě plyne následující důsledek (neboť konvergence v pravděpodobnosti implikuje konvergenci v distribuci, viz Věta \ref{thm-convergence-types}, vlastnosti (iv) a (v)).

\begin{corollary}
	Pokud $x_n \overset P \to a \in \R$ a $Y_n \overset P b \in \R$, potom $X_n + Y_n \overset P \to a + b$ a $X_nY_n \overset P \to ab$.
\end{corollary}

Ještě budeme potřebovat následující větu, která ekvivalentně charakterizuje konvergenci v distribuci, její důkaz je však aktuálně nad naše schopnosti.

\begin{theorem}[Levyho věta o spojitosti]
	Platí $\vec X_n \overset D \to \vec X \Leftrightarrow \varphi_{\vec X_n}(\vec t) \to \varphi_{\vec X}(\vec t)$ pro všechna $\vec t \in \R^d$.
\end{theorem}

Ukážeme si explicitní vyjádření charakteristické funkce normálního rozdělení.

\begin{example}
	Nechť $X \sim N(\mu, \sigma^2)$. Potom platí
	$$\varphi_X(t) = \exp\left\{i\mu t - \frac{1}{2}\sigma^2 t^2\right\}.$$
\end{example}

\begin{proof}
	Nejdříve uvažujme $X \sim N(0, 1)$ standardní normální rozdělení. Potom
	$$ \varphi_X(t) = \E[\exp\{itx\}] = \E[\cos(tx)] + i\E[\sin(tx)] = $$
	$$ \int_{-\infty}^\infty \cos(tx)dP_X + i \int_{-\infty}^\infty \sin(tx)dP_X = \E[\cos(tX)], $$
	kde poslední rovnost plyne z faktu, že $\sin$ je lichá funkce, a tedy příslušný integrál je nulový.
	Zderivujeme $\varphi_X(t)$ s použitím majoranty $x$.
	$$ \odv*{\varphi_X(t)}{t} = - \int_{-\infty}^\infty x \sin(tx) dP_X = -\int_{-\infty}^\infty x \sin(tx) \frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{x^2}{2}\right\} dx = $$
	$$ \overset{p.p.}= [x\sin(tx)f_X(x)]^\infty_{-\infty} - \int_{-\infty}^\infty t\cos(tx)f_X(x) dx = -t\E[\cos(tX)]. $$

	Dostali jsme, že $\odv*{\varphi_X(t)}{t} = -t\varphi_X(t)$. Tato diferenciální rovnice s počáteční podmínkou $\varphi_X(0) = \cos 0 = 1$ má jediné řešení $\varphi_X(t) = \exp\left\{-\frac{t^2}{2}\right\}$.

	Potom pro $Y = \mu + \sigma X$ ($Y \sim N(\mu, \sigma^2)$) dosadíme a aplikujeme výsledek pro standardní rozdělení, dostaneme
	$$ \varphi_Y(t) = \E[\exp\{itY\}] = E[\exp\{it(\mu + \sigma X\}) = $$
	$$ \exp\{it\mu\}\cdot\E[\exp\{i(t\sigma)X\} = \exp\left\{it\mu - \frac{1}{2}\sigma^2 t^2\right\}. $$
\end{proof}

\hfill \textit{konec 13. přednášky (31.3.2025)}