115 lines
9.8 KiB
TeX
115 lines
9.8 KiB
TeX
\section{Stochastické konvergence}
|
|
|
|
V této kapitole budeme studovat druhy konvergence v pravděpodobnostních prostorech, které jsou často jiné, neboť náš prostor je vždy normovaný na $1$.
|
|
|
|
\begin{definition}
|
|
Nechť $X_1, X_2, \dots$ je posloupnost náhodných veličin a nechť $X$ je jiná náhodná veličina. Nechť $F_n$ označuje distribuční funkci $X_n$ a nechť $F$ označuje distribuční funkci $X$. Potom $X_n$ \textit{konverguje k $X$ v pravděpodobnosti} (předpokládáme, že $X_i, X$ všechny ``žijí" na stejném pravděpodobnostním prostoru) , značíme $X_n \overset{P}{\underset{n \rightarrow \infty}{\longrightarrow}}$, pokud pro každé $\varepsilon > 0$,
|
|
$$ P[|X_n - X| > \varepsilon] \overset{n \rightarrow \infty}{\rightarrow} 0. $$
|
|
|
|
Dále $X_n$ \textit{konverguje k $X$ v distribuci}, značíme $X_n \overset{D}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
|
|
$$ \lim_{n \rightarrow \infty} F_n(x) = F(x) $$
|
|
pro všechna $x$ kde je $F$ spojitá.
|
|
|
|
$X_n$ \textit{konverguje k $X$ v $L_p$} pro $p \geq 1$, značíme $X_n \overset{L^p}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
|
|
$$ \E |X_n - X|^p \overset{n \rightarrow \infty}\rightarrow 0. $$
|
|
|
|
$X_n$ \textit{konverguje k $X$ skoro jistě}, značíme $X_n \overset{P-s.j.}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
|
|
$$ P[\lim_{n \rightarrow \infty} X_n = X] \equiv P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)]=1.$$
|
|
\end{definition}
|
|
|
|
\begin{theorem}[Implikace mezi typy konvergence]
|
|
Platí následující implikace
|
|
\begin{enumerate}[(i)]
|
|
\item $X_n \overset{P-\text{s.j.}}{\longrightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
|
|
\item pro $p \geq 1$ platí $X_n \overset{L_p}{\rightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
|
|
\item pro $p \geq q \geq 1$ platí $X_n \overset{L_p}{\rightarrow} \implies X_n \overset{L_q}{\rightarrow} X$;
|
|
\item $X_n \overset{P}{\rightarrow} X \implies X_n \overset{D}{\rightarrow} X$;
|
|
\item Pokud $X_n \overset{D}{\rightarrow} X$ a $P[X = c] = 1$ pro nějaké $c \in \R$, pak $X_n \overset{P}{\rightarrow} X$.
|
|
\end{enumerate}
|
|
\end{theorem}
|
|
|
|
\hfill \textit{konec 11. přednášky (24.3.2025)}
|
|
|
|
\begin{proof}
|
|
Budeme dokazovat postupně každou implikaci.
|
|
\begin{enumerate}[(i)]
|
|
\item Mějme $\varepsilon > 0$. Pro $n \in \N$ definujeme náhodné události
|
|
$$ A_n := \{\omega \in \Omega: \exists m \geq n: |X_m(\omega) - X(\omega)| \geq \varepsilon \};$$
|
|
$$ B_n := \{\omega: \Omega: |X_n(\omega) - X(\omega)| \geq \varepsilon \}. $$
|
|
Chceme ukázat, že $P(B_n) \rightarrow 0$. Víme, že $A_n \supseteq B_n$, tedy díky monotonii pravděpodobnosti stačí ukázat, že $P(A_n) \rightarrow 0$. Reálná posloupnost $\{X_m(\omega)\}_m$ je konvergentní, jestliže existuje přirozené číslo $N$ takové, že pro žádné $m \geq N$ neplatí $|X_m(\omega) - X(\omega)| \geq \varepsilon$. Potom $\lim A_n$ je jev, že posloupnost $\{X_m(\omega)\}_m$ diverguje.
|
|
Ale dle předpokladu $X_n$ konverguje skoro jistě, tedy $P(\lim A_n) = 0$. Jelikož $A_1 \supset A_2 \supset \dots$, z věty o spojitosti míry (Věta \ref{thm-continuity}) dostáváme $P(\lim A_n) = \lim P(A_n) = 0$, čímž jsme dostali požadovanou konvergenci v pravděpodobnosti.
|
|
\item Nechť $X_n \overset{L_p}\rightarrow X$. Podle Markovovy nerovnosti (Věta \ref{thm-markov-inequality}) platí
|
|
$$ P(|X_n - X| \geq \varepsilon) = P(|X_n - X|^p \geq \varepsilon^p) \leq \frac{\E|X_n - X|^p}{\varepsilon^p} \rightarrow 0 $$
|
|
pro $n \rightarrow \infty$, neboť se jedná o posloupnost čísel a chování čitatele vyplývá z předpokladu konvergence v $L_p$.
|
|
\item Nechť $X_n \overset{L_p}\rightarrow X$ a $p \geq q \geq 1$. Dle Jensenovy nerovnosti pro konvexní funkci (Věta \ref{thm-jensen-inequality}) $g(x) := x^{p/q}$ pro $x \geq 0$ dostáváme $g(\E[|X_n - X|^q]) \leq \E[|X_n - X|^{q\cdot\frac{p}{q}}] = \E|X_n-X|^p \rightarrow 0$, kde limitní přechod plyne z předpokladu konvergence v $L_p$, tedy jsme přímo ukázali konvergenci v $L_q$.
|
|
\item Nechť $X_n \overset{P}\rightarrow X$. Zvolme $\varepsilon > 0$ libovolně. Nechť $x \in \R$ je libovolný bod, v němž je limitní distribuční funkce $F$ spojitá. Potom můžeme psát
|
|
\begin{multline*}
|
|
F_n(x) = P(X_n \leq x) = P(X_n \leq x, X \leq x + \varepsilon) + P(X_n \leq x, X > x + \varepsilon) \leq\\
|
|
P(X \leq x + \varepsilon) + P(|X_n - X| > \varepsilon) = F(x + \varepsilon) + P(|X_n - X| > \varepsilon).
|
|
\end{multline*}
|
|
Taktéž dostaneme
|
|
\begin{multline*}
|
|
F(x - \varepsilon) = P(X \leq x - \varepsilon) = P(X \leq x - \varepsilon, X_n \leq X) + \\
|
|
P(X \leq x - \varepsilon, X_n > \varepsilon) \leq F_n(x) + P(|X_n - X| > \varepsilon).
|
|
\end{multline*}
|
|
Potom $F(x - \varepsilon) - P(|X_n - X| > \varepsilon) \leq F_n(x) \leq F(x + \varepsilon) + P(|X_n - X| > \varepsilon)$. Jelikož $\varepsilon > 0$ bylo voleno libovolně a $F$ je spojitá v $x$, tedy $\lim_{n\rightarrow\infty} F_n(x) = F(x)$.
|
|
\item Nechť $X_n \overset{D}{\rightarrow} X$ a nechť $P[X = c] = 1$ pro nějaké $c \in \R$. Zvolme libovolné $\varepsilon > 0$ a můžeme počítat
|
|
\begin{align*}
|
|
P(|X_n - X| \geq \varepsilon) =& P(X_n \leq c - \varepsilon) + P(X_n \geq c + \varepsilon) \leq \\
|
|
&P(X_n \leq c - \varepsilon) + P(X_n > c + \frac{\varepsilon}{2}) \leq \\
|
|
&F_n(c - \varepsilon) + 1 - F_n(c + \frac{\varepsilon}{2}) \overset{n \rightarrow \infty}\longrightarrow 0 + 1 - 1 = 0,
|
|
\end{align*}
|
|
čímž jsme dokončili důkaz této věty.
|
|
\end{enumerate}
|
|
\end{proof}
|
|
|
|
Uvedeme si několik protipříkladů, na kterých si ukážeme, že implikace opačné k právě uvedeným nemusí platit.
|
|
|
|
\begin{example}
|
|
Ukážeme, že konvergence v pravděpodobnosti neimplikuje konvergenci skoro jistě. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
|
|
$$ X_{2^n + m}(\omega) = \chi_{\{\omega \in (m2^{-n}, (m + 1)2^{-n}]\}}, \omega \in [0, 1]. $$
|
|
|
|
Například, protože $33 = 2^5 + 1$, dostaneme $X_{33}(\omega) = \chi_{\{ \omega \in (2^{-5}, 2^{-4}] \}}$. Pak pro každé $\varepsilon \in (0, 1)$ dostaneme $P[|X_{2^n + m}| > \varepsilon] = 2^{-n} \rightarrow 0$ pro $n \rightarrow \infty$. Tedy $X_n \overset{P}\rightarrow 0$. Avšak pro každé $\omega \in (0, 1]$, $X_j(\omega) = 1$ a $X_j(\omega) = 0$ pro nekonečně mnoho různých $j$ a tedy posloupnost $X_n$ nekonverguje skoro jistě.
|
|
\end{example}
|
|
|
|
\begin{example}
|
|
Ukážeme, že konvergence v pravděpodobnosti neimplikuje konvergenci v $L_p$. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
|
|
$$ X_{2^n + m}(\omega) = 2^n \chi_{\{\omega \in ((m-1)2^{-n}, m2^{-n}]\}}, \omega \in [0, 1]. $$
|
|
|
|
Pak opět pro každé $\varepsilon \in (0, 1)$ dostaneme $P[|X_{2^n + m}| > \varepsilon] = 2^{-n} \rightarrow 0$. Tedy $X_n \overset{P}\rightarrow 0$. Nicméně, $\E |X_{2^n + m} - 0| = 2^n P[X_{2^n + m} = 2^n] = 2^n2^{-n} = 1$ a tedy posloupnost nekonverguje v $L_1$, tedy to nemůže konvergovat ani v vyšších $L_p, p > 1$.
|
|
\end{example}
|
|
|
|
\begin{example}
|
|
Ukážeme, že konvergence v $L_q$ neimplikuje konvergenci v $L_p$ pro $p > q \geq 1$. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
|
|
$$ X_{2^n + m}(\omega) = 2^{n/2} \chi_{\{\omega \in ((m-1)2^{-n}, m2^{-n}]\}}, \omega \in [0, 1]. $$
|
|
|
|
Pak $\E |X_{2^n + m} - 0| = 2^{n/2} P[X_{2^n + m} = 2^n] = 2^{n/2}2^{-n}$ a tedy posloupnost konverguje v $L_1$.
|
|
Nicméně, pro $p = 2$ máme $\E |X_{2^n + m} - 0|^2 = 2^{2(n/2)}2^{-n} = 1$ tedy posloupnost nekonverguje v $L_2$.
|
|
\end{example}
|
|
|
|
\begin{example}
|
|
Ukážeme, že konvergence v distribuci neimplikuje konvergenci v pravděpodobnosti. Nechť $X \sim N(0, 1)$ a $X_n := -X, n \in \N$. Tedy $X_n \sim N(0, 1)$ pro každé $n \in \N$. Tedy triviálně $\lim F_n(x) = F(x)$ pro všechna $x \in \R$. Tedy $X_n \overset{D}\rightarrow X$.
|
|
|
|
Nicméně, $P[|X_n - X| > \varepsilon] = P[|2X| > \varepsilon] = P[|X| > \varepsilon/2] \neq 0$ (nezávislé na $n$), tedy posloupnost $X_n$ nekonverguje v pravděpodobnosti.
|
|
\end{example}
|
|
|
|
\begin{theorem}[o spojitém zobrazení (CMT)]
|
|
\label{thm-continuous-mapping}
|
|
Nechť $\vec{X}, \vec{X}_1, \vec{X}_2, \dots$ jsou $d$-rozměrné náhodné vektory a $g: \R^d \rightarrow \R^m$ je spojitá v každém bodě množiny $C$ takové, že $P[\vec{X} \in C] = 1$.
|
|
Potom platí
|
|
\begin{itemize}
|
|
\item $\vec{X_n} \overset{P-s.j.}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{P-s.j.}\longrightarrow g(\vec{X})$;
|
|
\item $\vec{X_n} \overset{P}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{P}\longrightarrow g(\vec{X})$;
|
|
\item $\vec{X_n} \overset{D}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{D}\longrightarrow g(\vec{X})$.
|
|
\end{itemize}
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Dokážeme pouze první dvě vlastnosti. Nejdříve, nechť $X_n$ konverguje skoro jistě, potom ze spojitosti $g$ máme, že vlastnost $\lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)$ implikuje $\lim_{n\rightarrow \infty} g(X_n(\omega)) = g(X(\omega))$. Potom $P[\omega\in\Omega: \lim_{n\rightarrow \infty} g(X_n(\omega)) = g(X(\omega))] = P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)] = 1$, přičemž poslední rovnost plyne z definice konvergence skoro jistě.
|
|
|
|
K důkazu druhé vlastnosti zvolme $\varepsilon > 0$. Potom uvažujme pro libovolné $\delta > 0$ množinu
|
|
$$ B_\delta := \{ x \in \R: \exists y \in \R: |x - y| < \delta \land |g(x) - g(y)| \geq \varepsilon \}. $$
|
|
|
|
\hfill \textit{konec 12. přednášky (25.3.2025)}
|
|
|
|
\end{proof}
|