271 lines
21 KiB
TeX
271 lines
21 KiB
TeX
\section{Stochastické konvergence}
|
|
|
|
V této kapitole budeme studovat druhy konvergence v pravděpodobnostních prostorech, které jsou často jiné, neboť náš prostor je vždy normovaný na $1$.
|
|
|
|
\begin{definition}
|
|
Nechť $X_1, X_2, \dots$ je posloupnost náhodných veličin a nechť $X$ je jiná náhodná veličina. Nechť $F_n$ označuje distribuční funkci $X_n$ a nechť $F$ označuje distribuční funkci $X$. Potom $X_n$ \textit{konverguje k $X$ v pravděpodobnosti} (předpokládáme, že $X_i, X$ všechny ``žijí" na stejném pravděpodobnostním prostoru) , značíme $X_n \overset{P}{\underset{n \rightarrow \infty}{\longrightarrow}}$, pokud pro každé $\varepsilon > 0$,
|
|
$$ P[|X_n - X| > \varepsilon] \overset{n \rightarrow \infty}{\rightarrow} 0. $$
|
|
|
|
Dále $X_n$ \textit{konverguje k $X$ v distribuci}, značíme $X_n \overset{D}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
|
|
$$ \lim_{n \rightarrow \infty} F_n(x) = F(x) $$
|
|
pro všechna $x$ kde je $F$ spojitá.
|
|
|
|
$X_n$ \textit{konverguje k $X$ v $L_p$} pro $p \geq 1$, značíme $X_n \overset{L^p}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
|
|
$$ \E |X_n - X|^p \overset{n \rightarrow \infty}\rightarrow 0. $$
|
|
|
|
$X_n$ \textit{konverguje k $X$ skoro jistě}, značíme $X_n \overset{P-s.j.}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
|
|
$$ P[\lim_{n \rightarrow \infty} X_n = X] \equiv P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)]=1.$$
|
|
\end{definition}
|
|
|
|
\begin{theorem}[Implikace mezi typy konvergence]
|
|
\label{thm-convergence-types}
|
|
Platí následující implikace
|
|
\begin{enumerate}[(i)]
|
|
\item $X_n \overset{P-\text{s.j.}}{\longrightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
|
|
\item pro $p \geq 1$ platí $X_n \overset{L_p}{\rightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
|
|
\item pro $p \geq q \geq 1$ platí $X_n \overset{L_p}{\rightarrow} \implies X_n \overset{L_q}{\rightarrow} X$;
|
|
\item $X_n \overset{P}{\rightarrow} X \implies X_n \overset{D}{\rightarrow} X$;
|
|
\item Pokud $X_n \overset{D}{\rightarrow} X$ a $P[X = c] = 1$ pro nějaké $c \in \R$, pak $X_n \overset{P}{\rightarrow} X$.
|
|
\end{enumerate}
|
|
\end{theorem}
|
|
|
|
\hfill \textit{konec 11. přednášky (24.3.2025)}
|
|
|
|
\begin{proof}
|
|
Budeme dokazovat postupně každou implikaci.
|
|
\begin{enumerate}[(i)]
|
|
\item Mějme $\varepsilon > 0$. Pro $n \in \N$ definujeme náhodné události
|
|
$$ A_n := \{\omega \in \Omega: \exists m \geq n: |X_m(\omega) - X(\omega)| \geq \varepsilon \};$$
|
|
$$ B_n := \{\omega: \Omega: |X_n(\omega) - X(\omega)| \geq \varepsilon \}. $$
|
|
Chceme ukázat, že $P(B_n) \rightarrow 0$. Víme, že $A_n \supseteq B_n$, tedy díky monotonii pravděpodobnosti stačí ukázat, že $P(A_n) \rightarrow 0$. Reálná posloupnost $\{X_m(\omega)\}_m$ je konvergentní, jestliže existuje přirozené číslo $N$ takové, že pro žádné $m \geq N$ neplatí $|X_m(\omega) - X(\omega)| \geq \varepsilon$. Potom $\lim A_n$ je jev, že posloupnost $\{X_m(\omega)\}_m$ diverguje.
|
|
Ale dle předpokladu $X_n$ konverguje skoro jistě, tedy $P(\lim A_n) = 0$. Jelikož $A_1 \supset A_2 \supset \dots$, z věty o spojitosti míry (Věta \ref{thm-continuity}) dostáváme $P(\lim A_n) = \lim P(A_n) = 0$, čímž jsme dostali požadovanou konvergenci v pravděpodobnosti.
|
|
\item Nechť $X_n \overset{L_p}\rightarrow X$. Podle Markovovy nerovnosti (Věta \ref{thm-markov-inequality}) platí
|
|
$$ P(|X_n - X| \geq \varepsilon) = P(|X_n - X|^p \geq \varepsilon^p) \leq \frac{\E|X_n - X|^p}{\varepsilon^p} \rightarrow 0 $$
|
|
pro $n \rightarrow \infty$, neboť se jedná o posloupnost čísel a chování čitatele vyplývá z předpokladu konvergence v $L_p$.
|
|
\item Nechť $X_n \overset{L_p}\rightarrow X$ a $p \geq q \geq 1$. Dle Jensenovy nerovnosti pro konvexní funkci (Věta \ref{thm-jensen-inequality}) $g(x) := x^{p/q}$ pro $x \geq 0$ dostáváme $g(\E[|X_n - X|^q]) \leq \E[|X_n - X|^{q\cdot\frac{p}{q}}] = \E|X_n-X|^p \rightarrow 0$, kde limitní přechod plyne z předpokladu konvergence v $L_p$, tedy jsme přímo ukázali konvergenci v $L_q$.
|
|
\item Nechť $X_n \overset{P}\rightarrow X$. Zvolme $\varepsilon > 0$ libovolně. Nechť $x \in \R$ je libovolný bod, v němž je limitní distribuční funkce $F$ spojitá. Potom můžeme psát
|
|
\begin{multline*}
|
|
F_n(x) = P(X_n \leq x) = P(X_n \leq x, X \leq x + \varepsilon) + P(X_n \leq x, X > x + \varepsilon) \leq\\
|
|
P(X \leq x + \varepsilon) + P(|X_n - X| > \varepsilon) = F(x + \varepsilon) + P(|X_n - X| > \varepsilon).
|
|
\end{multline*}
|
|
Taktéž dostaneme
|
|
\begin{multline*}
|
|
F(x - \varepsilon) = P(X \leq x - \varepsilon) = P(X \leq x - \varepsilon, X_n \leq X) + \\
|
|
P(X \leq x - \varepsilon, X_n > \varepsilon) \leq F_n(x) + P(|X_n - X| > \varepsilon).
|
|
\end{multline*}
|
|
Potom $F(x - \varepsilon) - P(|X_n - X| > \varepsilon) \leq F_n(x) \leq F(x + \varepsilon) + P(|X_n - X| > \varepsilon)$. Jelikož $\varepsilon > 0$ bylo voleno libovolně a $F$ je spojitá v $x$, tedy $\lim_{n\rightarrow\infty} F_n(x) = F(x)$.
|
|
\item Nechť $X_n \overset{D}{\rightarrow} X$ a nechť $P[X = c] = 1$ pro nějaké $c \in \R$. Zvolme libovolné $\varepsilon > 0$ a můžeme počítat
|
|
\begin{align*}
|
|
P(|X_n - X| \geq \varepsilon) =& P(X_n \leq c - \varepsilon) + P(X_n \geq c + \varepsilon) \leq \\
|
|
&P(X_n \leq c - \varepsilon) + P(X_n > c + \frac{\varepsilon}{2}) \leq \\
|
|
&F_n(c - \varepsilon) + 1 - F_n(c + \frac{\varepsilon}{2}) \overset{n \rightarrow \infty}\longrightarrow 0 + 1 - 1 = 0,
|
|
\end{align*}
|
|
čímž jsme dokončili důkaz této věty.
|
|
\end{enumerate}
|
|
\end{proof}
|
|
|
|
Uvedeme si několik protipříkladů, na kterých si ukážeme, že implikace opačné k právě uvedeným nemusí platit.
|
|
|
|
\begin{example}
|
|
Ukážeme, že konvergence v pravděpodobnosti neimplikuje konvergenci skoro jistě. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
|
|
$$ X_{2^n + m}(\omega) = \chi_{\{\omega \in (m2^{-n}, (m + 1)2^{-n}]\}}, \omega \in [0, 1]. $$
|
|
|
|
Například, protože $33 = 2^5 + 1$, dostaneme $X_{33}(\omega) = \chi_{\{ \omega \in (2^{-5}, 2^{-4}] \}}$. Pak pro každé $\varepsilon \in (0, 1)$ dostaneme $P[|X_{2^n + m}| > \varepsilon] = 2^{-n} \rightarrow 0$ pro $n \rightarrow \infty$. Tedy $X_n \overset{P}\rightarrow 0$. Avšak pro každé $\omega \in (0, 1]$, $X_j(\omega) = 1$ a $X_j(\omega) = 0$ pro nekonečně mnoho různých $j$ a tedy posloupnost $X_n$ nekonverguje skoro jistě.
|
|
\end{example}
|
|
|
|
\begin{example}
|
|
Ukážeme, že konvergence v pravděpodobnosti neimplikuje konvergenci v $L_p$. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
|
|
$$ X_{2^n + m}(\omega) = 2^n \chi_{\{\omega \in ((m-1)2^{-n}, m2^{-n}]\}}, \omega \in [0, 1]. $$
|
|
|
|
Pak opět pro každé $\varepsilon \in (0, 1)$ dostaneme $P[|X_{2^n + m}| > \varepsilon] = 2^{-n} \rightarrow 0$. Tedy $X_n \overset{P}\rightarrow 0$. Nicméně, $\E |X_{2^n + m} - 0| = 2^n P[X_{2^n + m} = 2^n] = 2^n2^{-n} = 1$ a tedy posloupnost nekonverguje v $L_1$, tedy to nemůže konvergovat ani v vyšších $L_p, p > 1$.
|
|
\end{example}
|
|
|
|
\begin{example}
|
|
Ukážeme, že konvergence v $L_q$ neimplikuje konvergenci v $L_p$ pro $p > q \geq 1$. Mějme prostor $(\Omega = [0, 1], \mathcal{A} = \mathcal{B}(\Omega), P = \lambda)$. Každé přirozené číslo můžeme jednoznačně zapsat ve tvaru $2^n + m$, kde $m \in \{0, 1, \dots, 2^n - 1\}$ a definovat
|
|
$$ X_{2^n + m}(\omega) = 2^{n/2} \chi_{\{\omega \in ((m-1)2^{-n}, m2^{-n}]\}}, \omega \in [0, 1]. $$
|
|
|
|
Pak $\E |X_{2^n + m} - 0| = 2^{n/2} P[X_{2^n + m} = 2^n] = 2^{n/2}2^{-n}$ a tedy posloupnost konverguje v $L_1$.
|
|
Nicméně, pro $p = 2$ máme $\E |X_{2^n + m} - 0|^2 = 2^{2(n/2)}2^{-n} = 1$ tedy posloupnost nekonverguje v $L_2$.
|
|
\end{example}
|
|
|
|
\begin{example}
|
|
Ukážeme, že konvergence v distribuci neimplikuje konvergenci v pravděpodobnosti. Nechť $X \sim N(0, 1)$ a $X_n := -X, n \in \N$. Tedy $X_n \sim N(0, 1)$ pro každé $n \in \N$. Tedy triviálně $\lim F_n(x) = F(x)$ pro všechna $x \in \R$. Tedy $X_n \overset{D}\rightarrow X$.
|
|
|
|
Nicméně, $P[|X_n - X| > \varepsilon] = P[|2X| > \varepsilon] = P[|X| > \varepsilon/2] \neq 0$ (nezávislé na $n$), tedy posloupnost $X_n$ nekonverguje v pravděpodobnosti.
|
|
\end{example}
|
|
|
|
\begin{theorem}[o spojitém zobrazení (CMT)]
|
|
\label{thm-continuous-mapping}
|
|
Nechť $\vec{X}, \vec{X}_1, \vec{X}_2, \dots$ jsou $d$-rozměrné náhodné vektory a $g: \R^d \rightarrow \R^m$ je spojitá v každém bodě množiny $C$ takové, že $P[\vec{X} \in C] = 1$.
|
|
Potom platí
|
|
\begin{itemize}
|
|
\item $\vec{X_n} \overset{P-s.j.}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{P-s.j.}\longrightarrow g(\vec{X})$;
|
|
\item $\vec{X_n} \overset{P}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{P}\longrightarrow g(\vec{X})$;
|
|
\item $\vec{X_n} \overset{D}\longrightarrow \vec{X} \implies g(\vec{X}_n) \overset{D}\longrightarrow g(\vec{X})$.
|
|
\end{itemize}
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Dokážeme pouze první dvě vlastnosti. Nejdříve, nechť $X_n$ konverguje skoro jistě, potom ze spojitosti $g$ máme, že vlastnost $\lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)$ implikuje $\lim_{n\rightarrow \infty} g(X_n(\omega)) = g(X(\omega))$. Potom $P[\omega\in\Omega: \lim_{n\rightarrow \infty} g(X_n(\omega)) = g(X(\omega))] = P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)] = 1$, přičemž poslední rovnost plyne z definice konvergence skoro jistě.
|
|
|
|
K důkazu druhé vlastnosti zvolme $\varepsilon > 0$. Potom uvažujme pro libovolné $\delta > 0$ množinu
|
|
$$ B_\delta := \{ x \in \R: \exists y \in \R: |x - y| < \delta \land |g(x) - g(y)| \geq \varepsilon \}. $$
|
|
|
|
\hfill \textit{konec 12. přednášky (25.3.2025)}
|
|
|
|
Zřejmě $B_\delta \to \emptyset$ pro $\delta \to 0^+$. Potom můžeme psát
|
|
$$ P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon) = P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon \cap |\vec X_n - \vec X| \geq \delta) + $$
|
|
$$ P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon \cap |\vec X_n - \vec X| < \delta) \leq P(|\vec X_n - X| \geq \delta) + P(\vec X \in B_\delta). $$
|
|
Jelikož $\delta$ bylo voleno libovolně, platí $P(\vec X \in B_\delta) \overset{\delta \to 0}\to 0$ a $P(|\vec X_n - \vec X| \geq \delta) \overset{n \to 0} \to 0$, čímž jsme dokázali konvergenci v pravděpodobnosti.
|
|
\end{proof}
|
|
|
|
Poznámka: z $\vec{X}_n \overset{L_p}\to \vec{X}$ nutně neplyne $g(\vec{X}_n) \overset{L_p}\to g(\vec{X})$.
|
|
|
|
Dalším významným tvrzením teorie pravděpodobnosti je takzvaná Slutského věta (v anglické literatuře se také používá název Cramer-Slutského věta).
|
|
|
|
\begin{theorem}[Slutského věta]
|
|
\label{thm-slutsky}
|
|
Pokud $X_n \overset{D}\to X$ a $Y_n \overset P \to c \in \R$, pak $X_n + Y_n \overset D \to X + c$ a $X_nY_n \overset D \to cX$.
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Dokážeme pouze výrok pro součet, část pro součin se dokáže analogicky.
|
|
|
|
Mějme $x \in \R$ bod, v němž je spojitá distribuční funkce veličiny $X + c$. Potom $x - c$ je nutně bodem spojitosti distribuční funkce $F_X$. Zvolme $\eta > 0$. Potom existuje $\varepsilon_0 > 0$ takové, že $|F_X(x - c) - F_X(x - c - \varepsilon)| < \frac{\eta}{3}$ pro každé $|\varepsilon| < \varepsilon_0$.
|
|
|
|
Jelikož $F_X$ je distribuční funkce, má nejvýše spočetně mnoho bodů nespojitosti. Dokážeme tuto vlastnost. Nechť tedy $D$ je množina bodů nespojitosti $F_X$. Pak $\forall y \in D: F_X(y_-) < F_X(y^+)$, tedy existuje racionální číslo $q_y \in \mathbb{Q}$ takové, že $F_X(y_-) < q_y < F_X(y^+)$. Jelikož $F_X$ je neklesající, pak $y \neq z \in D \implies q_y \neq q_z$. Tedy zobrazení $y \mapsto q_y$ je prosté.
|
|
|
|
Z toho máme, že v každém okolí bodu $x - c$ můžeme nalézt vlevo i vpravo od $x - c$ nějaký bod, v němž je $F_X$ spojitá. Z definice spojitosti existuje $0 < \varepsilon < \varepsilon_0$ takové, že $F_X$ je spojitá v $x - c + \varepsilon$ i v $x - c - \varepsilon$. Potom
|
|
$$ P(X_n + Y_n \leq x) = P(X_n + Y_n \leq x \cap |Y_n - c| < \varepsilon) + P(X_n + Y_n \leq x \cap |Y_n - c| \geq \varepsilon) \leq $$
|
|
$$ P(X_n + c \leq x + \varepsilon \cap |Y_n - c| < \varepsilon) + P(|Y_n -c| \geq \varepsilon) \leq $$
|
|
$$ P(X_n \leq x - c + \varepsilon) + P(|Y_n - c| \geq \varepsilon).$$
|
|
|
|
Jelikož $F_X$ je spojitá v bodě $x - c + \varepsilon$ a $Y_n \overset P \to c$, existuje $n_1 \in \N$ takové, že pro všechna $n \geq n_1$ platí $P(X_n \leq x - c + \varepsilon) \leq P(X_n \leq x - c) + \frac{\eta}{3}$ a zároveň $P(|Y_n - c| \geq \varepsilon) \leq \frac{\eta}{3}$. Dohromady pro $n \geq n_1$ máme
|
|
$$ P(X_n + Y_n \leq x) \leq P(X \leq x - c + \varepsilon) + \frac{2}{3}\eta \leq P(X \leq x - c) + \eta. $$
|
|
Opačná nerovnost se dokáže analogicky. Pro $n \geq \max\{n_1, n_2\}$ dohromady máme
|
|
$$ P(X + c \leq x) - \eta \leq P(X_n + Y_n \leq x) \leq P(X + c \leq x) + \eta. $$
|
|
Jelikož $\eta > 0$ bylo voleno libovolně, věta je dokázaná.
|
|
\end{proof}
|
|
|
|
Z této věty okamžitě plyne následující důsledek (neboť konvergence v pravděpodobnosti implikuje konvergenci v distribuci, viz Věta \ref{thm-convergence-types}, vlastnosti (iv) a (v)).
|
|
|
|
\begin{corollary}
|
|
Pokud $x_n \overset P \to a \in \R$ a $Y_n \overset P b \in \R$, potom $X_n + Y_n \overset P \to a + b$ a $X_nY_n \overset P \to ab$.
|
|
\end{corollary}
|
|
|
|
Ještě budeme potřebovat následující větu, která ekvivalentně charakterizuje konvergenci v distribuci, její důkaz je však aktuálně nad naše schopnosti.
|
|
|
|
\begin{theorem}[Lévyho věta o spojitosti]
|
|
\label{thm-levy}
|
|
Platí $\vec X_n \overset D \to \vec X \Leftrightarrow \varphi_{\vec X_n}(\vec t) \to \varphi_{\vec X}(\vec t)$ pro všechna $\vec t \in \R^d$.
|
|
\end{theorem}
|
|
|
|
Ukážeme si explicitní vyjádření charakteristické funkce normálního rozdělení.
|
|
|
|
\begin{example}
|
|
Nechť $X \sim N(\mu, \sigma^2)$. Potom platí
|
|
$$\varphi_X(t) = \exp\left\{i\mu t - \frac{1}{2}\sigma^2 t^2\right\}.$$
|
|
\end{example}
|
|
|
|
\begin{proof}
|
|
Nejdříve uvažujme $X \sim N(0, 1)$ standardní normální rozdělení. Potom
|
|
$$ \varphi_X(t) = \E[\exp\{itx\}] = \E[\cos(tx)] + i\E[\sin(tx)] = $$
|
|
$$ \int_{-\infty}^\infty \cos(tx)dP_X + i \int_{-\infty}^\infty \sin(tx)dP_X = \E[\cos(tX)], $$
|
|
kde poslední rovnost plyne z faktu, že $\sin$ je lichá funkce, a tedy příslušný integrál je nulový.
|
|
Zderivujeme $\varphi_X(t)$ s použitím majoranty $x$.
|
|
$$ \odv*{\varphi_X(t)}{t} = - \int_{-\infty}^\infty x \sin(tx) dP_X = -\int_{-\infty}^\infty x \sin(tx) \frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{x^2}{2}\right\} dx = $$
|
|
$$ \overset{p.p.}= [x\sin(tx)f_X(x)]^\infty_{-\infty} - \int_{-\infty}^\infty t\cos(tx)f_X(x) dx = -t\E[\cos(tX)]. $$
|
|
|
|
Dostali jsme, že $\odv*{\varphi_X(t)}{t} = -t\varphi_X(t)$. Tato diferenciální rovnice s počáteční podmínkou $\varphi_X(0) = \cos 0 = 1$ má jediné řešení $\varphi_X(t) = \exp\left\{-\frac{t^2}{2}\right\}$.
|
|
|
|
Potom pro $Y = \mu + \sigma X$ ($Y \sim N(\mu, \sigma^2)$) dosadíme a aplikujeme výsledek pro standardní rozdělení, dostaneme
|
|
$$ \varphi_Y(t) = \E[\exp\{itY\}] = E[\exp\{it(\mu + \sigma X\}) = $$
|
|
$$ \exp\{it\mu\}\cdot\E[\exp\{i(t\sigma)X\} = \exp\left\{it\mu - \frac{1}{2}\sigma^2 t^2\right\}. $$
|
|
\end{proof}
|
|
|
|
\hfill \textit{konec 13. přednášky (31.3.2025)}
|
|
|
|
\begin{definition}
|
|
\textit{Posloupností nezávislých náhodných veličin} rozumíme posloupnost náhodných veličin $\{X_n\}_{n \in \N}$ takovou, že pro každou $J \subset \N$, $|J| < \infty$ a všechna $\{x_j\}_{j \in J}$ platí
|
|
$$ F_{\{X_j\}_{j \in J}}(\{x_j\}_{j \in J}) = \prod_{j \in J} F_{X_j}(x_j). $$
|
|
\end{definition}
|
|
|
|
\begin{definition}
|
|
$\{X_n\}_{n \in \N}$ je \textit{posloupnost nezávislých stejně rozdělených náhodných veličin (IID)}, jestliže to je posloupnost nezávislých náhodných veličin majících stejnou distribuční funkci.
|
|
\end{definition}
|
|
|
|
Tyto definice lze celkem snadno přepsat i pro náhodné vektory (cvičení).
|
|
|
|
\begin{theorem}[Slabý zákon velkých čísel]
|
|
\label{thm-weak-lln}
|
|
Jestliže $\{X_n\}_{n \in \N}$ je IID posloupnost náhodných veličin a $\E |X_1| < \infty$, pak
|
|
$$\bar{X}_n := \frac{1}{n} \sum_{i=1}^n X_i \overset P {\underset {n\to\infty} \to} \E X_1. $$
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Rozvineme komplexní exponenciálu do Taylorova rozvoje do prvního řádu. Platí $e^{ity} = 1 + ity + o(t)$ pro všechna $y \in \R$. Potom $\E[e^{itY}] = 1 + it\E Y + o(t)$.
|
|
Dále můžeme počítat
|
|
$$ \varphi_{\bar X_n}(t) = \varphi_{\frac{1}{n} \sum X_i}(t) = \varphi_{\frac{\sum X_i}{n}}(t) = \left(\varphi_{\frac{X_1}{n}}(t)\right)^n = \left(\varphi_{X_1}\left(\frac t n\right)\right)^n = $$
|
|
$$ \left(\E[e^{\frac{itX_1}n}]\right)^n = \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n.$$
|
|
Pro $n \to \infty$ dále máme
|
|
$$ \lim_{n \to \infty} \varphi_{\bar X_n}(t) = \lim_{n \to \infty} \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n = \lim_{n\to\infty} (\E[e^{it\E X_1 / n}])^n = $$
|
|
$$ \lim_{n\to\infty} (e^{it\E X_1 / n})^n = e^{it\E X_1} = \varphi_{\E X_1}(t). $$
|
|
Z Lévyho věty (Věta \ref{thm-levy}) tedy dostáváme konvergenci $\bar X_n \overset D \to \E X_1$ v distribuci. Dále využijeme faktu, že jestliže posloupnost konverguje v distribuci ke konstantě, potom máme i konvergenci v pravděpodobnosti, čímž je důkaz ukončen.
|
|
\end{proof}
|
|
|
|
Jestliže konvergenci v pravděpodobnosti nahradíme konvergencí skoro jistě, dostaneme silný zákon velkých čísel. Jeho důkaz je však nad rámec tohoto kurzu. Kdybychom předpokládali, že $\Var X_1 < \infty$, pak tvrzení plyne okamžitě z Čebyševovy nerovnosti (Věta \ref{thm-chebyshev}).
|
|
|
|
\begin{theorem}[Centrální limitní věta]
|
|
\label{thm-central-limit-theorem}
|
|
Pokud $\{X_n\}_{n \in \N}$ je posloupnost IID náhodných veličin s $\E X_1^2 < \infty$ a $\Var X_1 > 0$, pak
|
|
$$ Z_n := \sqrt{n} \frac{\bar X_n - \E X_1}{\sqrt{\Var X_1}} \overset D \to Z \sim N(0, 1). $$
|
|
Jinými slovy, pro všechna $x \in \R$,
|
|
$$ \lim_{n \to \infty} P[Z_n \leq x] = \Phi(x) \equiv \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} e^{\frac{-t^2}{2}} dt. $$
|
|
Zkráceně tedy máme $Z_n \overset D {\underset {n\to\infty} \to} N(0, 1)$.
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Tentokrát budeme potřebovat rozvoj exponenciály do druhého řádu. Je tedy $e^{ity} = 1 + ity + \frac{(ity)^2}{2} + o(t^2)$. Potom také
|
|
$\E[e^{itY}] = 1 + it\E Y - \frac{t^2}{2}\E Y^2 + o(t^2)$.
|
|
|
|
Definujme $Y_n := \frac{(X_n - \E X_1)}{\sqrt{\Var X_1}}$. Pak $\E Y_n = 0, \Var Y_n = 1$ a platí
|
|
$$\frac{1}{\sqrt{n}} \sum_{i = 1}^n Y_i = \sqrt{n} \left(\frac{1}{n} \sum_{i=1}^n Y_i\right) = \sqrt{n}\bar Y_n = \sqrt{n}\frac{\bar X_n -\E X_1}{\sqrt{\Var X_1}} =: Z_n$$
|
|
pro každé $n \in \N$. Dále můžeme počítat
|
|
$$ \varphi_{Z_n}(t) = \varphi_{\sum_{i=1}^n \frac{1}{\sqrt{n}} Y_i} (t) = \left(\varphi_{\frac{Y_1}{\sqrt{n}}}(t)\right)^n = \left(\varphi_{Y_1} \frac{t}{\sqrt{n}}\right)^n = $$
|
|
$$ \left(1 + \frac{it}{\sqrt{n}}\E Y_1 - \frac{t^2}{2n} \E Y_1^2 + o\left(\frac{t^2}{n}\right)\right)^n = \left(1 - \frac{t^2}{2n} + o\left(\frac{t^2}{n}\right)\right)^n,$$
|
|
neboť $\E Y_1 = 0$ a $\E Y_1^2 = \Var Y_1 = 1$.
|
|
Jelikož $e^y = \lim_{n \to \infty} \left( 1 + \frac{y}{n}\right)^n$, dostáváme
|
|
$$ \lim_{n \to \infty} \varphi_{Z_n}^t = \lim_{n\to\infty}\left(1 - \frac{t^2}{2n}\right)^n = e^{-\frac{1}{2}t^2} = \varphi_Z(t), $$
|
|
kde $Z \sim N(0, 1)$. Z Lévyho věty (Věta \ref{thm-levy}) je konvergence charakteristických funkcí ekvivalentní konvergenci v distribuci, čímž je důkaz ukončen.
|
|
\end{proof}
|
|
|
|
Následující věta nám umožní zformulovat mnohorozměrnou verzi centrální limitní věty.
|
|
|
|
\begin{theorem}[Cramér-Woldova věta]
|
|
Platí $\vec X_n \overset D \to X$ právě tehdy, když pro všechna $\vec t \in \R^d$ platí $\vec t^T \vec X_n \overset D \to \vec t^T \vec X$.
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Důkaz plyne okamžitě z Věty \ref{thm-levy} a spojitosti lineárních zobrazení.
|
|
\end{proof}
|
|
|
|
\begin{theorem}[Mnohorozměrná CLT]
|
|
Pokud $\{\vec X_n\}_{n \in \N}$ je IID posloupnost $d$-rozměrných náhodných vektorů s pozitivně definitní varianční-kovarianční maticí $\Var \vec X_1$, pak
|
|
$$ \sqrt{n}(\bar {\vec X }_n - \E \vec X_1) \overset D \to N_d(\vec 0, \Var \vec X_1), n \to \infty. $$
|
|
\end{theorem}
|
|
|
|
\begin{theorem}[Delta metoda]
|
|
Pokud $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$ a $g$ je spojitě diferencovatelná v okolí $\mu$ taková, že $g'(\mu) \neq 0$, pak
|
|
$$ \sqrt{n}(g(Y_n) - g(\mu)) \overset D \to N(0, (g'(\mu))^2\sigma^2). $$
|
|
\end{theorem}
|
|
|
|
\begin{proof}
|
|
Podle věty o střední hodnotě dostáváme $g(Y_n) = g(\mu) + g'(\tilde \mu)(Y_n - \mu)$, kde $\tilde \mu$ leží mezi $Y_n$ a $\mu$. Když $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$, potom $Y_n - \mu \overset D \to 0$. Pak tedy i $Y_n - \mu \overset P \to 0$. Jelikož $|\tilde \mu - \mu | \leq |Y_n - \mu|$, musí platit, že $\tilde \mu - \mu \overset P \to 0$. Dle věty o spojitém zobrazení (Věta \ref{thm-continuous-mapping}) dostáváme $g'(\tilde \mu) \overset P \to g(\mu)$ (předpokládáme spojitost $g'$).
|
|
|
|
Dále můžeme dosadit $\sqrt{n}[g(Y_n) - g(\mu)] = g'(\tilde\mu)\sqrt{n}(Y_n - \mu)$. Nakonec, ze Slutského věty (Věta \ref{thm-slutsky}) máme (využili jsme předpoklad, že $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$)
|
|
$$ \sqrt{n}[g(Y_n) - g(\mu)] \overset D \to N(0, [g'(\mu)]^2 \sigma^2). $$
|
|
\end{proof}
|
|
|
|
Obdobně se dá zformulovat i mnohorozměrná delta-metoda (za předpokladu nenulovosti jakobiánu $g$).
|
|
|
|
\hfill \textit{konec 14. přednášky (1.4.2025)}
|