diff --git a/skripta.pdf b/skripta.pdf index b29051c..6d1566d 100644 Binary files a/skripta.pdf and b/skripta.pdf differ diff --git a/stochasticke-konvergence.tex b/stochasticke-konvergence.tex index 64fd5a3..e3b83ad 100644 --- a/stochasticke-konvergence.tex +++ b/stochasticke-konvergence.tex @@ -155,7 +155,8 @@ Z této věty okamžitě plyne následující důsledek (neboť konvergence v pr Ještě budeme potřebovat následující větu, která ekvivalentně charakterizuje konvergenci v distribuci, její důkaz je však aktuálně nad naše schopnosti. -\begin{theorem}[Levyho věta o spojitosti] +\begin{theorem}[Lévyho věta o spojitosti] + \label{thm-levy} Platí $\vec X_n \overset D \to \vec X \Leftrightarrow \varphi_{\vec X_n}(\vec t) \to \varphi_{\vec X}(\vec t)$ pro všechna $\vec t \in \R^d$. \end{theorem} @@ -183,3 +184,88 @@ Ukážeme si explicitní vyjádření charakteristické funkce normálního rozd \end{proof} \hfill \textit{konec 13. přednášky (31.3.2025)} + +\begin{definition} + \textit{Posloupností nezávislých náhodných veličin} rozumíme posloupnost náhodných veličin $\{X_n\}_{n \in \N}$ takovou, že pro každou $J \subset \N$, $|J| < \infty$ a všechna $\{x_j\}_{j \in J}$ platí + $$ F_{\{X_j\}_{j \in J}}(\{x_j\}_{j \in J}) = \prod_{j \in J} F_{X_j}(x_j). $$ +\end{definition} + +\begin{definition} + $\{X_n\}_{n \in \N}$ je \textit{posloupnost nezávislých stejně rozdělených náhodných veličin (IID)}, jestliže to je posloupnost nezávislých náhodných veličin majících stejnou distribuční funkci. +\end{definition} + +Tyto definice lze celkem snadno přepsat i pro náhodné vektory (cvičení). + +\begin{theorem}[Slabý zákon velkých čísel] + \label{thm-weak-lln} + Jestliže $\{X_n\}_{n \in \N}$ je IID posloupnost náhodných veličin a $\E |X_1| < \infty$, pak + $$\bar{X}_n := \frac{1}{n} \sum_{i=1}^n X_i \overset P {\underset {n\to\infty} \to} \E X_1. $$ +\end{theorem} + +\begin{proof} + Rozvineme komplexní exponenciálu do Taylorova rozvoje do prvního řádu. Platí $e^{ity} = 1 + ity + o(t)$ pro všechna $y \in \R$. Potom $\E[e^{itY}] = 1 + it\E Y + o(t)$. + Dále můžeme počítat + $$ \varphi_{\bar X_n}(t) = \varphi_{\frac{1}{n} \sum X_i}(t) = \varphi_{\frac{\sum X_i}{n}}(t) = \left(\varphi_{\frac{X_1}{n}}(t)\right)^n = \left(\varphi_{X_1}\left(\frac t n\right)\right)^n = $$ + $$ \left(\E[e^{\frac{itX_1}n}]\right)^n = \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n.$$ + Pro $n \to \infty$ dále máme + $$ \lim_{n \to \infty} \varphi_{\bar X_n}(t) = \lim_{n \to \infty} \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n = \lim_{n\to\infty} (\E[e^{it\E X_1 / n}])^n = $$ + $$ \lim_{n\to\infty} (e^{it\E X_1 / n})^n = e^{it\E X_1} = \varphi_{\E X_1}(t). $$ + Z Lévyho věty (Věta \ref{thm-levy}) tedy dostáváme konvergenci $\bar X_n \overset D \to \E X_1$ v distribuci. Dále využijeme faktu, že jestliže posloupnost konverguje v distribuci ke konstantě, potom máme i konvergenci v pravděpodobnosti, čímž je důkaz ukončen. +\end{proof} + +Jestliže konvergenci v pravděpodobnosti nahradíme konvergencí skoro jistě, dostaneme silný zákon velkých čísel. Jeho důkaz je však nad rámec tohoto kurzu. Kdybychom předpokládali, že $\Var X_1 < \infty$, pak tvrzení plyne okamžitě z Čebyševovy nerovnosti (Věta \ref{thm-chebyshev}). + +\begin{theorem}[Centrální limitní věta] + \label{thm-central-limit-theorem} + Pokud $\{X_n\}_{n \in \N}$ je posloupnost IID náhodných veličin s $\E X_1^2 < \infty$ a $\Var X_1 > 0$, pak + $$ Z_n := \sqrt{n} \frac{\bar X_n - \E X_1}{\sqrt{\Var X_1}} \overset D \to Z \sim N(0, 1). $$ + Jinými slovy, pro všechna $x \in \R$, + $$ \lim_{n \to \infty} P[Z_n \leq x] = \Phi(x) \equiv \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} e^{\frac{-t^2}{2}} dt. $$ + Zkráceně tedy máme $Z_n \overset D {\underset {n\to\infty} \to} N(0, 1)$. +\end{theorem} + +\begin{proof} + Tentokrát budeme potřebovat rozvoj exponenciály do druhého řádu. Je tedy $e^{ity} = 1 + ity + \frac{(ity)^2}{2} + o(t^2)$. Potom také + $\E[e^{itY}] = 1 + it\E Y - \frac{t^2}{2}\E Y^2 + o(t^2)$. + + Definujme $Y_n := \frac{(X_n - \E X_1)}{\sqrt{\Var X_1}}$. Pak $\E Y_n = 0, \Var Y_n = 1$ a platí + $$\frac{1}{\sqrt{n}} \sum_{i = 1}^n Y_i = \sqrt{n} \left(\frac{1}{n} \sum_{i=1}^n Y_i\right) = \sqrt{n}\bar Y_n = \sqrt{n}\frac{\bar X_n -\E X_1}{\sqrt{\Var X_1}} =: Z_n$$ + pro každé $n \in \N$. Dále můžeme počítat + $$ \varphi_{Z_n}(t) = \varphi_{\sum_{i=1}^n \frac{1}{\sqrt{n}} Y_i} (t) = \left(\varphi_{\frac{Y_1}{\sqrt{n}}}(t)\right)^n = \left(\varphi_{Y_1} \frac{t}{\sqrt{n}}\right)^n = $$ + $$ \left(1 + \frac{it}{\sqrt{n}}\E Y_1 - \frac{t^2}{2n} \E Y_1^2 + o\left(\frac{t^2}{n}\right)\right)^n = \left(1 - \frac{t^2}{2n} + o\left(\frac{t^2}{n}\right)\right)^n,$$ + neboť $\E Y_1 = 0$ a $\E Y_1^2 = \Var Y_1 = 1$. + Jelikož $e^y = \lim_{n \to \infty} \left( 1 + \frac{y}{n}\right)^n$, dostáváme + $$ \lim_{n \to \infty} \varphi_{Z_n}^t = \lim_{n\to\infty}\left(1 - \frac{t^2}{2n}\right)^n = e^{-\frac{1}{2}t^2} = \varphi_Z(t), $$ + kde $Z \sim N(0, 1)$. Z Lévyho věty (Věta \ref{thm-levy}) je konvergence charakteristických funkcí ekvivalentní konvergenci v distribuci, čímž je důkaz ukončen. +\end{proof} + +Následující věta nám umožní zformulovat mnohorozměrnou verzi centrální limitní věty. + +\begin{theorem}[Cramér-Woldova věta] + Platí $\vec X_n \overset D \to X$ právě tehdy, když pro všechna $\vec t \in \R^d$ platí $\vec t^T \vec X_n \overset D \to \vec t^T \vec X$. +\end{theorem} + +\begin{proof} + Důkaz plyne okamžitě z Věty \ref{thm-levy} a spojitosti lineárních zobrazení. +\end{proof} + +\begin{theorem}[Mnohorozměrná CLT] + Pokud $\{\vec X_n\}_{n \in \N}$ je IID posloupnost $d$-rozměrných náhodných vektorů s pozitivně definitní varianční-kovarianční maticí $\Var \vec X_1$, pak + $$ \sqrt{n}(\bar {\vec X }_n - \E \vec X_1) \overset D \to N_d(\vec 0, \Var \vec X_1), n \to \infty. $$ +\end{theorem} + +\begin{theorem}[Delta metoda] + Pokud $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$ a $g$ je spojitě diferencovatelná v okolí $\mu$ taková, že $g'(\mu) \neq 0$, pak + $$ \sqrt{n}(g(Y_n) - g(\mu)) \overset D \to N(0, (g'(\mu))^2\sigma^2). $$ +\end{theorem} + +\begin{proof} + Podle věty o střední hodnotě dostáváme $g(Y_n) = g(\mu) + g'(\tilde \mu)(Y_n - \mu)$, kde $\tilde \mu$ leží mezi $Y_n$ a $\mu$. Když $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$, potom $Y_n - \mu \overset D \to 0$. Pak tedy i $Y_n - \mu \overset P \to 0$. Jelikož $|\tilde \mu - \mu | \leq |Y_n - \mu|$, musí platit, že $\tilde \mu - \mu \overset P \to 0$. Dle věty o spojitém zobrazení (Věta \ref{thm-continuous-mapping}) dostáváme $g'(\tilde \mu) \overset P \to g(\mu)$ (předpokládáme spojitost $g'$). + + Dále můžeme dosadit $\sqrt{n}[g(Y_n) - g(\mu)] = g'(\tilde\mu)\sqrt{n}(Y_n - \mu)$. Nakonec, ze Slutského věty (Věta \ref{thm-slutsky}) máme (využili jsme předpoklad, že $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$) + $$ \sqrt{n}[g(Y_n) - g(\mu)] \overset D \to N(0, [g'(\mu)]^2 \sigma^2). $$ +\end{proof} + +Obdobně se dá zformulovat i mnohorozměrná delta-metoda (za předpokladu nenulovosti jakobiánu $g$). + +\hfill \textit{konec 14. přednášky (1.4.2025)} diff --git a/stochasticke-nerovnosti.tex b/stochasticke-nerovnosti.tex index 7f18045..839dc08 100644 --- a/stochasticke-nerovnosti.tex +++ b/stochasticke-nerovnosti.tex @@ -28,6 +28,7 @@ V této kapitole budeme studovat užitečné nerovnosti, které budeme moci apli \end{proof} \begin{theorem}[Čebyševova nerovnost] + \label{thm-chebyshev} Nechť $X$ je náhodná veličina a předpokládejme, že $\E[X]$ existuje, potom pro každé $\varepsilon > 0$ platí $$ P[|X - \E X| \geq \varepsilon] \leq \frac{\Var[X]}{\varepsilon^2}. $$ \end{theorem}