diff --git a/skripta.pdf b/skripta.pdf index 8797761..399dc81 100644 Binary files a/skripta.pdf and b/skripta.pdf differ diff --git a/skripta.tex b/skripta.tex index 79bbd14..1e4ce8c 100644 --- a/skripta.tex +++ b/skripta.tex @@ -45,5 +45,7 @@ \include{nahodne-jevy} \include{nahodne-veliciny} \include{stredni-hodnota} +\include{stochasticke-nerovnosti} +\include{stochasticke-konvergence} \end{document} diff --git a/stochasticke-konvergence.tex b/stochasticke-konvergence.tex new file mode 100644 index 0000000..b64853b --- /dev/null +++ b/stochasticke-konvergence.tex @@ -0,0 +1,28 @@ +\section{Stochastické konvergence} + +V této kapitole budeme studovat druhy konvergence v pravděpodobnostních prostorech, které jsou často jiné, neboť náš prostor je vždy normovaný na $1$. + +\begin{definition} + Nechť $X_1, X_2, \dots$ je posloupnost náhodných veličin a nechť $X$ je jiná náhodná veličina. Nechť $F_n$ označuje distribuční funkci $X_n$ a nechť $F$ označuje distribuční funkci $X$. Potom $X_n$ \textit{konverguje k $X$ v pravděpodobnosti} (předpokládáme, že $X_i, X$ všechny ``žijí" na stejném pravděpodobnostním prostoru) , značíme $X_n \overset{P}{\underset{n \rightarrow \infty}{\longrightarrow}}$, pokud pro každé $\varepsilon > 0$, + $$ P[|X_n - X| > \varepsilon] \overset{n \rightarrow \infty}{\rightarrow} 0. $$ + Dále $X_n$ \textit{konverguje k $X$ v distribuci}, značíme $X_n \overset{P}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud + $$ \lim_{n \rightarrow \infty} F_n(x) = F(x) $$ + pro všechna $x$ kde je $F$ spojitá. + $X_n$ \textit{konverguje k $X$ v $\mathbb{L}^p$} pro $p \geq 1$, značíme $X_n \overset{\mathbb{L}^p}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud + $$ \E |X_n - X|^p \overset{n \rightarrow \infty}\rightarrow 0. $$ + $X_n$ \textit{konverguje k $X$ skoro jistě}, značíme $X_n \overset{P-s.j.}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud + $$ P[\lim_{n \rightarrow \infty} X_n = X] \equiv P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)]=1.$$ +\end{definition} + +\begin{theorem}[Implikace mezi typy konvergence] + Platí následující implikace + \begin{enumerate}[(i)] + \item $X_n \overset{P-\text{s.j.}}{\longrightarrow} X \implies X_n \overset{P}{\rightarrow} X$; + \item pro $p \geq 1$ platí $X_n \overset{\mathbb{L}_p}{\rightarrow} X \implies X_n \overset{P}{\rightarrow} X$; + \item pro $p \geq q \geq 1$ platí $X_n \overset{\mathbb{L}_p}{\rightarrow} \implies X_n \overset{\mathbb{L}_q}{\rightarrow} X$; + \item $X_n \overset{P}{\rightarrow} X \implies X_n \overset{D}{\rightarrow} X$; + \item Pokud $X_n \overset{D}{\rightarrow} X$ a $P[X = c] = 1$ pro nějaké $c \in \R$, pak $X_n \overset{P}{\rightarrow} X$. + \end{enumerate} +\end{theorem} + +\hfill \textit{konec 11. přednášky (24.3.2025)} diff --git a/stochasticke-nerovnosti.tex b/stochasticke-nerovnosti.tex new file mode 100644 index 0000000..ee93943 --- /dev/null +++ b/stochasticke-nerovnosti.tex @@ -0,0 +1,58 @@ +\section{Stochastické nerovnosti} + +V této kapitole budeme studovat užitečné nerovnosti, které budeme moci aplikovat pro odhady některých statistických veličin. Začneme odhady pro hodnoty pravděpodobnosti samotné (tzv. nerovnosti Markovovského typu) + +\begin{theorem}[Markovova nerovnost] + \label{thm-markov-inequality} + Nechť $X$ je nezáporná náhodná veličina a předpokládejme, že $\E X$ existuje. Potom pro každé $\varepsilon > 0$ platí + $$ P[X \geq \varepsilon] \leq \frac{\E X}{\varepsilon}. $$ +\end{theorem} + +\begin{proof} + Z předpokladu máme, že $X \geq 0$, tedy $P[X \geq 0] = 1$ a $P[X < 0] = 1 - 1 = 0$. Z toho plyne, že + $$ \int_{\{\omega\in\Omega: X(\omega) < 0\}} dP(\omega) = 0. $$ + Potom pro $\varepsilon > 0$ máme, že pravděpodobnost + $$ P[X \geq \varepsilon] = \int_{\{\omega\in\Omega: X(\omega) \geq \varepsilon\}} dP(\omega) \leq \int_{\{\omega \in \Omega: X(\omega) \geq \varepsilon\}} \frac{X(\omega)}{\varepsilon} dP(\omega) \leq $$ + $$ \int_\Omega \frac{X(\omega)}{\varepsilon} dP(\omega) = \frac{1}{\varepsilon} \int_\Omega X(\omega)dP(\omega) = \frac{\E X}{\varepsilon},$$ + kde první nerovnost +\end{proof} + +\begin{corollary}[Zobecněná Markovova nerovnost] + \label{thm-generalized-markov} + Nechť $X$ je nezáporná náhodná veličina a předpokládejme, že $\E X^r$ existuje pro nějaké $r > 0$. Potom pro každé $\varepsilon > 0$ platí + $$ P[X \geq \varepsilon] \leq \frac{\E X^r}{\varepsilon^r}. $$ +\end{corollary} + +\begin{proof} + Nechť $Y := X^r$, $\tilde{\varepsilon} = \varepsilon^r$, poté použijeme předchozí větu pro $P[Y \leq \tilde{\varepsilon}]$. +\end{proof} + +\begin{theorem}[Čebyševova nerovnost] + Nechť $X$ je náhodná veličina a předpokládejme, že $\E[X]$ existuje, potom pro každé $\varepsilon > 0$ platí + $$ P[|X - \E X| \geq \varepsilon] \leq \frac{\Var[X]}{\varepsilon^2}. $$ +\end{theorem} + +\begin{proof} + Položme $Y = |X - \E X| \geq 0$ a $\tilde{\varepsilon} = \varepsilon^2$, potom stačí aplikovat Větu \ref{thm-markov-inequality}. +\end{proof} + +Dále si uvedeme několik nerovnosti, které přímo poskytují odhad pro střední hodnotu. + +\begin{theorem}[Cauchy-Schwarzova nerovnost] + \label{thm-cauchy-schwarz} + Pokud mají náhodné veličiny $X$ a $Y$ konečné rozptyly, potom + $$ |\E XY| \leq \sqrt{\E X^2 \E Y^2} \text{ a } |\Cov(X, Y)| \leq \sqrt{\Var X \Var Y}.$$ +\end{theorem} + +\begin{proof} + Plyne z důkazu vlastnosti (ii) ve Větě \ref{thm-props-cov-corr} o vlastnostech kovariance a korelace. +\end{proof} + +\begin{theorem}[Jensenova nerovnost] + \label{thm-jensen-inequality} + Pokud je $g$ konvexní, pak $\E g(X) \geq g(\E X)$. Dále, pokud je $g$ konkávní $\E g(X) \leq g(\E X)$. +\end{theorem} + +\begin{proof} + Nechť máme $t(x) = a + tx$ tečna k funkci $g$ v bodě $\E X$. Pokud $g$ je konvexní, pak $t(x) \leq g(x)$ pro všechna $x \in \R$. Také platí $t(\E X) = g(\E X)$. Potom $E[g(X)] \geq E[t(X)] = E[a + bX] = a + b\E X= t(\E X) = g(\E X)$. Pro konkávní $g$ se tvrzení dokáže analogicky. +\end{proof} diff --git a/stredni-hodnota.tex b/stredni-hodnota.tex index 2a807d6..16b917d 100644 --- a/stredni-hodnota.tex +++ b/stredni-hodnota.tex @@ -179,6 +179,7 @@ Dále si všimneme, že z pravidla líného statistika (Věta \ref{thm-lazy-stat Dále si zformulujeme několik vlastností kovariance a korelace. \begin{theorem} + \label{thm-props-cov-corr} Pro náhodné veličiny $X$ a $Y$ platí následující tvrzení (jsou-li příslušné matematické objekty dobře definovány). \begin{enumerate}[(i)] \item $\Cov(X, Y) = \E (XY) - \E X \E Y$; @@ -193,14 +194,14 @@ Dále si zformulujeme několik vlastností kovariance a korelace. $$ \Cov(X, Y) = \E [(X - \E X) (Y - \E Y)] = \E (XY) - \E X \E Y, $$ kde druhá rovnost se získá roznásobením závorek analogicky s důkazem předchozí věty. Z tohoto okamžitě plyne vlastnost (iv), neboť nezávislost $X$ a $Y$ implikuje, že $\E (XY) = \E X \E Y$. - K důkazu vlastnosti (ii) použijeme Cauchyovu-Schwarzovu nerovnost. Definujeme funkci $g(a) := \E (aX - Y)^2$, potom + K důkazu vlastnosti (ii) použijeme Cauchyovu-Schwarzovu nerovnost (Věta \ref{thm-cauchy-schwarz}), kterou si zde dokážeme. Definujeme funkci $g(a) := \E (aX - Y)^2$, potom $$ 0 \leq \E (aX - Y)^2 = \E (a^2X^2 - 2aXY + Y^2) = a^2\E X^2 - 2a\E XY + \E Y. $$ Funkci $g(a)$ můžeme zderivovat, dostáváme $$ g'(a) = 2a\E X^2 - 2\E XY, $$ svého minima tedy funkce $g$ nabývá v bodě $\frac{\E XY}{\E X^2}$ (bez újmy na obecnosti $\E X^2 \neq 0$, v opačném případě máme $X = 0$ skoro jistě, z čehož vlastnosti z věty plynou triviálně). Dosadíme tuto hodnotu do předpisu funkce $g(a)$ a dostáváme. $$ g\left(\frac{\E XY}{\E X^2}\right) = \frac{(\E XY)^2}{\E X^2} - 2 \frac{(\E XY^2)}{\E X^2} + \E Y^2 \geq 0. $$ - Z toho již plyne, že $(\E XY)^2 \leq (\E X^2)(\E Y^2)$, z čehož už plyne požadované tvrzení. + Z toho již plyne, že $(\E XY)^2 \leq (\E X^2)(\E Y^2)$ (dokázali jsme Cauchy-Schwarze!), z čehož plyne požadované tvrzení. Vlastnost (iii) budeme dokazovat po implikacích. Nejdříve předpokládejme, že $Y = aX + b$ pro nějaká $a, b \in \R$. Potom máme $$ \Cov (X, Y) = \Cov(X, aX + b) = \E [X(aX + b)] - \E X \E (aX + b) = $$