prednaska 24.3.2025 -- PDF

skripta.tex

@@ -45,5 +45,7 @@
 \include{nahodne-jevy}
 \include{nahodne-veliciny}
 \include{stredni-hodnota}
+\include{stochasticke-nerovnosti}
+\include{stochasticke-konvergence}
 
 \end{document}

stochasticke-konvergence.tex

@@ -0,0 +1,28 @@
+\section{Stochastické konvergence}
+
+V této kapitole budeme studovat druhy konvergence v pravděpodobnostních prostorech, které jsou často jiné, neboť náš prostor je vždy normovaný na $1$.
+
+\begin{definition}
+	Nechť $X_1, X_2, \dots$ je posloupnost náhodných veličin a nechť $X$ je jiná náhodná veličina. Nechť $F_n$ označuje distribuční funkci $X_n$ a nechť $F$ označuje distribuční funkci $X$. Potom $X_n$ \textit{konverguje k $X$ v pravděpodobnosti} (předpokládáme, že $X_i, X$ všechny ``žijí" na stejném pravděpodobnostním prostoru) , značíme $X_n \overset{P}{\underset{n \rightarrow \infty}{\longrightarrow}}$, pokud pro každé $\varepsilon > 0$,
+	$$ P[|X_n - X| > \varepsilon] \overset{n \rightarrow \infty}{\rightarrow} 0. $$
+	Dále $X_n$ \textit{konverguje k $X$ v distribuci}, značíme $X_n \overset{P}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
+	$$ \lim_{n \rightarrow \infty} F_n(x) = F(x) $$
+	pro všechna $x$ kde je $F$ spojitá.
+	$X_n$ \textit{konverguje k $X$ v $\mathbb{L}^p$} pro $p \geq 1$, značíme $X_n \overset{\mathbb{L}^p}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
+	$$ \E |X_n - X|^p \overset{n \rightarrow \infty}\rightarrow 0. $$
+	$X_n$ \textit{konverguje k $X$ skoro jistě}, značíme $X_n \overset{P-s.j.}{\underset{n \rightarrow \infty}{\longrightarrow}} X$, pokud
+	$$ P[\lim_{n \rightarrow \infty} X_n = X] \equiv P[\omega \in \Omega: \lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)]=1.$$
+\end{definition}
+
+\begin{theorem}[Implikace mezi typy konvergence]
+	Platí následující implikace
+	\begin{enumerate}[(i)]
+		\item $X_n \overset{P-\text{s.j.}}{\longrightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
+		\item pro $p \geq 1$ platí $X_n \overset{\mathbb{L}_p}{\rightarrow} X \implies X_n \overset{P}{\rightarrow} X$;
+		\item pro $p \geq q \geq 1$ platí $X_n \overset{\mathbb{L}_p}{\rightarrow} \implies X_n \overset{\mathbb{L}_q}{\rightarrow} X$;
+		\item $X_n \overset{P}{\rightarrow} X \implies X_n \overset{D}{\rightarrow} X$;
+		\item Pokud $X_n \overset{D}{\rightarrow} X$ a $P[X = c] = 1$ pro nějaké $c \in \R$, pak $X_n \overset{P}{\rightarrow} X$.
+	\end{enumerate}
+\end{theorem}
+
+\hfill \textit{konec 11. přednášky (24.3.2025)}

stochasticke-nerovnosti.tex

@@ -0,0 +1,58 @@
+\section{Stochastické nerovnosti}
+
+V této kapitole budeme studovat užitečné nerovnosti, které budeme moci aplikovat pro odhady některých statistických veličin. Začneme odhady pro hodnoty pravděpodobnosti samotné (tzv. nerovnosti Markovovského typu)
+
+\begin{theorem}[Markovova nerovnost]
+	\label{thm-markov-inequality}
+	Nechť $X$ je nezáporná náhodná veličina a předpokládejme, že $\E X$ existuje. Potom pro každé $\varepsilon > 0$ platí
+	$$ P[X \geq \varepsilon] \leq \frac{\E X}{\varepsilon}. $$
+\end{theorem}
+
+\begin{proof}
+	Z předpokladu máme, že $X \geq 0$, tedy $P[X \geq 0] = 1$ a $P[X < 0] = 1 - 1 = 0$. Z toho plyne, že
+	$$ \int_{\{\omega\in\Omega: X(\omega) < 0\}} dP(\omega) = 0. $$
+	Potom pro $\varepsilon > 0$ máme, že pravděpodobnost
+	$$ P[X \geq \varepsilon] = \int_{\{\omega\in\Omega: X(\omega) \geq \varepsilon\}} dP(\omega) \leq \int_{\{\omega \in \Omega: X(\omega) \geq \varepsilon\}} \frac{X(\omega)}{\varepsilon} dP(\omega) \leq $$
+	$$ \int_\Omega \frac{X(\omega)}{\varepsilon} dP(\omega) = \frac{1}{\varepsilon} \int_\Omega X(\omega)dP(\omega) = \frac{\E X}{\varepsilon},$$
+	kde první nerovnost 
+\end{proof}
+
+\begin{corollary}[Zobecněná Markovova nerovnost]
+	\label{thm-generalized-markov}
+	Nechť $X$ je nezáporná náhodná veličina a předpokládejme, že $\E X^r$ existuje pro nějaké $r > 0$. Potom pro každé $\varepsilon > 0$ platí
+	$$ P[X \geq \varepsilon] \leq \frac{\E X^r}{\varepsilon^r}. $$
+\end{corollary}
+
+\begin{proof}
+	Nechť $Y := X^r$, $\tilde{\varepsilon} = \varepsilon^r$, poté použijeme předchozí větu pro $P[Y \leq \tilde{\varepsilon}]$.
+\end{proof}
+
+\begin{theorem}[Čebyševova nerovnost]
+	Nechť $X$ je náhodná veličina a předpokládejme, že $\E[X]$ existuje, potom pro každé $\varepsilon > 0$ platí
+	$$ P[|X - \E X| \geq \varepsilon] \leq \frac{\Var[X]}{\varepsilon^2}. $$
+\end{theorem}
+
+\begin{proof}
+	Položme $Y = |X - \E X| \geq 0$ a $\tilde{\varepsilon} = \varepsilon^2$, potom stačí aplikovat Větu \ref{thm-markov-inequality}.
+\end{proof}
+
+Dále si uvedeme několik nerovnosti, které přímo poskytují odhad pro střední hodnotu.
+
+\begin{theorem}[Cauchy-Schwarzova nerovnost]
+	\label{thm-cauchy-schwarz}
+	Pokud mají náhodné veličiny $X$ a $Y$ konečné rozptyly, potom
+	$$ |\E XY| \leq \sqrt{\E X^2 \E Y^2} \text{ a } |\Cov(X, Y)| \leq \sqrt{\Var X \Var Y}.$$
+\end{theorem}
+
+\begin{proof}
+	Plyne z důkazu vlastnosti (ii) ve Větě \ref{thm-props-cov-corr} o vlastnostech kovariance a korelace.
+\end{proof}
+
+\begin{theorem}[Jensenova nerovnost]
+	\label{thm-jensen-inequality}
+	Pokud je $g$ konvexní, pak $\E g(X) \geq g(\E X)$. Dále, pokud je $g$ konkávní $\E g(X) \leq g(\E X)$.
+\end{theorem}
+
+\begin{proof}
+	Nechť máme $t(x) = a + tx$ tečna k funkci $g$ v bodě $\E X$. Pokud $g$ je konvexní, pak $t(x) \leq g(x)$ pro všechna $x \in \R$. Také platí $t(\E X) = g(\E X)$. Potom $E[g(X)] \geq E[t(X)] = E[a + bX] = a + b\E X= t(\E X) = g(\E X)$. Pro konkávní $g$ se tvrzení dokáže analogicky.
+\end{proof}

stredni-hodnota.tex

@@ -179,6 +179,7 @@ Dále si všimneme, že z pravidla líného statistika (Věta \ref{thm-lazy-stat
 Dále si zformulujeme několik vlastností kovariance a korelace.
 
 \begin{theorem}
+	\label{thm-props-cov-corr}
 	Pro náhodné veličiny $X$ a $Y$ platí následující tvrzení (jsou-li příslušné matematické objekty dobře definovány).
 	\begin{enumerate}[(i)]
 		\item $\Cov(X, Y) = \E (XY) - \E X \E Y$;
@@ -193,14 +194,14 @@ Dále si zformulujeme několik vlastností kovariance a korelace.
 	$$ \Cov(X, Y) = \E [(X - \E X) (Y - \E Y)] = \E (XY) - \E X \E Y, $$
 	kde druhá rovnost se získá roznásobením závorek analogicky s důkazem předchozí věty. Z tohoto okamžitě plyne vlastnost (iv), neboť nezávislost $X$ a $Y$ implikuje, že $\E (XY) = \E X \E Y$.
 
-	K důkazu vlastnosti (ii) použijeme Cauchyovu-Schwarzovu nerovnost. Definujeme funkci $g(a) := \E (aX - Y)^2$, potom
+	K důkazu vlastnosti (ii) použijeme Cauchyovu-Schwarzovu nerovnost (Věta \ref{thm-cauchy-schwarz}), kterou si zde dokážeme. Definujeme funkci $g(a) := \E (aX - Y)^2$, potom
 	$$ 0 \leq \E (aX - Y)^2 = \E (a^2X^2 - 2aXY + Y^2) = a^2\E X^2 - 2a\E XY + \E Y. $$
 	Funkci $g(a)$ můžeme zderivovat, dostáváme
 	$$ g'(a) = 2a\E X^2 - 2\E XY, $$
 	svého minima tedy funkce $g$ nabývá v bodě $\frac{\E XY}{\E X^2}$ (bez újmy na obecnosti $\E X^2 \neq 0$, v opačném případě máme $X = 0$ skoro jistě, z čehož vlastnosti z věty plynou triviálně).
 	Dosadíme tuto hodnotu do předpisu funkce $g(a)$ a dostáváme.
 	$$ g\left(\frac{\E XY}{\E X^2}\right) = \frac{(\E XY)^2}{\E X^2} - 2 \frac{(\E XY^2)}{\E X^2} + \E Y^2 \geq 0. $$
-	Z toho již plyne, že $(\E XY)^2 \leq (\E X^2)(\E Y^2)$, z čehož už plyne požadované tvrzení.
+	Z toho již plyne, že $(\E XY)^2 \leq (\E X^2)(\E Y^2)$ (dokázali jsme Cauchy-Schwarze!), z čehož plyne požadované tvrzení.
 
 	Vlastnost (iii) budeme dokazovat po implikacích. Nejdříve předpokládejme, že $Y = aX + b$ pro nějaká $a, b \in \R$. Potom máme
 	$$ \Cov (X, Y) = \Cov(X, aX + b) = \E [X(aX + b)] - \E X \E (aX + b) = $$