\section{Stochastické nerovnosti}

V této kapitole budeme studovat užitečné nerovnosti, které budeme moci aplikovat pro odhady některých statistických veličin. Začneme odhady pro hodnoty pravděpodobnosti samotné (tzv. nerovnosti Markovovského typu)

\begin{theorem}[Markovova nerovnost]
	\label{thm-markov-inequality}
	Nechť $X$ je nezáporná náhodná veličina a předpokládejme, že $\E X$ existuje. Potom pro každé $\varepsilon > 0$ platí
	$$ P[X \geq \varepsilon] \leq \frac{\E X}{\varepsilon}. $$
\end{theorem}

\begin{proof}
	Z předpokladu máme, že $X \geq 0$, tedy $P[X \geq 0] = 1$ a $P[X < 0] = 1 - 1 = 0$. Z toho plyne, že
	$$ \int_{\{\omega\in\Omega: X(\omega) < 0\}} dP(\omega) = 0. $$
	Potom pro $\varepsilon > 0$ máme, že pravděpodobnost
	$$ P[X \geq \varepsilon] = \int_{\{\omega\in\Omega: X(\omega) \geq \varepsilon\}} dP(\omega) \leq \int_{\{\omega \in \Omega: X(\omega) \geq \varepsilon\}} \frac{X(\omega)}{\varepsilon} dP(\omega) \leq $$
	$$ \int_\Omega \frac{X(\omega)}{\varepsilon} dP(\omega) = \frac{1}{\varepsilon} \int_\Omega X(\omega)dP(\omega) = \frac{\E X}{\varepsilon},$$
	kde první nerovnost platí díky tomu, že $X(\omega) > \varepsilon$ a tedy $\frac{X(\omega)}{\varepsilon} > 1$. 
\end{proof}

\begin{corollary}[Zobecněná Markovova nerovnost]
	\label{thm-generalized-markov}
	Nechť $X$ je nezáporná náhodná veličina a předpokládejme, že $\E X^r$ existuje pro nějaké $r > 0$. Potom pro každé $\varepsilon > 0$ platí
	$$ P[X \geq \varepsilon] \leq \frac{\E X^r}{\varepsilon^r}. $$
\end{corollary}

\begin{proof}
	Nechť $Y := X^r$, $\tilde{\varepsilon} = \varepsilon^r$, poté použijeme předchozí větu pro $P[Y \leq \tilde{\varepsilon}]$.
\end{proof}

\begin{theorem}[Čebyševova nerovnost]
	\label{thm-chebyshev}
	Nechť $X$ je náhodná veličina a předpokládejme, že $\E[X]$ existuje, potom pro každé $\varepsilon > 0$ platí
	$$ P[|X - \E X| \geq \varepsilon] \leq \frac{\Var[X]}{\varepsilon^2}. $$
\end{theorem}

\begin{proof}
	Položme $Y = |X - \E X| \geq 0$ a $\tilde{\varepsilon} = \varepsilon^2$, potom stačí aplikovat Větu \ref{thm-markov-inequality}.
\end{proof}

Dále si uvedeme několik nerovnosti, které přímo poskytují odhad pro střední hodnotu.

\begin{theorem}[Cauchy-Schwarzova nerovnost]
	\label{thm-cauchy-schwarz}
	Pokud mají náhodné veličiny $X$ a $Y$ konečné rozptyly, potom
	$$ |\E XY| \leq \sqrt{\E X^2 \E Y^2} \text{ a } |\Cov(X, Y)| \leq \sqrt{\Var X \Var Y}.$$
\end{theorem}

\begin{proof}
	Plyne z důkazu vlastnosti (ii) ve Větě \ref{thm-props-cov-corr} o vlastnostech kovariance a korelace.
\end{proof}

\begin{theorem}[Jensenova nerovnost]
	\label{thm-jensen-inequality}
	Pokud je $g$ konvexní, pak $\E g(X) \geq g(\E X)$. Dále, pokud je $g$ konkávní $\E g(X) \leq g(\E X)$.
\end{theorem}

\begin{proof}
	Nechť máme $t(x) = a + tx$ tečna k funkci $g$ v bodě $\E X$. Pokud $g$ je konvexní, pak $t(x) \leq g(x)$ pro všechna $x \in \R$. Také platí $t(\E X) = g(\E X)$. Potom $E[g(X)] \geq E[t(X)] = E[a + bX] = a + b\E X= t(\E X) = g(\E X)$. Pro konkávní $g$ se tvrzení dokáže analogicky.
\end{proof}