prednaska 11.3.2025 + random fix preklepu

nahodne-jevy.tex

@@ -206,6 +206,6 @@ Použití Bayesovy věty si ukážeme na následujícím příkladu.
 
 \begin{proof}
 	Dokazujeme indukcí podle počtu náhodných jevů. Z definice podmíněné pravděpodobnosti víme, že $P(A_2 \cap A_1) = P(A_2 | A_1) P(A_1)$. Dále 
-	$$P\left(\bigcap_{i=1}^n\right) = P\left(A_n \cap \left(\bigcap_{i=1}^{n-1} A_i\right)\right) = P\left(A_n | \bigcap_{i=1}^{n-1}\right) P\left(\bigcap_{i=1}^{n-1}\right),$$
+	$$P\left(\bigcap_{i=1}^n\right) = P\left(A_n \cap \left(\bigcap_{i=1}^{n-1} A_i\right)\right) = P\left(A_n | \bigcap_{i=1}^{n-1} A_i\right) P\left(\bigcap_{i=1}^{n-1}\right),$$
 	čímž je důkaz ukončen.
 \end{proof}

nahodne-veliciny.tex

@@ -27,6 +27,7 @@ V předchozí kapitole jsme mluvili o pravděpodobnostním rozdělení, je na č
 Máme tedy jakýsi obraz míry $P$ v zobrazení $P_X$ čímž se $(\Omega, \mathcal{A}, P)$ zobrazí na pravděpodobnostní prostor $(\mathbb{R},\mathcal{B}(\mathbb{R}),P_X)$. V opačném směru můžeme použít takzvané kanonické vnoření do prostoru $(\mathbb{R}, \mathcal{B}, P_X)$, kde naší zvolenou měřitelnou funkcí bude identita, tedy není potřeba se bát, že by příslušný prostor nemusel existovat. Následující věta říká, že nezáleží ve kterém z těchto dvou prostorů integrujeme libovolnou funkci.
 
 \begin{theorem}[O přenosu integrace]
+	\label{thm-pushforward-measure}
 	Buď $g$ měřitelná funkce na měřitelném prostoru $(\mathbb{M}, \mathcal{M})$ a $X: (\Omega, \mathcal{A}, P) \rightarrow (\mathbb{M}, \mathcal{M})$.
 	Nechť $P_X$ je míra na $\mathcal{M}$ indukovaná zobrazením $X$, tedy $P_X(M) = P[X^{-1}(M)]$ pro $M \in \mathcal{M}$. Potom, je-li aspoň jedna strana definována, platí
 	$$\int_\Omega g[X(\omega)] dP(\omega) = \int_\mathbb{M} g(x) dP_X(x).$$
@@ -289,17 +290,20 @@ Distribuční funkce $N(0, 1)$ nejde vyjádřit analyticky, máme jen $\Phi(x) :
 \hfill \textit{konec 5. přednášky (3.3.2025)}
 
 \begin{definition}[$\chi^2$-rozdělení]
+	\label{def-chi-2}
 	Náhodná veličina $X$ má $\chi^2$-rozdělení s $p$ stupni volnosti (zapisujeme $X \sim \chi_p^2$) právě tehdy, když
 	$$ f_X(x) = \frac{1}{\Gamma(p/2) 2^{(p/2)}} x^{p/2 - 1} e^{-x/2} \chi_{\{x > 0\}}.$$
 	Máme-li soubor nezávislých náhodných veličin $X_1,\dots,X_p \sim N(0, 1)$, potom součet jejich druhých mocnin odpovídá $\chi^2$-rozdělení, $\sum_{i=1}^p X_i^2 \sim \chi_p^2$.
 \end{definition}
 
 \begin{definition}[Studentovo $t$-rozdělení]
+	\label{def-student}
 	Náhodná veličina $X$ má Studentovo $t$-rozdělení s $\nu$ stupni volnosti (zapisujeme $X \sim t_\nu$) právě tehdy, když
 	$$ f_X(x) = \frac{\Gamma((\nu + 1)/2)}{\Gamma(\nu/2)\sqrt{\pi\nu}} \frac{1}{(1+x^2/\nu)^{(\nu+1)/2}}. $$
 \end{definition}
 
 \begin{definition}[Cauchyho rozdělení]
+	\label{def-cauchy}
 	Cauchyovo rozdělení je speciální případ $t$-rozdělení, když $\nu = 1$. Potom platí
 	$$ f_X(x) = \frac{1}{\pi (1 + x^2)}.$$
 	K zajímavým vlastnostem Cauchyova rozdělení patří například to, že nemá střední hodnotu (bude upřesněno později).
@@ -461,7 +465,7 @@ $$ P[X_l \leq x_l] =: F_{X_l}(x_l). $$
 	Náhodné veličiny $X_1, \dots, X_d$ jsou \textit{nezávislé}, pokud $F_{\vec{X}} (\vec{x}) = \prod_{l = 1}^d F_{X_l} (x_l)$ pro každý vektor $\vec{x} = [x_1 \dots, x_d]^T \in \mathbb{R}^d$.
 \end{definition}
 
-Analogicky s předchozí definicí definujeme nezávislost náhodných vektorů.
+Analogicky s předchozí definicí definujeme nezávislost náhodných vektorů. V literatuře se vyskytuje i jiná, ekvivaletní, definice nezávislosti, kterou uvedeme později.
 
 \begin{definition}
 	Náhodné vektory $\vec{X}_1, \dots, \vec{X}_d$ jsou \textit{nezávislé}, pokud
@@ -510,3 +514,67 @@ Dalším důležitým pojmem je takzvaný nosič náhodné veličiny. Rozumíme
 \end{proof}
 
 \hfill \textit{konec 7. přednášky (10.3.2025)}
+
+\begin{theorem}[Alternativní (ekvivalentní) definice nezávislosti]
+	Náhodné veličiny $X_1, \dots, X_d$ jsou nezávislé právě tehdy, když
+	$$ P_{\vec{X}} = \otimes_{l=1}^d P_{X_l}. $$
+\end{theorem}
+
+\begin{proof}
+	Začneme implikací zprava doleva ($\Leftarrow$). Jestliže pro všechny množiny $B_l \in \mathcal{B}(\mathbb{R}), l = 1,\dots,d$ platí
+	$$ P_{\vec{X}} (\times_{l=1}^d B_l) = \prod_{l=1}^d P_{X_l}(B_l), $$
+	pak vezmeme $B_l = (-\infty,x_l]$ pro fixní $\vec{x} = [x_1, \dots, x_d]$ generátory borelovské $\sigma$-algebry a můžeme počítat
+	$$ F_{\vec{X}} (\vec{x}) = P_{\vec{X}}(\times_{l=1}^d (-\infty, x_l]) = \prod_{l = 1}^d P_{X_l} ((-\infty, x_l]) = \prod_{l = 1}^d F_{X_l} (x_l), $$
+	což je přímo definice nezávislosti.
+
+	K důkazu opačné implikace (předpokládáme platnost $F_{\vec{X}} (\vec{x}) = \prod_{l=1}^d F_{X_l} (x_l)$ pro všechna $\vec{x} \in \mathbb{R}^d$) použijeme Dynkinův systém
+	$$ D = \left\{ \times_{l = 1}^d (-\infty, x_l], x_l \in \mathbb{R}, \forall l \in \{1,\dots,d\}\right\}. $$
+	Tento systém je uzavřený na průniky a generuje celou borelovskou $\sigma$-algebru $\mathcal{B}(\mathbb{R}^d)$. Jelikož $P_{\vec{X}}(\mathbb{R}^d) = 1$, dostáváme z věty o jednoznačnosti míry rovnost obou měr ($P_{\vec{X}}$ a $\otimes_{l=1}^d P_{X_l}$) na celé $\mathcal{B}(\mathbb{R}^d)$.
+\end{proof}
+
+Vrátíme se opět k podmíněnosti, tentokrát budeme zkoumat podmíněnost náhodných veličin. Motivačním příkladem budiž zjištění průměrné mzdy občana, který vystudoval MatFyz na základě znalosti průměrné mzdy všech občanů ČR. Opět se jedná o zjednodušenou definici, ta obecnější bude uvedena v pokročilejších kurzech.
+
+\begin{definition}
+	Pro diskrétní náhodný vektor $[X, Y]^T$ je \textit{podmíněná pravděpodobnostní funkce} $X$ za podmínky $Y = y$ je
+	$$ f_{X | Y} (x | y) \equiv P[X = x | Y = y] := \frac{P[X = x, Y = y]}{P[Y = y]} \equiv \frac{f_{[X, Y]^T} (x, y)}{f_Y(y)}, $$
+	pokud $P[Y = y] > 0$.
+
+	Pro spojitý náhodný vektor $[X, Y]^T$ je \textit{podmíněná hustota} $X$ za podmínky $Y = y$ je
+	$$ f_{X | Y} (x | y) := \frac{f_{(X, Y)} (x, y)}{f_Y(y)}, $$
+	pokud $f_Y(y) > 0$.
+\end{definition}
+
+Je třeba si uvědomit, že podmíněná pravděpodobnostní funkce (hustota) jsou funkce argumentu $x$ s parametrem $y$. V případech nepokrytých touto definicí můžeme definovat podmíněnou pravděpodobnost libovolně. Několik užitečných vzorců pro výpočet podmíněné pravděpodobnosti, pro diskrétní vektor platí $P[X\in A|Y = y] = \sum_{x \in A} P[X = x| Y = y]$ a pro spojitý vektor platí $P[X \in A | Y = y] = \int_A f_{X | Y} (x | y) dy$.
+
+V dalších kapitolách budeme pracovat s mnohorozměrným normálním rozdělením, je proto vhodné si ho zadefinovat už teď. V obecném případě nestačí zadefinovat chování po složkách, je třeba nějakým způsobem zahrnout i vztahy mezi jednotlivými složkami.
+
+\begin{definition}
+	Náhodný vektor $\vec{X} = [X_1, \dots, X_d]^T$ má $d$-\textit{rozměrné normální rozdělení} s parametry $\mu \in \mathbb{R}^d$ a $\Sigma \in \mathbb{R}^{d \times d}$ (značíme $X \sim N_d(\mu, \Sigma)$), pokud existuje $k$-rozměrný náhodný vektor $\vec{Y} = [Y_1, \dots, Y_k]^T$ a matice $\mathbb{A} \in \mathbb{R}^{d \times k}$ takové, že
+	\begin{enumerate}[(i)]
+		\item $\{Y_1, \dots, Y_k\}$ jsou nezávislé;
+		\item $Y_j \sim N(0, 1)$ pro všechny složky $j \in \{1, \dots, k\}$;
+		\item $\mathbb{A}\mathbb{A}^T = \Sigma$;
+		\item $\vec{X} = \mathbb{A}\vec{Y} + \mu$.
+	\end{enumerate}
+\end{definition}
+
+Takto komplikovaná definice je potřeba, neboť matice $\Sigma$ nutně nemusí mít jednoznačně určenou  ``druhou odmocninu", proto musíme použit nějakou druhou odmocninu, která bude případně dávat nižší hodnost. Takto definovaná matice $\mathbb{A}$ a vektor $\mu$ jsou deterministické (nenáhodné). Pozornost si zaslouží tzv. standardní $d$-rozměrné normální rozdělení $N_d(\vec{0}, I_d)$.
+
+Na závěr se budeme chvíli věnovat transformacím náhodných veličin. V obecném případě je možné formalizovat tuto představu pomocí věty o substituci z TMI, avšak pro naše účely postačí uvést jen několik speciálních případů.
+
+Mějme diskrétní náhodnou veličinu $X$ a ne nutně monotónní funkci $t: \mathbb{R}\rightarrow \mathbb{R}$, pro kterou platí $Y := t(X)$. Chceme odvodit pravděpodobnostní funkci $P[Y = y]$. Můžeme psát
+$$ P[Y = y] = P[t(X) = y] = P[X \in t^{-1}(y)] = \sum_{t(x) = y} P[X = x]. $$
+
+Dále mějme spojitou náhodnou veličinu $X$, známe její hustotu $f_X(x)$. Cílem je spočítat hustotu $f_Y(y)$, kde $Y = t(X)$. Pro každé $y$ můžeme nalézt množinu $\mathcal{T}_y = \{x: t(x) \leq y\}$. Poté můžeme spočítat distribuční funkci rozdělení $Y$.
+$$ F_Y(y) = P[Y \leq y] = P[t(X) \leq Y] = P[\omega: t(X(\omega)) \leq Y] = \int_{\mathcal{T}(y)} f_X(x) dx, $$
+hustotu poté můžeme získat pouhým zderivování distribuční funkce $F_y$.
+
+Dále uvažujme případ (dvourozměrného) diskrétního náhodného vektoru $[X, Y]^T$ a transformace $Z = t(X, Y)$. Ze znalosti diskrétního rozdělení vektoru $[X, Y]$ chceme spočítat $P[Z = z]$. Můžeme psát
+$$ P[Z = z] = P[t(X, Y) = z] = P[\omega: t([X, Y]^T(\omega)) = z] = $$
+$$ P[[X, Y]^T \in t^{-1} (z)] = \sum_{t(x, y) = z} P[X = x, Y = y].$$
+
+Nakonec mějme spojitý náhodný vektor $[X, Y]^T$, pro nějž známe hustotu $f_{[X, Y]^T}(x, y)$ a chceme získat hustotu $f_Z(z)$, jestliže náhodná veličina $Z$ je definována $Z := t(X, Y)$.
+V analogii se spojitou náhodnou veličinou nalezneme pro každé $z \in \mathbb{R}$ množinu $\mathcal{T}(z) = \{ [x, y]: t(x, y) \leq z \}$. Opět spočteme distribuční funkci $F_Z$ pomocí následujících kroků
+$$ F_Z(z) = P[Z \leq z] = P[t(X, Y) \leq z] = P[\omega: t([X, Y]^T(\omega)) \leq z] = $$
+$$ \iint_{\mathcal{T}(z)} f_{[X, Y]^T} (x, y) dxdy,$$
+hustotu $f_Z$ opět můžeme získat pomocí zderivování funkce $F_Z$.

skripta.tex

@@ -33,5 +33,6 @@
 
 \include{nahodne-jevy}
 \include{nahodne-veliciny}
+\include{stredni-hodnota}
 
 \end{document}

stredni-hodnota.tex

@@ -0,0 +1,118 @@
+\section{Střední hodnota}
+
+V této kapitole se budeme věnovat pojmu střední hodnoty, laicky řečeno, kolem jaké hodnoty se nachází naše rozdělení. Nejedná se ani o průměr ani o prostřední, případně nejčastější hodnotu, tyto pojmy zadefinujeme později a ve statistice mají svůj vlastní význam odlišný od střední hodnoty.
+
+\begin{definition}
+	\textit{Střední hodnota} náhodné veličiny $X$ je reálné číslo
+	$$ \mathbb{E}[X] = \mathbb{E}X = \int XdP \equiv \int X(\omega) dP(\omega), $$
+	pokud pravá strana existuje.
+\end{definition}
+
+Tato definice je velmi teoretická, k praktickému výpočtu se hodí následující věta, kde převedeme integrál na výpočet pomocí obrazu pravděpodobnostní míry.
+
+\begin{theorem}
+	\label{thm-expected-value}
+	Střední hodnota náhodné veličiny $X$ je $\mathbb{E}X = \int x dP_X(x)$, pokud pravá strana existuje.
+\end{theorem}
+
+\begin{proof}
+	Z věty o přenosu integrace (\ref{thm-pushforward-measure}) při volbě $g = Id$ a $(\mathbb{M}, \mathcal{M}) = (\mathbb{R}, \mathcal{B})$ dostáváme požadované tvrzení.
+\end{proof}
+
+Z Radon-Nikodymovy věty ihned plyne následující pozorování
+
+\begin{observation}
+Střední hodnota veličiny $X$ je
+	$$ \mathbb{E}X = \begin{cases}\int_{-\infty}^\infty xf_X(x) dx, X \text{ spojitá};\\
+	\sum_{x \in S(X)} xP[X = x], X \text{ diskrétní}. \end{cases} $$
+\end{observation}
+
+Střední hodnota nemusí existovat vždy, jeden z takových případů uvedeme v následujícím příkladu.
+
+\begin{example}
+	Pokud $X \sim Cauchy$ (Definice \ref{def-cauchy}), pak $\mathbb{E}X$ neexistuje. Pomocí integrování per partes můžeme počítat
+	$$ \int_0^\infty \frac{x}{\pi(1 + x^2)} dx = [x \arctan(x)]_0^\infty - \int_0^\infty \arctan(x) dx = \infty. $$
+	Dostali jsme, že pro integrál přes celou reálnou přímku není definován výraz $\infty - \infty$.
+\end{example}
+
+Uvažujme teď transformaci $Y = t(X)$. Následující věta nám umožní počítat střední hodnotu transformované náhodné veličiny.
+
+\begin{theorem}[Pravidlo líného statitika]
+	\label{thm-lazy-statistician}
+	Buď $t: \mathbb{R} \rightarrow \mathbb{R}$ měřitelná funkce a nechť $Y = t(X)$. Pak
+	$$ \mathbb{E} Y = \int t(x) dP_X(x), $$
+	pokud pravá strana existuje.
+\end{theorem}
+
+\begin{proof}
+	Z Věty \ref{thm-pushforward-measure} dostáváme
+	$$ \mathbb{E} Y = \mathbb{E} [ t(X) ] = \int_\mathbb{R} t(X(\omega)) dP(\omega) = \int_\mathbb{R} t(x) dP_X(x). $$
+\end{proof}
+
+Poznamenejme si explicitní vzorce pro transformaci spojitých a diskrétní náhodných veličin, které jsou přímým důsledkem předchozí věty:
+
+\begin{corollary}
+	Mějme náhodné veličiny $X$ a $Y$ takové, že platí $Y = t(X)$ pro nějakou transformaci $t: \mathbb{R} \rightarrow \mathbb{R}$. Má-li $X$ diskrétní rozdělení, potom
+	$$ \mathbb{E}Y = \sum_{x \in S(x)} t(x) P[X = x]. $$
+	Je-li $X$ spojitá, potom platí
+	$$ \mathbb{E}Y = \int_{\mathbb{R}} t(x) f_X(x) dx. $$
+\end{corollary}
+
+Přímé využití pravidla líného statistika si uvedeme v definici a aplikacích následujícího pojmu, který jistým způsobem umožňuje charakterizovat chování rozdělení.
+
+\begin{definition}
+	Pro reálné číslo $k$ definujeme $k$-tý \textit{moment} náhodné veličiny $X$ jako $\mathbb{E}[X^k]$ za předpokladu, že $\mathbb{E}[|X|^k] < \infty$. Dále definujeme $k$-tý \textit{absolutní moment} jako $\mathbb{E}[|X|^k]$, pokud existuje.
+\end{definition}
+
+V praxi se nejčastěji setkáme s momenty jen pro $k$ přirozené, pokud nebude řečeno jinak, všechny momenty budou mít přirozený parametr.
+
+\begin{theorem}
+	Pokud existuje $k$-tý moment, pak existuje $l$-tý moment pro jakékoli $l \in \{1, \dots, k\}$.
+\end{theorem}
+
+\begin{proof}
+	Potřebujeme ukázat, že $E[|X|^l] < \infty$. Můžeme počítat
+	$$ \mathbb{E}[|X|^l] = \int_\mathbb{R} |x|^l dP_X(x) = \int_{|x| \leq 1} |x|^l dP_X(x) + \int_{|x| > 1} |x|^l dP_X(x) \leq $$
+	$$ \int_{|x| \leq 1} dP_X(x) + \int_{|x| > 1} |x|^k dP_X(x) \leq \int_\mathbb{R} dP_X(x) + \int_\mathbb{R} |x|^k dP_X(x).$$
+	Dostáváme $1 + \mathbb{E}[|X|^k] < \infty$, čímž je důkaz ukončen.
+\end{proof}
+
+Některá zobrazení mají jen několik prvních momentů a žádné vyšší momenty neexistují.
+
+\begin{example}
+	Pro Studentovo $t$-rozdělení (Definice \ref{def-student}) s $\nu=3$ stupni volnosti platí $\mathbb{E}X = 0$, $\mathbb{E}X^2 = 2$ ale $\mathbb{E}|X|^3 = \infty$. (cvičení)
+\end{example}
+
+Definujeme dále $\mathcal{L}^p$ prostory náhodných veličin, které jsou podobné $L^p$ prostorům z teorie míry a funkcionální analýzy.
+
+\begin{definition}
+	Pro přirozené číslo $p$ definujeme prostor $\mathcal{L}^p$ tak, že $X \in \mathcal{L}^p$, jestliže $\mathbb{E}[|X|^p] < \infty$.
+\end{definition}
+
+V následující větě shrneme pár základních vlastností prostoru $\mathcal{L}^1$, které se mohou hodit při praktických aplikacích.
+
+\begin{theorem}[Základní vlastnosti prostoru $\mathcal{L}^1$]
+	Nechť jsou dány $X_1, \dots, X_d \in \mathcal{L}^1$ a $a_1, \dots, a_d$ jsou konstanty, pak platí linearita ve smyslu
+	$$ \mathbb{E} \left(\sum_{l = 1}^d a_l X_l \right) = \sum_{l = 1}^d a_l \mathbb{E}X_l. $$
+
+	Dále mějme $X_1, \dots, X_d$ nezávislé náhodné veličiny, potom platí
+	$$ \mathbb{E} \left(\prod_{l = 1}^d X_l\right) = \prod_{l = 1}^d \mathbb{E}X_l.$$
+\end{theorem}
+
+\begin{proof}
+	Linearita plyne z věty o přenosu integrace (Věta \ref{thm-pushforward-measure}) a linearity Lebesgueova integrálu.
+	
+	Dokážeme druhou vlastnost. Nejprve ukážeme, že hledaná střední hodnota je dobře definovaná. Uvažujme posloupnost funkcí $\{g_n: \mathbb{R}^d \rightarrow \mathbb{R}\}$ definovaných jako $g_n(\vec{x}) = \prod_{l = 1}^d |x_l| \chi_{\{|x_l| \leq n\}}$. Pak pro každé $n \in \mathbb{N}$ je $g_n(\vec{X})$ omezená existuje její první moment $\mathbb{E} [g_n(\vec{X})] \in \mathbb{R}$. Díky nezávislosti můžeme psát
+	$$ \mathbb{E} [g_n(\vec{X})] = \int_{\mathbb{R}^d} \prod_{l = 1}^d |x_l| \chi_{\{|x_l| \leq n\}} d(\otimes_{l = 1}^d P_{X_l}), $$
+	odkud z Fubiniovy věty a následně linearity integrálu plyne
+	$$ = \int_\mathbb{R} \cdots \int_\mathbb{R} \prod_{l = 1}^d |x_l| \chi_{\{|x_l| \leq n\}} dP_{X_1} \cdots dP_{X_d} = \prod_{l = 1}^d \mathbb{E}[|X_l| \chi_{\{|X_l| \leq n\}}] \leq \prod_{l = 1}^d \mathbb{E}[|X_l|]. $$
+
+	Platí, že funkce $g_n(\vec{x})$ jsou nezáporné a $g_n(\vec{x}) \uparrow \prod_{l = 1}^d |x_l|$ na celém $\mathbb{R}^d$. Tudíž z Leviho věty plyne, že $\mathbb{E}[g_n(X)] \uparrow \mathbb{E}[\prod_{l=1}^d |X_l|]$. Potom ale nutně $\mathbb{E}\left|\prod_{l=1}^d X_l \right| \leq \prod_{l = 1}^d \mathbb{E}|X_l| < \infty$, tedy příslušný první moment existuje.
+
+	Dále můžeme počítat
+	$$ \mathbb{E}\left[\prod_{d=1}^l X_l \right] = \int_{\mathbb{R}^d} \prod_{l=1}^d x_l dP_{\vec{X}} = \int_{\mathbb{R}} \prod_{l=1}^d x_l d(\otimes_{l=1}^d P_{X_l}) = $$
+	$$ \int_{\mathbb{R}}\cdots\int_{\mathbb{R}} \prod_{l=1}^d x_l dP_{X_1} \cdots dP_{X_d} = \prod_{l=1}^d \int_\mathbb{R} x_l dP_{X_l} = \prod_{l=1}^d \mathbb{E}X_l, $$
+	kde druhá rovnost plyne z nezávislosti, třetí z Fubiniovy věty a předposlední z linearity integrálu.
+\end{proof}
+
+\hfill \textit{konec 8. přednášky (11.3.2025)}