diff --git a/skripta.pdf b/skripta.pdf index 5179bc3..fe859fb 100644 Binary files a/skripta.pdf and b/skripta.pdf differ diff --git a/skripta.tex b/skripta.tex index 1e4ce8c..81f305d 100644 --- a/skripta.tex +++ b/skripta.tex @@ -7,6 +7,7 @@ \usepackage{enumerate} \usepackage{derivative} \usepackage[hidelinks]{hyperref} +\usepackage{mathtools} \setdefaultlanguage{czech} \XeTeXlinebreaklocale "cs" @@ -26,8 +27,13 @@ \DeclareMathOperator{\Corr}{Corr} \DeclareMathOperator{\Cov}{Cov} \DeclareMathOperator{\sd}{sd} - \DeclareMathOperator{\sgn}{sgn} +\DeclareMathOperator{\bias}{bias} +\DeclareMathOperator{\se}{se} +\DeclareMathOperator{\MSE}{MSE} + +\DeclarePairedDelimiter\ceil{\lceil}{\rceil} +\DeclarePairedDelimiter\floor{\lfloor}{\rfloor} \newcommand*{\R}{\mathbb{R}} \newcommand*{\N}{\mathbb{N}} @@ -47,5 +53,8 @@ \include{stredni-hodnota} \include{stochasticke-nerovnosti} \include{stochasticke-konvergence} +\include{statisticke-uceni} +\include{statisticke-funkcionaly} +\include{ukazkove-pisemky} \end{document} diff --git a/statisticke-funkcionaly.tex b/statisticke-funkcionaly.tex new file mode 100644 index 0000000..bb2983a --- /dev/null +++ b/statisticke-funkcionaly.tex @@ -0,0 +1,12 @@ +\section{Statistické funkcionály} + +Nechť $X_1, \dots, X_n$ je IID náhodný výběr z $F$ s rozsahem výběru $n$. Chceme odhadnout $F$ jejím empirickým protějškem. + +\begin{definition}[ECDF] + Pro $x \in \R$ definujeme + $$ \hat F_n(x) = \frac{1}{n}\sum_{i = 1}^n \chi_{\{X_i \leq x\}}. $$ +\end{definition} + +Takto definovaná empirická distribuční funkce splňuje všechny vlastnosti normální distribučních funkcí a přiřazuje váhu $\frac{1}{n}$ každému pozorování $X_i$. Dále budeme používat relativní četnost $X$ menších nebo rovných pevnému $x$, to znamená $\frac{1}{n} |\{X_i \leq x\}|$. + +\hfill \textit{konec 16. přednášky (14.4.2025)} diff --git a/statisticke-uceni.tex b/statisticke-uceni.tex new file mode 100644 index 0000000..887b6a7 --- /dev/null +++ b/statisticke-uceni.tex @@ -0,0 +1,158 @@ +\section{Statistické učení} + +V této kapitole se budeme věnovat základům matematické statistiky, což je obor, který bude středobodem naší pozornosti po celý zbytek semestru. Začneme formalizací pojmů týkajících se opakovaného provádění experimentu a charakterizací statistických modelů. + +\begin{definition} + Pokud jsou $X_1, \dots, X_n$ nezávislé a každá má stejné marginální rozdělení a distribuční funkci $F$, říkáme, že $X_1, \dots, X_n$ jsou IID (nezávislé a stejně rozdělené) a píšeme + $$ X_1, \dots, X_n \overset{IID}\sim F. $$ + Takové $X_1, \dots, X_n$ nazýváme \textit{náhodný výběr} velikosti $n$ z $F$. +\end{definition} + +Obecně si představujeme měřitelná zobrazení $X_1, \dots, X_n$. V praxi však většinou dostaneme pouze reálná čísla $X_i(\omega)$ pro pro jedno konkrétní $\omega \in \Omega$. Možná rozdělení těchto náhodných veličin budeme modelovat pomocí takzvaných parametrických modelů, tedy množin $\mathcal{F}$ rozdělení, jež se dají parametrizovat konečným počtem parametrů. + +\begin{example}[Normální model] + \label{ex-normal-model} + $$ \mathcal{F} = \left\{ f(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left\{- \frac{(x - \mu)^2}{2\sigma^2} \right\}, \mu \in \R, \sigma^2 > 0\right\}. $$ + Taková data pochází z normálního rozdělení se dvěma parametry $\mu$ a $\sigma^2$. +\end{example} + +Všechny parametrické modely můžeme obecně zapsat ve tvaru +$$ \mathcal{F} = \{ f(\cdot; \vec \theta) : \vec \theta \in \vec \Theta \subseteq \R^d \}. $$ +V dalším textu budeme využívat následující značení: +$$ P_\theta[X\in A] := \int_A f(x; \theta) dx; $$ +$$ \E_\theta[g(X)] := \int_\R g(x) f(x; \theta) dx. $$ + +Velkou skupinou modelů jsou také neparametrické modely, který nemůžeme parametrizovat konečným počtem parametrů. Například, celou funkci hustoty můžeme považovat za nekonečnědimenzionální prostor. Uvedeme si jeden příklad takového neparametrického modelu. + +\begin{example}[Model Sobolevova prostoru] + $$ \mathcal{F} = \left\{ f: \int_\R (f''(x))^2 dx < \infty \right\}. $$ + Data pochází z rozdělení s nepříliš ``vlnitou" hustotou. +\end{example} + +\begin{definition} + \textit{Bodový odhad} $\hat \theta_n$ parametru $\theta$ je měřitelná funkce $t$ náhodných veličin $X_1, \dots, X_n$: + $$ \hat \theta_n = t(X_1, \dots, X_n). $$ +\end{definition} + +V této definici předpokládáme, že $\theta$ je pevné ale neznámé reálné číslo (vektor). Avšak získaný odhad $\hat \theta_n$ je sice náhodná veličina, ale umíme ji přesně charakterizovat. + +\begin{definition} + Odhad $\hat \theta_n$ je \textit{nestranný}, pokud $\E[\hat \theta_n] = \theta$ pro všechna $n \in \N$. \textit{Vychýlení} odhadu definujeme jako $\bias(\hat \theta_n) := \E[\hat \theta_n] - \theta$. Odhad je \textit{konzistentní}, jestliže $\hat \theta_n \overset P \to \theta$ pro $n \to \infty$. + +\end{definition} + +V dnešní době je díky vývoji výpočetní techniky nestrannost více upozaďována, větší důraz proto klademe na konzistenci modelu. + +\begin{definition} + Rozdělení odhadu $\hat \theta_n$ nazýváme \textit{výběrové rozdělení}. Standardní odchylku $\hat \theta_n$ nazýváme \textit{standardní chyba} $\se(\hat \theta_n) = \sqrt{\Var \hat \theta_n}$. +\end{definition} + +V těchto případech je standardní chyba $\se$ neznámá veličina (parametr), ale obvykle ji můžeme odhadnout. Takovou odhadnutou standardní chybu značíme $\widehat \se$. + +\begin{example} + \label{ex-coin-bernoulli} + Mějme Bernoulliho náhodný výběr $X_1, \dots, X_n \overset{IID}\sim Be(p)$ a parametr $p \in (0, 1)$. Potom můžeme uvažovat odhad + $$ \hat p_n := \frac{1}{n} \sum_{i=1}^n X_i $$ + a z toho získáme odhad standardní chyby (díky nezávislosti a stejné rozdělenosti máme $\Var(\hat p_n) = \frac{p(1 - p)}{n}$). Jelikož přesná hodnota $p$ je neznámá, musíme tento parametr také odhadnout, proto + $$ \widehat \se(\hat p_n) := \sqrt{\frac{\hat p_n(1 - \hat p_n)}{n}}. $$ +\end{example} + +\begin{definition} + Kvalitu bodového odhadu můžeme posuzovat pomocí \textit{střední kvadratické chyby} + $$ \MSE(\hat \theta_n) := \E_\theta [\hat \theta_n - \theta]^2. $$ +\end{definition} + +Mějme na paměti, že $\E_\theta$ se v případě nezávislých a stejně rozdělených $X_i$ vztahuje k očekávané hodnotě vzhledem k rozdělení +$$ f(x_1, \dots, x_n; \theta) = \prod_{i=1}^n f(x_i; \theta). $$ + +\begin{theorem}[Rozklad střední kvadratické chyby] + \label{thm-mse-bias-var} + Mějme odhad $\hat \theta_n$. Pak vždy platí $\MSE(\hat \theta_n) = \bias^2(\hat \theta_n) + \Var(\hat \theta_n)$. +\end{theorem} + +\begin{proof} + Rozepsáním definice dostáváme + $$ \MSE[\hat \theta_n] = \E_\theta[\hat \theta_n - \theta]^2 = \E_\theta\left\{ [\hat \theta_n - \E\hat \theta_n + \E\hat \theta_n - \theta]^2 \right\} = $$ + $$ \E_\theta\left\{[\hat \theta_n - \E \hat\theta_n]^2 - 2[\hat\theta_n - \E\hat\theta_n][\E\hat\theta_n - \theta] + [\E\hat\theta_n - \theta]^2 \right\} = $$ + $$ = \Var(\hat\theta_n) + \bias^2(\hat\theta_n), $$ + kde poslední rovnost plyne z toho, že druhý sčítanec je nulový, což plyne z linearity střední hodnoty. +\end{proof} + +\begin{theorem}[Postačující podmínka pro konzistenci] + \label{thm-consistence-sufficient-condition} + Nechť platí $\bias(\hat \theta_n) \to 0$ a $\Var(\hat \theta_n) \to 0$. Potom platí $\hat\theta_n$ je konzistentní. +\end{theorem} + +\begin{proof} + Z Věty \ref{thm-mse-bias-var} dostáváme, že $\MSE(\hat\theta_n) = \E_\theta[\hat\theta_n - \theta]^2 \to 0$. Z definice $L_2$ konvergence dostáváme, že $\hat\theta_n \overset{L_2}\to \theta$. Zbytek dostáváme z faktu, že $L_2$ konvergence implikuje konvergenci v pravděpodobnosti. +\end{proof} + +\begin{example} \label{ex-coin-consistent} + Mějme stejnou situaci jako v Příkladu \ref{ex-coin-bernoulli}. Jelikož náš odhad je nestranný ($\E(\hat p_n) = p$) a $\Var(\hat p_n) = \frac{p(1 - p)}{n} \to 0$ pro $n \to \infty$, dostáváme díky Větě \ref{thm-consistence-sufficient-condition}, že $\hat p_n \overset P \to p$. +\end{example} + +\begin{definition} + Odhad $\hat \theta_n$ parametru $\theta$ se nazývá \textit{asymptoticky standardně normální}, jestliže pro $n \to \infty$ platí + $$ \frac{\hat \theta_n - \theta}{\se(\hat \theta_n)} \overset D \to N(0, 1). $$ +\end{definition} + +\begin{definition} + $(1-\alpha)$-\textit{interval spolehlivosti} (konfidenční interval) pro parametr $\theta$ je interval $C_n = (a, b)$, kde $a = a(X_1, \dots, X_n)$ a $b = b(X_1, \dots, X_n)$ jsou měřitelné funkce dat takové, že pro všechna $\theta \in \Theta$ + $$ P_\theta[\theta \in C_n] = 1 - \alpha. $$ + \textit{Asymptotický} (přibližný) $(1 - \alpha)$-\textit{interval spolehlivosti} pro parametr $\theta$ je interval $C_n$ takový, že pro všechna $\theta \in \Theta$ + $$ \lim_{n \to \infty} P_\theta [\theta \in C_n] = 1 - \alpha. $$ +\end{definition} + +Tato definice říká, že interval $C_n$ zachytí $\theta$ s pravděpodobností (přibližně) $1 - \alpha$. Tento parametr nazýváme \textit{pokrytí} intervalu spolehlivosti (CI). Interval spolehlivosti je náhodná veličina, i přestože $\theta$ je pevné deterministické. Pro vícerozměrné prostory uvažujeme kouli/elipsoid spolehlivosti (ale toto rozšíření je komplikovanější, protože na $\R^d, d>1$ neexistuje vhodné uspořádání). + +\hfill \textit{konec 15. přednášky (8.4.2025)} + +\begin{example}[Interval spolehlivosti a normalita] + Mějme stejný setup jako v Příkladu \ref{ex-normal-model}, tedy $X_1, \dots, X_n \overset{IID}\sim N(\mu, \sigma^2)$ a parametr $\mu \in \R$ je \textit{neznámý} a má být \textit{odhadnut} (bodový odhad a konfidenční interval), $\sigma^2 > 0$ je předpokládáno \textit{známé}. + + Nezávislost a stejná rozdělenost nám poskytuje možnost pracovat s mnohorozměrným vektorem $\vec X := (X_1, \dots, X_n)^T \sim ((\mu, \dots, \mu)^T, \sigma^2 I_n)$. + + Uvažujme bodový odhad $\hat \mu_n = \frac{1}{n} \sum_{i=1}^n X_i \equiv \bar X_n$. Tento odhad je konzistentní, což plyne ze zákona velkých čísel \ref{thm-weak-lln}. + Z linearity normálních rozdělení dostáváme $\sqrt{n}(\hat \mu_n - \mu) / \sigma \sim N(0, 1)$. + + Nechť $u_\beta := \Phi^{-1}(\beta)$ je $\beta$-kvantil ($\beta \in (0, 1)$) standardního normálního rozdělení a nechť $Y = \sqrt{n}\frac{\bar X_n - \mu}{\sqrt{\sigma^2}}$. Potom + $$ P[ -u_{1 - \alpha/2} \leq Y \leq u_{1 - \alpha/2}] = P[Y \leq u_{1 - \alpha/2}] - P[Y \leq - u_{1 - \alpha/2}] = $$ + $$ 1 - \frac{\alpha}{2} - \frac{\alpha}{2} = 1 - \alpha$$ + pro všechna $n \in \N$ a $\mu \in \R$. Ve druhé rovnosti jsme použili vlastnost $u_\beta = -u_{1 - \beta}$, která se snadno ověří přímým dosazením do definice distribuční funkce normálního rozdělení. + + Jednoduchými algebraickými úpravami získáme nerovnost pro $\mu$ (zapíšeme to rovnou ve tvaru intervalu): + $$ \mu \in \left(\bar X_n - u_{1 - \alpha / 2} \sqrt{\frac{\sigma^2}{n}}, \bar X_n + u_{1 - \alpha/2} \sqrt{\frac{\sigma^2}{n}}\right). $$ + Tento interval je $1 - \alpha$ interval spolehlivosti pro hodnotu $\mu$. Tedy s pravděpodobnosti $1 - \alpha$ leží hodnota $\mu$ v tomto intervalu. + + Pro výpočet také můžeme použít centrální limitní větu, v tomto případě dostaneme stejný interval spolehlivosti (s poznámkou, že jde o přibližný, tedy asymptotický interval spolehlivosti). +\end{example} + +Zkoumejme délku získaného intervalu spolehlivosti. Z předchozího příkladu máme délku $2u_{1 - \alpha/2}\sqrt{\frac{\sigma^2}{n}}$. Poznamenejme si, že s klesajícím $\alpha$ (povolená tolerance) roste délka intervalu. Taktéž roste délka intervalu s rostoucím rozptylem $\sigma^2$ a klesajícím rozsahem výběru $n$. Mějme danou délku $d$. Kolik pozorování potřebujeme, abychom získali interval spolehlivosti užší než $d$? Vychází +$$ n \geq \floor*{\frac{4u^2_{1 - \alpha/2} \sigma^2}{d^2}} + 1. $$ + +\begin{theorem}[Interval spolehlivosti založený na normalitě] + Předpokládejme, že $\hat \theta_n$ je asymptoticky standardně normální odhad parametru $\theta$ a $\widehat\se(\hat \theta_n)$ je konzistentní odhad $\se(\theta_n)$, tj. $\widehat\se(\hat \theta_n) - \se(\hat \theta_n) \overset P \to 0$. Nechť $u_{1 - \alpha/2}$ je $(1 - \alpha/2)$-kvantil standardního normálního rozdělení a + $$ C_n = \left(\hat \theta_n - u_{1 - \alpha/2}\widehat\se(\hat\theta_n), \hat\theta_n + u_{1 - \alpha/2}\widehat\se(\hat\theta_n)\right).$$ + Pak + $$P_\theta[\theta \in C_n] \overset {n\to\infty} \to 1 - \alpha.$$ +\end{theorem} + +\begin{proof} + Z definice asymptoticky standardně normálního odhadu máme + $$ \frac{\hat \theta_n - \theta}{\se(\hat\theta_n)} \overset D \to N(0, 1) $$ + a máme konzistentní odhad standardní chyby odhadu + $$ \widehat\se(\hat\theta_n H) - \se(\hat\theta_n) \overset P \to 0. $$ + + Ze Slutského věty (Věta \ref{thm-slutsky}) dostáváme $Y := \frac{\hat\theta_n - \theta}{\widehat\se(\hat\theta_n)} \overset D \to N(0, 1)$. Potom již platí + $$ \lim_{n \to \infty} P[-u_{1 - \alpha/2} \leq Y \leq u_{1 - \alpha/2}] = \Phi(u_{1 - \alpha_2}) - \Phi(u_{\alpha/2}) = 1 - \alpha. $$ +\end{proof} + +Neformálně zapisujeme $\theta_n \approx N(\theta, \widehat\se(\hat\theta_n))$. Přibližně platí pro $95\%$-intervaly spolehlivosti $\alpha = 0.05$ a $u_{0.975} \approx 1.96 \approx 2$ vedoucí k explicitnímu intervalu spolehlivosti $\hat\theta_n \pm 2\widehat\se(\hat\theta_n)$. + +\begin{example} + Pokračujeme v Příkladu \ref{ex-coin-consistent}. Již jsme spočítali $\hat p_n \overset P \to p$, $\se(\hat p_n) = \sqrt{p(1 - p)/n}$ a $\widehat\se(\hat p_n) := \sqrt{\hat p_n(1 - \hat p_n) / n}$. Ze Slutského věty pak máme $\widehat\se(\hat p_n) - \se(\hat p_n) \overset P \to 0$. + + Z centrální limitní věty dostáváme, že $\frac{\hat p_n - p}{\se(\hat p_n)} \overset D \to N(0, 1)$. Dále opětovným použitím Slutského věty získáme $\frac{\hat p_n - p}{\widehat\se(\hat p_n)} \overset D \to N(0, 1)$. Tedy z předchozí věty + $$ \hat p_n \pm u_{1 - \alpha/2} \sqrt{\hat p_n(1 - \hat p_n)/n} $$ + je asymptotický (přibližný) $(1 - \alpha)$-interval spolehlivosti pro $p$. +\end{example} diff --git a/stochasticke-konvergence.tex b/stochasticke-konvergence.tex index 57d377a..e3b83ad 100644 --- a/stochasticke-konvergence.tex +++ b/stochasticke-konvergence.tex @@ -18,6 +18,7 @@ V této kapitole budeme studovat druhy konvergence v pravděpodobnostních prost \end{definition} \begin{theorem}[Implikace mezi typy konvergence] + \label{thm-convergence-types} Platí následující implikace \begin{enumerate}[(i)] \item $X_n \overset{P-\text{s.j.}}{\longrightarrow} X \implies X_n \overset{P}{\rightarrow} X$; @@ -112,4 +113,159 @@ Uvedeme si několik protipříkladů, na kterých si ukážeme, že implikace op \hfill \textit{konec 12. přednášky (25.3.2025)} + Zřejmě $B_\delta \to \emptyset$ pro $\delta \to 0^+$. Potom můžeme psát + $$ P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon) = P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon \cap |\vec X_n - \vec X| \geq \delta) + $$ + $$ P(|g(\vec X_n) - g(\vec X)| \geq \varepsilon \cap |\vec X_n - \vec X| < \delta) \leq P(|\vec X_n - X| \geq \delta) + P(\vec X \in B_\delta). $$ + Jelikož $\delta$ bylo voleno libovolně, platí $P(\vec X \in B_\delta) \overset{\delta \to 0}\to 0$ a $P(|\vec X_n - \vec X| \geq \delta) \overset{n \to 0} \to 0$, čímž jsme dokázali konvergenci v pravděpodobnosti. \end{proof} + +Poznámka: z $\vec{X}_n \overset{L_p}\to \vec{X}$ nutně neplyne $g(\vec{X}_n) \overset{L_p}\to g(\vec{X})$. + +Dalším významným tvrzením teorie pravděpodobnosti je takzvaná Slutského věta (v anglické literatuře se také používá název Cramer-Slutského věta). + +\begin{theorem}[Slutského věta] + \label{thm-slutsky} + Pokud $X_n \overset{D}\to X$ a $Y_n \overset P \to c \in \R$, pak $X_n + Y_n \overset D \to X + c$ a $X_nY_n \overset D \to cX$. +\end{theorem} + +\begin{proof} + Dokážeme pouze výrok pro součet, část pro součin se dokáže analogicky. + + Mějme $x \in \R$ bod, v němž je spojitá distribuční funkce veličiny $X + c$. Potom $x - c$ je nutně bodem spojitosti distribuční funkce $F_X$. Zvolme $\eta > 0$. Potom existuje $\varepsilon_0 > 0$ takové, že $|F_X(x - c) - F_X(x - c - \varepsilon)| < \frac{\eta}{3}$ pro každé $|\varepsilon| < \varepsilon_0$. + + Jelikož $F_X$ je distribuční funkce, má nejvýše spočetně mnoho bodů nespojitosti. Dokážeme tuto vlastnost. Nechť tedy $D$ je množina bodů nespojitosti $F_X$. Pak $\forall y \in D: F_X(y_-) < F_X(y^+)$, tedy existuje racionální číslo $q_y \in \mathbb{Q}$ takové, že $F_X(y_-) < q_y < F_X(y^+)$. Jelikož $F_X$ je neklesající, pak $y \neq z \in D \implies q_y \neq q_z$. Tedy zobrazení $y \mapsto q_y$ je prosté. + + Z toho máme, že v každém okolí bodu $x - c$ můžeme nalézt vlevo i vpravo od $x - c$ nějaký bod, v němž je $F_X$ spojitá. Z definice spojitosti existuje $0 < \varepsilon < \varepsilon_0$ takové, že $F_X$ je spojitá v $x - c + \varepsilon$ i v $x - c - \varepsilon$. Potom + $$ P(X_n + Y_n \leq x) = P(X_n + Y_n \leq x \cap |Y_n - c| < \varepsilon) + P(X_n + Y_n \leq x \cap |Y_n - c| \geq \varepsilon) \leq $$ + $$ P(X_n + c \leq x + \varepsilon \cap |Y_n - c| < \varepsilon) + P(|Y_n -c| \geq \varepsilon) \leq $$ + $$ P(X_n \leq x - c + \varepsilon) + P(|Y_n - c| \geq \varepsilon).$$ + + Jelikož $F_X$ je spojitá v bodě $x - c + \varepsilon$ a $Y_n \overset P \to c$, existuje $n_1 \in \N$ takové, že pro všechna $n \geq n_1$ platí $P(X_n \leq x - c + \varepsilon) \leq P(X_n \leq x - c) + \frac{\eta}{3}$ a zároveň $P(|Y_n - c| \geq \varepsilon) \leq \frac{\eta}{3}$. Dohromady pro $n \geq n_1$ máme + $$ P(X_n + Y_n \leq x) \leq P(X \leq x - c + \varepsilon) + \frac{2}{3}\eta \leq P(X \leq x - c) + \eta. $$ + Opačná nerovnost se dokáže analogicky. Pro $n \geq \max\{n_1, n_2\}$ dohromady máme + $$ P(X + c \leq x) - \eta \leq P(X_n + Y_n \leq x) \leq P(X + c \leq x) + \eta. $$ + Jelikož $\eta > 0$ bylo voleno libovolně, věta je dokázaná. +\end{proof} + +Z této věty okamžitě plyne následující důsledek (neboť konvergence v pravděpodobnosti implikuje konvergenci v distribuci, viz Věta \ref{thm-convergence-types}, vlastnosti (iv) a (v)). + +\begin{corollary} + Pokud $x_n \overset P \to a \in \R$ a $Y_n \overset P b \in \R$, potom $X_n + Y_n \overset P \to a + b$ a $X_nY_n \overset P \to ab$. +\end{corollary} + +Ještě budeme potřebovat následující větu, která ekvivalentně charakterizuje konvergenci v distribuci, její důkaz je však aktuálně nad naše schopnosti. + +\begin{theorem}[Lévyho věta o spojitosti] + \label{thm-levy} + Platí $\vec X_n \overset D \to \vec X \Leftrightarrow \varphi_{\vec X_n}(\vec t) \to \varphi_{\vec X}(\vec t)$ pro všechna $\vec t \in \R^d$. +\end{theorem} + +Ukážeme si explicitní vyjádření charakteristické funkce normálního rozdělení. + +\begin{example} + Nechť $X \sim N(\mu, \sigma^2)$. Potom platí + $$\varphi_X(t) = \exp\left\{i\mu t - \frac{1}{2}\sigma^2 t^2\right\}.$$ +\end{example} + +\begin{proof} + Nejdříve uvažujme $X \sim N(0, 1)$ standardní normální rozdělení. Potom + $$ \varphi_X(t) = \E[\exp\{itx\}] = \E[\cos(tx)] + i\E[\sin(tx)] = $$ + $$ \int_{-\infty}^\infty \cos(tx)dP_X + i \int_{-\infty}^\infty \sin(tx)dP_X = \E[\cos(tX)], $$ + kde poslední rovnost plyne z faktu, že $\sin$ je lichá funkce, a tedy příslušný integrál je nulový. + Zderivujeme $\varphi_X(t)$ s použitím majoranty $x$. + $$ \odv*{\varphi_X(t)}{t} = - \int_{-\infty}^\infty x \sin(tx) dP_X = -\int_{-\infty}^\infty x \sin(tx) \frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{x^2}{2}\right\} dx = $$ + $$ \overset{p.p.}= [x\sin(tx)f_X(x)]^\infty_{-\infty} - \int_{-\infty}^\infty t\cos(tx)f_X(x) dx = -t\E[\cos(tX)]. $$ + + Dostali jsme, že $\odv*{\varphi_X(t)}{t} = -t\varphi_X(t)$. Tato diferenciální rovnice s počáteční podmínkou $\varphi_X(0) = \cos 0 = 1$ má jediné řešení $\varphi_X(t) = \exp\left\{-\frac{t^2}{2}\right\}$. + + Potom pro $Y = \mu + \sigma X$ ($Y \sim N(\mu, \sigma^2)$) dosadíme a aplikujeme výsledek pro standardní rozdělení, dostaneme + $$ \varphi_Y(t) = \E[\exp\{itY\}] = E[\exp\{it(\mu + \sigma X\}) = $$ + $$ \exp\{it\mu\}\cdot\E[\exp\{i(t\sigma)X\} = \exp\left\{it\mu - \frac{1}{2}\sigma^2 t^2\right\}. $$ +\end{proof} + +\hfill \textit{konec 13. přednášky (31.3.2025)} + +\begin{definition} + \textit{Posloupností nezávislých náhodných veličin} rozumíme posloupnost náhodných veličin $\{X_n\}_{n \in \N}$ takovou, že pro každou $J \subset \N$, $|J| < \infty$ a všechna $\{x_j\}_{j \in J}$ platí + $$ F_{\{X_j\}_{j \in J}}(\{x_j\}_{j \in J}) = \prod_{j \in J} F_{X_j}(x_j). $$ +\end{definition} + +\begin{definition} + $\{X_n\}_{n \in \N}$ je \textit{posloupnost nezávislých stejně rozdělených náhodných veličin (IID)}, jestliže to je posloupnost nezávislých náhodných veličin majících stejnou distribuční funkci. +\end{definition} + +Tyto definice lze celkem snadno přepsat i pro náhodné vektory (cvičení). + +\begin{theorem}[Slabý zákon velkých čísel] + \label{thm-weak-lln} + Jestliže $\{X_n\}_{n \in \N}$ je IID posloupnost náhodných veličin a $\E |X_1| < \infty$, pak + $$\bar{X}_n := \frac{1}{n} \sum_{i=1}^n X_i \overset P {\underset {n\to\infty} \to} \E X_1. $$ +\end{theorem} + +\begin{proof} + Rozvineme komplexní exponenciálu do Taylorova rozvoje do prvního řádu. Platí $e^{ity} = 1 + ity + o(t)$ pro všechna $y \in \R$. Potom $\E[e^{itY}] = 1 + it\E Y + o(t)$. + Dále můžeme počítat + $$ \varphi_{\bar X_n}(t) = \varphi_{\frac{1}{n} \sum X_i}(t) = \varphi_{\frac{\sum X_i}{n}}(t) = \left(\varphi_{\frac{X_1}{n}}(t)\right)^n = \left(\varphi_{X_1}\left(\frac t n\right)\right)^n = $$ + $$ \left(\E[e^{\frac{itX_1}n}]\right)^n = \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n.$$ + Pro $n \to \infty$ dále máme + $$ \lim_{n \to \infty} \varphi_{\bar X_n}(t) = \lim_{n \to \infty} \left(1 + \frac{it}n\E X_1 + o\left(\frac t n\right)\right)^n = \lim_{n\to\infty} (\E[e^{it\E X_1 / n}])^n = $$ + $$ \lim_{n\to\infty} (e^{it\E X_1 / n})^n = e^{it\E X_1} = \varphi_{\E X_1}(t). $$ + Z Lévyho věty (Věta \ref{thm-levy}) tedy dostáváme konvergenci $\bar X_n \overset D \to \E X_1$ v distribuci. Dále využijeme faktu, že jestliže posloupnost konverguje v distribuci ke konstantě, potom máme i konvergenci v pravděpodobnosti, čímž je důkaz ukončen. +\end{proof} + +Jestliže konvergenci v pravděpodobnosti nahradíme konvergencí skoro jistě, dostaneme silný zákon velkých čísel. Jeho důkaz je však nad rámec tohoto kurzu. Kdybychom předpokládali, že $\Var X_1 < \infty$, pak tvrzení plyne okamžitě z Čebyševovy nerovnosti (Věta \ref{thm-chebyshev}). + +\begin{theorem}[Centrální limitní věta] + \label{thm-central-limit-theorem} + Pokud $\{X_n\}_{n \in \N}$ je posloupnost IID náhodných veličin s $\E X_1^2 < \infty$ a $\Var X_1 > 0$, pak + $$ Z_n := \sqrt{n} \frac{\bar X_n - \E X_1}{\sqrt{\Var X_1}} \overset D \to Z \sim N(0, 1). $$ + Jinými slovy, pro všechna $x \in \R$, + $$ \lim_{n \to \infty} P[Z_n \leq x] = \Phi(x) \equiv \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} e^{\frac{-t^2}{2}} dt. $$ + Zkráceně tedy máme $Z_n \overset D {\underset {n\to\infty} \to} N(0, 1)$. +\end{theorem} + +\begin{proof} + Tentokrát budeme potřebovat rozvoj exponenciály do druhého řádu. Je tedy $e^{ity} = 1 + ity + \frac{(ity)^2}{2} + o(t^2)$. Potom také + $\E[e^{itY}] = 1 + it\E Y - \frac{t^2}{2}\E Y^2 + o(t^2)$. + + Definujme $Y_n := \frac{(X_n - \E X_1)}{\sqrt{\Var X_1}}$. Pak $\E Y_n = 0, \Var Y_n = 1$ a platí + $$\frac{1}{\sqrt{n}} \sum_{i = 1}^n Y_i = \sqrt{n} \left(\frac{1}{n} \sum_{i=1}^n Y_i\right) = \sqrt{n}\bar Y_n = \sqrt{n}\frac{\bar X_n -\E X_1}{\sqrt{\Var X_1}} =: Z_n$$ + pro každé $n \in \N$. Dále můžeme počítat + $$ \varphi_{Z_n}(t) = \varphi_{\sum_{i=1}^n \frac{1}{\sqrt{n}} Y_i} (t) = \left(\varphi_{\frac{Y_1}{\sqrt{n}}}(t)\right)^n = \left(\varphi_{Y_1} \frac{t}{\sqrt{n}}\right)^n = $$ + $$ \left(1 + \frac{it}{\sqrt{n}}\E Y_1 - \frac{t^2}{2n} \E Y_1^2 + o\left(\frac{t^2}{n}\right)\right)^n = \left(1 - \frac{t^2}{2n} + o\left(\frac{t^2}{n}\right)\right)^n,$$ + neboť $\E Y_1 = 0$ a $\E Y_1^2 = \Var Y_1 = 1$. + Jelikož $e^y = \lim_{n \to \infty} \left( 1 + \frac{y}{n}\right)^n$, dostáváme + $$ \lim_{n \to \infty} \varphi_{Z_n}^t = \lim_{n\to\infty}\left(1 - \frac{t^2}{2n}\right)^n = e^{-\frac{1}{2}t^2} = \varphi_Z(t), $$ + kde $Z \sim N(0, 1)$. Z Lévyho věty (Věta \ref{thm-levy}) je konvergence charakteristických funkcí ekvivalentní konvergenci v distribuci, čímž je důkaz ukončen. +\end{proof} + +Následující věta nám umožní zformulovat mnohorozměrnou verzi centrální limitní věty. + +\begin{theorem}[Cramér-Woldova věta] + Platí $\vec X_n \overset D \to X$ právě tehdy, když pro všechna $\vec t \in \R^d$ platí $\vec t^T \vec X_n \overset D \to \vec t^T \vec X$. +\end{theorem} + +\begin{proof} + Důkaz plyne okamžitě z Věty \ref{thm-levy} a spojitosti lineárních zobrazení. +\end{proof} + +\begin{theorem}[Mnohorozměrná CLT] + Pokud $\{\vec X_n\}_{n \in \N}$ je IID posloupnost $d$-rozměrných náhodných vektorů s pozitivně definitní varianční-kovarianční maticí $\Var \vec X_1$, pak + $$ \sqrt{n}(\bar {\vec X }_n - \E \vec X_1) \overset D \to N_d(\vec 0, \Var \vec X_1), n \to \infty. $$ +\end{theorem} + +\begin{theorem}[Delta metoda] + Pokud $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$ a $g$ je spojitě diferencovatelná v okolí $\mu$ taková, že $g'(\mu) \neq 0$, pak + $$ \sqrt{n}(g(Y_n) - g(\mu)) \overset D \to N(0, (g'(\mu))^2\sigma^2). $$ +\end{theorem} + +\begin{proof} + Podle věty o střední hodnotě dostáváme $g(Y_n) = g(\mu) + g'(\tilde \mu)(Y_n - \mu)$, kde $\tilde \mu$ leží mezi $Y_n$ a $\mu$. Když $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$, potom $Y_n - \mu \overset D \to 0$. Pak tedy i $Y_n - \mu \overset P \to 0$. Jelikož $|\tilde \mu - \mu | \leq |Y_n - \mu|$, musí platit, že $\tilde \mu - \mu \overset P \to 0$. Dle věty o spojitém zobrazení (Věta \ref{thm-continuous-mapping}) dostáváme $g'(\tilde \mu) \overset P \to g(\mu)$ (předpokládáme spojitost $g'$). + + Dále můžeme dosadit $\sqrt{n}[g(Y_n) - g(\mu)] = g'(\tilde\mu)\sqrt{n}(Y_n - \mu)$. Nakonec, ze Slutského věty (Věta \ref{thm-slutsky}) máme (využili jsme předpoklad, že $\sqrt{n}(Y_n - \mu) \overset D \to N(0, \sigma^2)$) + $$ \sqrt{n}[g(Y_n) - g(\mu)] \overset D \to N(0, [g'(\mu)]^2 \sigma^2). $$ +\end{proof} + +Obdobně se dá zformulovat i mnohorozměrná delta-metoda (za předpokladu nenulovosti jakobiánu $g$). + +\hfill \textit{konec 14. přednášky (1.4.2025)} diff --git a/stochasticke-nerovnosti.tex b/stochasticke-nerovnosti.tex index 7f18045..839dc08 100644 --- a/stochasticke-nerovnosti.tex +++ b/stochasticke-nerovnosti.tex @@ -28,6 +28,7 @@ V této kapitole budeme studovat užitečné nerovnosti, které budeme moci apli \end{proof} \begin{theorem}[Čebyševova nerovnost] + \label{thm-chebyshev} Nechť $X$ je náhodná veličina a předpokládejme, že $\E[X]$ existuje, potom pro každé $\varepsilon > 0$ platí $$ P[|X - \E X| \geq \varepsilon] \leq \frac{\Var[X]}{\varepsilon^2}. $$ \end{theorem} diff --git a/stredni-hodnota.tex b/stredni-hodnota.tex index 16b917d..34b7bd7 100644 --- a/stredni-hodnota.tex +++ b/stredni-hodnota.tex @@ -273,12 +273,12 @@ Budeme pokračovat základními vlastnostmi variančních matic, které se chova \begin{proof} Dokážeme první vlastnost. Případ $m = 0$ je triviální, nechť tedy máme $m > 0$. Nejdříve budeme uvažovat případ $m = 1$ a chceme použít větu o konvergentní majorantě. Nechť tedy - $$ g(X) := e^\frac{-\varepsilon x}{2} + e^\frac{\varepsilon x}{2}, $$ + $$ g(x) := e^\frac{-\varepsilon x}{2} + e^\frac{\varepsilon x}{2}, $$ potom platí $\exp{tx} \leq g(x)$ pro všechna $t \in [-\varepsilon/2, \varepsilon/2]$ a libovolné $x \in \R$. Dále z předpokladu máme, že $$ \int_\R g(x) dP_X(x) = \psi_X(-\varepsilon/2) + \psi_X(\varepsilon/2) < +\infty. $$ Dostáváme, že $g$ je hledaná konvergentní majoranta. Z věty o konvergentní majoranty tedy můžeme provést záměnu integrálu a derivace. $$ \odv*{\psi(t)}{t} = \odv{}{t} \int_\R e^{tx} dP_X(x) = \int_\R xe^{tx} dP_X(x) \overset{t = 0}{=} \int_\R xdP_X(x) = \E X^1.$$ - Zbytek se dokáže indukcí s použitím stejné majoranty, v $m$-tém kroku dostaneme $\int_\R x^mdP_X(x) =: \E X^m$. + Zbytek se dokáže indukcí s použitím podobné majoranty, v $m$-tém kroku dostaneme $\int_\R x^mdP_X(x) =: \E X^m$. Druhou vlastnost dokážeme přímým rozepsáním definice $$ \psi_Y(t) = \psi_{aX + b}(t) = \E[\exp(taX + tb)] = \E[\exp\{atX\}e^{tb}] = $$ diff --git a/ukazkove-pisemky.tex b/ukazkove-pisemky.tex new file mode 100644 index 0000000..fa09a10 --- /dev/null +++ b/ukazkove-pisemky.tex @@ -0,0 +1,146 @@ +\appendix +\section{Ukázková zápočtová písemka -- Varianta A} + +\begin{example} + V šesti urnách máme v každé 10 míčků. V jedné urně je osm černých, ve dvou urnách je po pěti černých a ve třech urnách je po $k$ černých. Zbylé míčky jsou bílé. + \begin{enumerate}[(a)] + \item Nechť $k = 3$. Z náhodně vybrané urny jsem s vracením vytáhli dva míčky, oba bílé. S jakou pravděpodobností bylo v urně pět černých míčků? \\ + \textit{Nechť $V_i$ je událost, že byla vybrána urna s $i$ bílými míčky, $H$ je událost, že oba vytažené míčky jsou bílé. Z Bayesovy věty (Věta \ref{thm-bayes}) máme, že $P(V_5|H) = P(H|V_5)\frac{P(V_5)}{P(H)}$. Dále máme, že $P(H|V_5) = \left(\frac{1}{2}\right)^2 = \frac{1}{4}$ a $P(V_5) = \frac{2}{6} = \frac{1}{3}$. Nakonec spočteme + $$ P(H) = \sum_i P(H|V_i)P(V_i) = \frac{1}{6}\cdot\left(\frac{1}{5}\right)^2 + \frac{2}{6} \cdot\left(\frac{1}{2}\right)^2 + \frac{3}{6}\cdot\left(\frac{7}{10}\right)^2 = \frac{67}{200}.$$ + Dosazením do výše uvedeného vzorce dostáváme $P(V_5|H) = \frac{1}{4}\cdot\frac{1}{3}\cdot\frac{200}{67} = \frac{50}{201}$.} + \item Kolik musí být $k$, aby pravděpodobnost vytažení černého míčku z náhodně vybrané urny byla $\frac{1}{2}$. \\ + \textit{Využijeme větu o úplné pravděpodobnosti (Věta \ref{thm-complete-probability}). Nechť $B, W$ jsou jevy, že jsme vytáhli černý/bílý míček a $A_i$ reprezentuje jev, že byla vybrána $i$-tá urna. Platí + $$ \frac{1}{2} = P[B] = \sum_{i = 1}^n P[B | A_i] P[A_i] = \underbrace{P[B | A_1]A_1}_{\frac{8}{10}\cdot\frac{1}{6} = \frac{2}{15}} + \underbrace{2 \cdot P[B | A_2]A_2}_{2\cdot\frac{5}{10}\cdot\frac{1}{6} = \frac{1}{6}} + $$ + $$ \underbrace{3 \cdot P[B | A_4] P[A_4]}_{3\cdot \frac{k}{10}\frac{1}{6} = \frac{k}{20}} = \frac{2}{15} + \frac{1}{6} + \frac{k}{20} = \frac{6 + k}{20}. $$ + Vyřešením této lineární rovnice dostáváme, že $k =4$.} + \item Nechť $k = 2$. Náhodně vybereme jednu urnu, kterou vynecháme, ze zbylých náhodně vytáhneme po jednom míčku. Jaká je pravděpodobnost, že všechny vytažené míčky jsou bílé? \\ + \textit{Nechť $V_i$ je událost, že byla vyřazena $i$-tá urna. Potom nechť $W_i$ je událost, že byl vytažen bílý míček z $i$-té urny. Jevy $W_i$ jsou navzájem nezávislé a zároveň jsou nezávislé jevy $W_j$ a $V_i$ pro $i \neq j$. Označme hledanou pravděpodobnost $P$, můžeme psát + $$ P = \sum_{i = 1}^6 P(V_i) \left(\prod_{j \neq i} P(W_j)\right) = \underbrace{\frac{1}{6} \left(\left(\frac{5}{10}\right)^2\cdot\left(\frac{8}{10}\right)^3\right)}_{\frac{8}{375}} + $$ + $$ \underbrace{\frac{2}{6}\left(\frac{2}{10}\cdot\frac{5}{10}\cdot\left(\frac{8}{10}\right)^3\right)}_{\frac{32}{1875}} + + \underbrace{\frac{3}{6}\left(\frac{2}{10}\cdot\left(\frac{5}{10}\right)^2\cdot\left(\frac{8}{10}\right)^2\right)}_{\frac{2}{125}} = \frac{34}{625}. $$} + \end{enumerate} +\end{example} + +\begin{example} + Náhodná veličina $Y$ má spojité rozdělení s hustotou + $$f_Y(y) = \begin{cases}3e^{-3y}, y \geq 0; \\ 0, \text{jinak.}\end{cases}$$ + Definujeme $U := \ceil*{Y}$ a $V := \ceil*{Y} - Y$ (tedy horní celou a frakcionální část $Y$). + \begin{enumerate}[(a)] + \item Určete rozdělení náhodné veličiny $U$. \\ + \textit{Zřejmě půjde o diskrétní rozdělení, kde pro $u \geq 1$ budeme mít + $$ P[U = u] = P[u - 1 < Y < u] =\int_{u - 1}^u 3e^{-3y} dy = e^{-3u}(e^3 - 1). $$ + } + \item Určete rozdělení náhodné veličiny $V$. \\ + \textit{Tentokrát půjde o spojité rozdělení, spočteme jeho distribuční funkci. Pro $v \in (0, 1)$ máme + $$ F_V(v) = P[V < v] = \sum_{t=1}^\infty \int_{t-v}^{t} 3e^{-3y} dy = \sum_{t = 1}^\infty e^{-3t}(e^{3v} - 1) = \frac{e^{3v} - 1}{e^3 - 1}. $$ + Pro $v \leq 0$ je $F_V$ nulová, pro $v \geq 1$ máme $F_V(v) = 1$.} + \item Spočtěte $\E(Ye^{-Y} - 1)$. \\ + \textit{Využijeme pravidlo líného statistika (Věta \ref{thm-lazy-statistician}) s transformací $t(y) = ye^{-y}$, dostaneme + $$ \E(Ye^{-Y}) = \int_0^\infty (ye^{-y}\cdot 3e^{-3y}) = \int_0^\infty 3ye^{-4y} = \frac{3}{16}. $$ + S využitím linearity střední hodnoty dostaneme $\E(Ye^{-Y} - 1) = \E(Ye^{-Y}) - 1 = -\frac{13}{16}$.} + \end{enumerate} +\end{example} + +\begin{example} + Náhodný vektor $(X, Y)^T$ má spojité rozdělení s hustotou + $$ f(x, y) = \begin{cases} ay, -1 < x < -1, 0 < y \leq x^2;\\0,\text{jinak},\end{cases}$$ + kde $a \in \R$ je vhodná konstanta. + \begin{enumerate}[(a)] + \item Určete $a \in \R$. \\ + \textit{Platí, že integrál hustoty přes celý prostor je roven $1$. Můžeme tedy psát + $$1 = \int_{-1}^1 \int_0^{x^2} ay dy dx = \frac{a}{5}. $$ + Tedy $a = 5$.} + \item Určete marginální rozdělení a střední hodnotu náhodné veličiny $X$. \\ + \textit{Platí pro $|x| < 1$ (jinde je hustota nulová) + $$ f_X(x) = \int_\R f(x, y) dy = \int_0^{x^2} 5y dy = \frac{5x^4}{2}, $$ + dále spočteme + $$ \E[X] = \int_{-1}^{1} xf_X(x) dx = \int_{-1}^1 \frac{5x^5}{2} = 0. $$} + \item Určete $P(0 < X < \sqrt{2Y})$.\\ + \textit{Nalezneme průsečík grafů funkcí $y = x^2$ a $x = \sqrt{2y}$. Máme $y = x^2 = \frac{1}{2}x^2$, tedy grafy těchto funkcí se protnou pouze počátku a jinde je hodnota druhé funkce ostře menší než hodnota první. Požadovaná podmínka je splněna pro hodnoty $(x, y) \in \R^2$, které se nachází mezi těmito dvěma parabolami. Můžeme tedy integrovat + $$ P(0 < X < \sqrt{2Y}) = \int_0^1 \int_{\frac{1}{2}x^2}^{x^2} 5y dy dx = \frac{3}{8}.$$} + \item Spočtěte kovarianci veličin $X$ a $Z$, kde $Z = XY$. + \textit{Dle známého vzorce máme $\Cov(X, XY) = \E(X\cdot XY) - \E X\E XY = \E[X^2Y] -\E X \E XY$. Opět s využitím pravidla líného statistika můžeme integrovat + $$ \Cov(X, XY) = \int_{-1}^1 \int_{0}^{x^2} x^2y\cdot 5y dy dx - 0 = \frac{10}{27}.$$} + \item Rozhodněte, zda jsou veličiny $X$ a $Y$ nezávislé a své rozhodnutí zdůvodněte. + \textit{Náhodné veličiny $X$ a $Y$ nejsou nezávislé, neboť + $$ 0 = P[0 < x < \frac{1}{2}, y > \frac{1}{4}] \neq P[0 < x < \frac{1}{2}] P[y > \frac{1}{4}], $$ + jelikož zjevně ani jeden z činitelů na pravé straně není nulový.} + \end{enumerate} +\end{example} + +\section{Ukázková zápočtová písemka -- Varianta B} + +\begin{example} + Máme šest truhel a v každé z nich je jedna stříbrná mince. Do jedné truhly vložíme tři zlaté mince, do dvou truhel dvě zlaté mince a do zbylých tří truhel po jedné zlaté minci (dohromady jsme tak dodali deset zlatých mincí). + \begin{enumerate}[(a)] + \item Z náhodně vybrané truhly dvakrát táhneme s vracením. Jaká je pravděpodobnost, že vytáhneme jednu zlatou a jednu stříbrnou minci.\\ + \textit{Nechť $H$ je událost, že jsme vytáhli jednu zlatou a jednu stříbrnou minci z dané truhly a $V_i$ jsou události, že jsme náhodně vybrali $i$-tou truhlu. Potom $P(H) = 2\frac{p-1}{p}\cdot\frac{1}{p}$ ($p$ je počet mincí v dané truhle, chceme jednu zlatou a jednu stříbrnou a nezáleží na pořadí) a $P(V_i) = \frac{1}{6}$. Potom ze zákona úplné pravděpodobnosti dostáváme + $$P(H) = \sum_{i =1}^6 P(V_i)P(H|V_i) = \frac{1}{6}\cdot2\cdot\frac{1}{4}\cdot\frac{3}{4} + \frac{2}{6}\cdot2\cdot\frac{1}{3}\cdot\frac{2}{3} + \frac{3}{6}\cdot2\cdot\frac{1}{2}\cdot\frac{1}{2} = $$ + $$ \frac{1}{16} + \frac{4}{27} + \frac{1}{4} = \frac{199}{432}.$$} + \item Z náhodně vybrané truhly jsme dvakrát táhli s vracením a vytáhli jednu zlato a jednu stříbrnou mincí (bez ohledu na pořadí). S jakou pravděpodobností to byla truhla s alespoň dvěma zlatými mincemi?\\ + \textit{Z Bayesovy věty (Věta \ref{thm-bayes}) máme (použijeme stejnou notaci jako v předchozím příkladu) $P(V_i | H) = P(H | V_i) \frac{P(V_i)}{P(H)}$. Chceme spočítat + $$\sum_{i=1}^3 P(V_i|H) = \sum_{i=1}^3 P(H | V_i) \frac{P(V_i)}{P(H)} = \frac{1}{P(H)} (P(H | V_1) P(V_1) + $$ + $$ 2 P(H | V_2) P(V_2)) = \frac{432}{199} \left(2\cdot\frac{1}{4}\cdot\frac{3}{4}\cdot\frac{1}{6} + 2\cdot2\cdot\frac{1}{3}\cdot\frac{2}{3}\cdot\frac{1}{6}\right) = \frac{91}{199}.$$} + \item Náhodně vybereme tři truhly a z každé náhodně vytáhneme po jedné minci. S jakou pravděpodobností bude alespoň jedna z nich zlatá?\\ + \textit{Spočteme nejdříve pravděpodobnost opačného jevu, tedy události, že budou vytaženy tři stříbrné mince. Označme $V_{(i,j,k)}$ pravděpodobnost, že bylo náhodně zvoleno $i$ truhel se třemi zlatými mincemi, $j$ truhel se dvěma a $k$ truhel s jednou zlatou mincí. Pravděpodobnost tohoto jevu se spočte pomocí vzorce + $$P(V_{(i, j, k)}) = \frac{\binom{1}{i}\binom{2}{j}\binom{3}{k}}{\binom{6}{3}} = \frac{\binom{2}{j}\binom{3}{k}}{20}.$$ + Dále označme $S$ jev, že byly vytaženy $3$ stříbrné mince. Potom + $$P(S) = \sum_{i,j,k} P(V_{(i,j,k)}) \frac{1}{4^i}\cdot\frac{1}{3^j}\cdot\frac{1}{2^k}.$$ + Možné hodnoty $i, j, k$ a příslušné pravděpodobnosti $P(V_{(i, j, k)})$ zapíšeme do tabulky. + \begin{center}\begin{tabular}{ccc|c|c} + $i$ & $j$ & $k$ & $P(V_{(i, j, k)})$ & sčítanec v $P(S)$ \\ + \hline + $1$ & $2$ & $0$ & $1/20$ & $1/720$ \\ + $1$ & $1$ & $1$ & $6/20$ & $1/80$ \\ + $1$ & $0$ & $2$ & $3/20$ & $3/320$ \\ + $0$ & $0$ & $3$ & $1/20$ & $1/160$ \\ + $0$ & $2$ & $1$ & $3/20$ & $1/120$ \\ + $0$ & $1$ & $2$ & $6/20$ & $1/40$ \\ + \end{tabular}\end{center} + Potom $P(S) = \frac{181}{2880}$ a tedy hledaná pravděpodobnost vytažení alespoň jedné zlaté mince je $P(S^C) = 1 - P(S) = \frac{2699}{2880}$.} + \end{enumerate} +\end{example} + +\begin{example} + Náhodná veličina $X$ má spojité rozdělení s hustotou + $$ f(x) = \begin{cases}2e^{-2x}, x \geq 0;\\0, \text{jinak}.\end{cases} $$ + Definujme $U := \floor{X}$ a $V := X - \floor{X}$ (jinými slovy spodní celá část a frakcionální část $X$). + \begin{enumerate}[(a)] + \item Určete rozdělení náhodné veličiny $U$.\\ + \textit{Jedná se o diskrétní náhodnou veličinu s pravděpodobnostní funkci + $$P[U = u] = \int_u^{u + 1} f(x) dx = \left[-e^{-2x}\right]^{u + 1}_u = e^{-2u}(1 - e^{-2})$$ + pro $u \geq 0$.} + \item Určete rozdělení náhodné veličiny $V$.\\ + \textit{Tentokrát máme spojitou náhodnou veličinu, spočteme její distribuční funkci. Nechť $v \in (0, 1)$, potom + $$ F_V(v) = P[V \leq v] = \sum_{u = 0}^\infty \int_0^v f(u + t) dt = \sum_{u = 0}^\infty \int_0^v 2e^{-2u}e^{-2t}dt = $$ + $$ \sum_{u = 0}^\infty e^{-2u} (1 - e^{-2v}) = \frac{1 - e^{-2v}}{1 - e^{-2}}. $$ } + Pro $v \leq 0$ máme $F_V(v) = 0$, pro $v \geq 1$ máme $F_V(v) = 1$. + \item Spočtěte $\E (Xe^{-X} - 1)$. \\ + \textit{S využitím pravidla líného statistika (Věta \ref{thm-lazy-statistician}) dostáváme (transformace $t(x) = xe^{-x} - 1$) + $$ \E t(X) = \int_0^\infty t(x) f(x) dx = \int_0^\infty (xe^{-x} - 1)2e^{-2x}dx = \frac{2}{9} - 1 = -\frac{7}{9}. $$ + } + \end{enumerate} +\end{example} + +\begin{example} + Náhodný vektor $(X, Y)^T$ má spojité rozdělení s hustotou + $$f(x, y) = \begin{cases}2x, 0 < x < 1, -x^2 < y < x^2;\\0,\text{jinak}.\end{cases}$$ + \begin{enumerate}[(a)] + \item Určete $P(0 < 2Y < X^2)$.\\ + \textit{Počítáme obsah útvaru mezi osou $x$ a křivkou $y = \frac{1}{2}x^2$ s hustotou $f(x, y)$. Máme integrál + $$ \int_0^1 \int_0^{\frac{1}{2}x^2} 2x dy dx = \int_0^1 x^3 dx = \frac{1}{4}. $$} + \item Určete marginální rozdělení a střední hodnotu veličiny $X$.\\ + \textit{Hustotu $f_X$ získáme zintegrováním hustoty $f(x, y)$ přes všechny možné hodnoty $y$, tedy + $$ f_X(x) = \int_{-x^2}^{x^2} 2x dy = 4x^3. $$ + Dále platí + $$ \E X = \int_0^1 x f_X(x) dx = \int_0^1 4x^4 dx = \frac{4}{5}. $$} + \item Spočtěte kovarianci veličin $X$ a $W$, kde $W = X^2Y$.\\ + \textit{Platí, že $\Cov(X, X^2Y) = E[X^3Y] - E[X]E[X^2Y]$, tedy potřebujeme dopočítat chybějící střední hodnoty + $$ E[X^3Y] = \int_0^1 \int_{-x^2}^{x^2} x^3 y \cdot 2x dy dx = 0;$$ + $$ E[X^2Y] = \int_0^1 \int_{-x^2}^{x^2} x^2 y \cdot 2x dy dx = 0,$$ + (v obou případech je integrand lichý v proměnné $y$, a tedy integrál přes interval $[-a, a]$ je roven nule). + Vychází $\Cov(X, X^2Y) = 0 - 0 = 0$.} + \item Rozhodněte, zda jsou veličiny $X$ a $Y$ nezávislé a své rozhodnutí zdůvodněte.\\ + \textit{Veličiny $X$ a $Y$ nejsou nezávislé, neboť $P[0 < X < \frac{1}{2}, Y > \frac{1}{4}] = 0 \neq P[0 < X < \frac{1}{2}]P[Y > \frac{1}{4}]$ (součin zřejmě nenulových hodnot).} + \end{enumerate} +\end{example}