nmsa202/stredni-hodnota.tex
2025-03-23 09:34:07 +01:00

387 lines
24 KiB
TeX

\section{Střední hodnota}
V této kapitole se budeme věnovat pojmu střední hodnoty, laicky řečeno, kolem jaké hodnoty se nachází naše rozdělení. Nejedná se ani o průměr ani o prostřední, případně nejčastější hodnotu, tyto pojmy zadefinujeme později a ve statistice mají svůj vlastní význam odlišný od střední hodnoty.
\begin{definition}
\textit{Střední hodnota} náhodné veličiny $X$ je reálné číslo
$$ \E [X] = \E X = \int XdP \equiv \int X(\omega) dP(\omega), $$
pokud pravá strana existuje.
\end{definition}
Tato definice je velmi teoretická, k praktickému výpočtu se hodí následující věta, kde převedeme integrál na výpočet pomocí obrazu pravděpodobnostní míry.
\begin{theorem}
\label{thm-expected-value}
Střední hodnota náhodné veličiny $X$ je $\E X = \int x dP_X(x)$, pokud pravá strana existuje.
\end{theorem}
\begin{proof}
Z věty o přenosu integrace (\ref{thm-pushforward-measure}) při volbě $g = Id$ a $(\mathbb{M}, \mathcal{M}) = (\R , \mathcal{B})$ dostáváme požadované tvrzení.
\end{proof}
Z Radon-Nikodymovy věty ihned plyne následující pozorování
\begin{observation}
Střední hodnota veličiny $X$ je
$$ \E X = \begin{cases}\int_{-\infty}^\infty xf_X(x) dx, X \text{ spojitá};\\
\sum_{x \in S(X)} xP[X = x], X \text{ diskrétní}. \end{cases} $$
\end{observation}
Střední hodnota nemusí existovat vždy, jeden z takových případů uvedeme v následujícím příkladu.
\begin{example}
Pokud $X \sim Cauchy$ (Definice \ref{def-cauchy}), pak $\E X$ neexistuje. Pomocí integrování per partes můžeme počítat
$$ \int_0^\infty \frac{x}{\pi(1 + x^2)} dx = [x \arctan(x)]_0^\infty - \int_0^\infty \arctan(x) dx = \infty. $$
Dostali jsme, že pro integrál přes celou reálnou přímku není definován výraz $\infty - \infty$.
\end{example}
Uvažujme teď transformaci $Y = t(X)$. Následující věta nám umožní počítat střední hodnotu transformované náhodné veličiny.
\begin{theorem}[Pravidlo líného statitika]
\label{thm-lazy-statistician}
Buď $t: \R \rightarrow \R $ měřitelná funkce a nechť $Y = t(X)$, kde $X$ je nějaká náhodná veličina. Pak
$$ \E Y = \int t(x) dP_X(x), $$
pokud pravá strana existuje.
\end{theorem}
\begin{proof}
Z Věty \ref{thm-pushforward-measure} dostáváme
$$ \E Y = \E [ t(X) ] = \int_\R t(X(\omega)) dP(\omega) = \int_\R t(x) dP_X(x). $$
\end{proof}
Poznamenejme si explicitní vzorce pro transformaci spojitých a diskrétní náhodných veličin, které jsou přímým důsledkem předchozí věty:
\begin{corollary}
Mějme náhodné veličiny $X$ a $Y$ takové, že platí $Y = t(X)$ pro nějakou transformaci $t: \R \rightarrow \R $. Má-li $X$ diskrétní rozdělení, potom
$$ \E Y = \sum_{x \in S(x)} t(x) P[X = x]. $$
Je-li $X$ spojitá, potom platí
$$ \E Y = \int_{\R } t(x) f_X(x) dx. $$
\end{corollary}
Přímé využití pravidla líného statistika si uvedeme v definici a aplikacích následujícího pojmu, který jistým způsobem umožňuje charakterizovat chování rozdělení.
\begin{definition}
Pro reálné číslo $k$ definujeme $k$-tý \textit{moment} náhodné veličiny $X$ jako $\E [X^k]$ za předpokladu, že $\E [|X|^k] < \infty$. Dále definujeme $k$-tý \textit{absolutní moment} jako $\E [|X|^k]$, pokud existuje.
\end{definition}
V praxi se nejčastěji setkáme s momenty jen pro $k$ přirozené, pokud nebude řečeno jinak, všechny momenty budou mít přirozený parametr.
\begin{theorem}
Pokud existuje $k$-tý moment, pak existuje $l$-tý moment pro jakékoli $l \in \{1, \dots, k\}$.
\end{theorem}
\begin{proof}
Potřebujeme ukázat, že $E[|X|^l] < \infty$. Můžeme počítat
$$ \E [|X|^l] = \int_\R |x|^l dP_X(x) = \int_{|x| \leq 1} |x|^l dP_X(x) + \int_{|x| > 1} |x|^l dP_X(x) \leq $$
$$ \int_{|x| \leq 1} dP_X(x) + \int_{|x| > 1} |x|^k dP_X(x) \leq \int_\R dP_X(x) + \int_\R |x|^k dP_X(x).$$
Dostáváme $1 + \E [|X|^k] < \infty$, čímž je důkaz ukončen.
\end{proof}
Některá zobrazení mají jen několik prvních momentů a žádné vyšší momenty neexistují, jako například Studentovo $t$-rozdělení (Definice \ref{def-student}) s $\nu = 3$ stupni volnosti.
\begin{example}
Pro $X \sim t_3$ platí $\E X = 0$, $\E X^2 = 2$ ale $\E |X|^3 = \infty$. (cvičení, použijte per partes)
\end{example}
Definujeme dále $\mathcal{L}^p$ prostory náhodných veličin, které jsou podobné $L^p$ prostorům z teorie míry a funkcionální analýzy.
\begin{definition}
Pro reálné číslo $p$ (v praxi se vystačíme pouze s případem $p \geq 1$) definujeme prostor $\mathcal{L}^p$ tak, že náhodná veličina $X \in \mathcal{L}^p$, jestliže $\E [|X|^p] < \infty$.
\end{definition}
Ukážeme si pár základních vlastností prostoru $\mathcal{L}^1$, které se mohou hodit při praktických aplikacích.
\begin{theorem}[Základní vlastnosti prostoru $\mathcal{L}^1$]
Nechť jsou dány $X_1, \dots, X_d \in \mathcal{L}^1$ a $a_1, \dots, a_d$ jsou konstanty, pak platí linearita ve smyslu
$$ \E \left(\sum_{l = 1}^d a_l X_l \right) = \sum_{l = 1}^d a_l \E X_l. $$
Dále mějme $X_1, \dots, X_d \in \mathcal{L}^1$ nezávislé náhodné veličiny, potom platí
$$ \E \left(\prod_{l = 1}^d X_l\right) = \prod_{l = 1}^d \E X_l.$$
\end{theorem}
\begin{proof}
Linearita plyne z věty o přenosu integrace (Věta \ref{thm-pushforward-measure}) a linearity Lebesgueova integrálu.
Dokážeme druhou vlastnost. Nejprve ukážeme, že hledaná střední hodnota je dobře definovaná. Uvažujme posloupnost funkcí $\{g_n: \R ^d \rightarrow \R \}$ definovaných jako $g_n(\vec{x}) = \prod_{l = 1}^d |x_l| \chi_{\{|x_l| \leq n\}}$. Pak pro každé $n \in \N $ je $g_n(\vec{X})$ omezená a existuje její první moment $\E [g_n(\vec{X})] \in \R $. Díky nezávislosti můžeme psát
$$ \E [g_n(\vec{X})] = \int_{\R ^d} \prod_{l = 1}^d |x_l| \chi_{\{|x_l| \leq n\}} d(\otimes_{l = 1}^d P_{X_l}), $$
odkud z Fubiniovy věty a následně linearity integrálu plyne
$$ = \int_\R \cdots \int_\R \prod_{l = 1}^d |x_l| \chi_{\{|x_l| \leq n\}} dP_{X_1} \cdots dP_{X_d} = \prod_{l = 1}^d \E [|X_l| \chi_{\{|X_l| \leq n\}}] \leq \prod_{l = 1}^d \E [|X_l|]. $$
Platí, že funkce $g_n(\vec{x})$ jsou nezáporné a $g_n(\vec{x}) \uparrow \prod_{l = 1}^d |x_l|$ na celém $\R ^d$. Tudíž z Leviho věty plyne, že $\E [g_n(X)] \uparrow \E [\prod_{l=1}^d |X_l|]$. Potom ale nutně $\E \left|\prod_{l=1}^d X_l \right| \leq \prod_{l = 1}^d \E |X_l| < \infty$, tedy příslušný první moment existuje.
Dále můžeme počítat
$$ \E \left[\prod_{d=1}^l X_l \right] = \int_{\R ^d} \prod_{l=1}^d x_l dP_{\vec{X}} = \int_{\R } \prod_{l=1}^d x_l d(\otimes_{l=1}^d P_{X_l}) = $$
$$ \int_{\R }\cdots\int_{\R } \prod_{l=1}^d x_l dP_{X_1} \cdots dP_{X_d} = \prod_{l=1}^d \int_\R x_l dP_{X_l} = \prod_{l=1}^d \E X_l, $$
kde druhá rovnost plyne z nezávislosti náhodných veličin $X_1,\dots,X_d$, třetí z Fubiniovy věty a předposlední z linearity integrálu.
\end{proof}
\hfill \textit{konec 8. přednášky (11.3.2025)}
Teď definujeme další neplnohodnotnou (jinými slovy, neurčuje danou náhodnou veličinu, případně její rozdělení jednoznačně) charakteristiku. (Poznámka: příkladem plnohodnotné charakteristiky je distribuční funkce rozdělení)
\begin{definition}
\textit{Rozptyl} náhodné veličiny $X$ je definován jako
$$ \Var X = \E (X - \E X) ^ 2, $$
za předpokladu, že pravá strana je dobře definovaná. Pak \textit{směrodatná odchylka} tytéž náhodné veličiny je definovaná je
$$ \sd(X) = \sqrt{\Var X}. $$
\end{definition}
Uvědomme si, že některé volby charakterizování variability rozdělení nejsou vhodné, například na první pohled logické ``$\E (X - \E X)$" je nulová všude, kde je definovaná.
\begin{theorem}[Vlastnosti rozptylu]
\label{thm-properties-disp}
Za předpokladu, že uvažované druhé momenty jsou konečné, potom
$$ \Var X = \E (X^2) - (\E (X))^2 \geq 0. $$
Pokud $a, b \in \R $, pak
$$ \Var (aX + b) = a^2 \Var X, $$
jinými slovy, rozptyl se chová jako kvadratická forma.
Pokud $X_1, \dots, X_2$ jsou nezávislé a $a_1, \dots, a_d$ jsou reálné konstanty, pak
$$ \Var \left(\sum_{l=1}^d a_l X_l\right) = \sum_{l=1}^d a_l^2 \Var X_l. $$
\end{theorem}
\begin{proof}
Dokážeme první vlastnost. Máme
$$ \Var X = \E [(X - \E X)^2] = \E [X^2-2X(\E X) + (\E X)^2] = \E X^2 - 2(\E X)^2 + (\E X)^2, $$
kde předposlední rovnost plyne z linearity střední hodnoty a faktu, že $E[c] = c$ pro konstantu $c$. Nezápornost plyne z toho, že počítáme střední hodnotu nezáporné náhodné veličiny.
Dále pro druhou vlastnost pišme
$$ \Var (aX + b) = \E \left[(aX + b - \E (aX + b))^2\right] = \E [a^2\left(X - \E X\right)^2], $$
kde druhá rovnost plyne z linearity střední hodnoty a rovnosti $ b = \E b$, dále můžeme psát
$$ \E [a^2\left(X - \E X\right)^2] = a^2 \E (X - \E X)^2 = a^2 \Var X. $$
K důkazu poslední vlastnosti začneme opět rozepsáním definice
$$ \Var \left(\sum_{l = 1}^d a_l X_l \right) = \E \left[ \sum_{l = 1}^d a_l X_l - \E \left( \sum_{l=1}^d a_l X_l \right)^2 \right] = \E \left[ \sum_{l = 1}^d a_l(X_l - EX_l)\right]^2 = $$
$$ \E \left[ \sum_{l = 1}^d a_l^2(X_l - \E X_l)^2 + 2\sum_{1 \leq j < l \leq d} a_j a_l (X_j - \E X_j) (X_l - \E X_l) \right] = $$
$$ \sum_{l = 1}^d a_l^2 \E(X_l - \E X_l)^2 + 2 \sum_{1 \leq j < l \leq d} a_j a_l \E (X - \E X_j) (X_l - \E X_l) = \sum_{l = 1}^d a_l^2 \Var X_l, $$
kde poslední rovnost plyne z toho, že v případě $j \neq l$ máme díky nezávislosti
$$ \E (X_j - \E X_j) (X_l - \E X_l) = E[X_j X_l] - \E [X_l] \E [X_j] = 0. $$
\end{proof}
Dalším pojmem, kterému se budeme věnovat, je kovariance a korelace, které charakterizují lineární vztah mezi dvěma náhodnými veličinami.
\begin{definition}
\textit{Kovariance} mezi $X$ a $Y$ je definována jako
$$ \Cov(X, Y) = \textit{E}((X - \E X)(Y - \E Y)). $$
Pokud $\Var(X)\Var(Y) > 0$, pak definujeme \textit{korelaci} mezi $X$ a $Y$ vztahem
$$ \rho_{X, Y} \equiv \Corr(X, Y) = \frac{\Cov(X, Y)}{\sqrt{\Var(X)\Var(Y)}}. $$
\end{definition}
Je třeba si dávat pozor, že tyto pojmy necharakterizují libovolnou souvislost mezi náhodnými veličinami, ale pouze lineární. Navíc, korelace nemusí způsobovat kauzalitu (spotřeba čokolády v dané zemi sice koreluje s počtem Nobelových laureátů, ale nemůžeme zvýšit počet laureátů tím, že zvýšíme spotřebu čokolády).
Dále si všimneme, že z pravidla líného statistika (Věta \ref{thm-lazy-statistician}) okamžitě plynou následující vztahy.
\begin{corollary}
Pro $X, Y$ spojité platí $\E XY = \int_{-\infty}^\infty \int_{-\infty}^\infty xyf_{(X, Y)} (x, y) dx dy$.
Pro $X, Y$ diskrétní platí $\E XY = \sum_{x \in S(X), y \in S(y)} xyP[X = x, Y = y]$.
\end{corollary}
Dále si zformulujeme několik vlastností kovariance a korelace.
\begin{theorem}
Pro náhodné veličiny $X$ a $Y$ platí následující tvrzení (jsou-li příslušné matematické objekty dobře definovány).
\begin{enumerate}[(i)]
\item $\Cov(X, Y) = \E (XY) - \E X \E Y$;
\item $-1 \leq \Corr(X, Y) \leq 1$;
\item $|\Corr(X, Y)| = 1 \Leftrightarrow Y = aX + b$ s pravděpodobnosti $1$ pro nějaké hodnoty $a, b \in \R$.
\item Pro nezávislé $X$ a $Y$ platí $\Cov(X, Y) = 0$. Pozor: opačná implikace nemusí platit (stačí vzít $X \sim U(-1, 1), Y = X^2$).
\end{enumerate}
\end{theorem}
\begin{proof}
Budeme postupovat postupně, k důkazu první vlastnosti použijeme následující výpočet:
$$ \Cov(X, Y) = \E [(X - \E X) (Y - \E Y)] = \E (XY) - \E X \E Y, $$
kde druhá rovnost se získá roznásobením závorek analogicky s důkazem předchozí věty. Z tohoto okamžitě plyne vlastnost (iv), neboť nezávislost $X$ a $Y$ implikuje, že $\E (XY) = \E X \E Y$.
K důkazu vlastnosti (ii) použijeme Cauchyovu-Schwarzovu nerovnost. Definujeme funkci $g(a) := \E (aX - Y)^2$, potom
$$ 0 \leq \E (aX - Y)^2 = \E (a^2X^2 - 2aXY + Y^2) = a^2\E X^2 - 2a\E XY + \E Y. $$
Funkci $g(a)$ můžeme zderivovat, dostáváme
$$ g'(a) = 2a\E X^2 - 2\E XY, $$
svého minima tedy funkce $g$ nabývá v bodě $\frac{\E XY}{\E X^2}$ (bez újmy na obecnosti $\E X^2 \neq 0$, v opačném případě máme $X = 0$ skoro jistě, z čehož vlastnosti z věty plynou triviálně).
Dosadíme tuto hodnotu do předpisu funkce $g(a)$ a dostáváme.
$$ g\left(\frac{\E XY}{\E X^2}\right) = \frac{(\E XY)^2}{\E X^2} - 2 \frac{(\E XY^2)}{\E X^2} + \E Y^2 \geq 0. $$
Z toho již plyne, že $(\E XY)^2 \leq (\E X^2)(\E Y^2)$, z čehož už plyne požadované tvrzení.
Vlastnost (iii) budeme dokazovat po implikacích. Nejdříve předpokládejme, že $Y = aX + b$ pro nějaká $a, b \in \R$. Potom máme
$$ \Cov (X, Y) = \Cov(X, aX + b) = \E [X(aX + b)] - \E X \E (aX + b) = $$
$$ a\E X^2 + b \E X - a(\E X)^2 - b\E X = a\Var X. $$
a můžeme psát
$$ |\Corr(X, Y)| = \frac{|\Cov(X, Y)|}{\sqrt{\Var X \Var Y}} = \frac{|a \Var X|}{\sqrt{\Var{X}a^2 \Var X}} = 1. $$
Nakonec, k důkazu poslední implikace si uvědomíme, že rovnost nastává v případě $|Cor(X, Y)| = \sqrt{\Var X \Var Y}$. To nastane právě tehdy, když
$$[\E(X - \E X) (Y - \E Y)]^2 = [\E (X - \E X)^2] [\E (Y - \E Y)^2].$$
Položme $\tilde{X} = X - \E X$ a $\tilde Y = Y - \E Y$. Předchozí výraz pak bude mít tvar
$$[\E\tilde{X}\tilde{Y}]^2 = \E\tilde{X}^2\E\tilde{Y}^2.$$
Dosadíme $a = \frac{\E\tilde{X}\tilde{Y}}{\E \tilde{X}^2}$ do $g(a)$ z důkazu vlastnosti (ii), dostáváme (všimněte si, že jde o bod, kde funkce $g$ nabývá svého minima) $0 = \E\left[\frac{\E \tilde{X}\tilde{Y}}{\E \tilde{X}^2}\tilde{X} - \tilde{Y}\right]^2$, a tedy musí platit $P[a\tilde{X} - \tilde{Y} = 0] = 1$. Pak s pravděpodobností $1$ musí platit $aX - a\E X + \E Y = Y$, což jsme chtěli dokázat (stačí vzít $b = - a\E X - \E Y$).
\end{proof}
Jednoduchým důsledkem tohoto tvrzení (plyne z důkazu poslední vlastnosti z Věty \ref{thm-properties-disp}) je následující tvrzení umožňující počítat rozptyl součtu ne nutně nezávislých veličin.
\begin{corollary}[Rozptyl součtu]
Pokud $X_1, \dots, X_d \in \mathcal{L}^2$ a $a_1, \dots, a_d$ jsou reálné konstanty, potom
$$ \Var\left(\sum_{l = 1}^d a_l X_l \right) = \sum_{l = 1}^d a_l^2 \Var X_l + 2 \sum_{1 \leq j < l \leq d} a_j a_l \Cov(X_j, X_l).$$
\end{corollary}
Pro vícerozměrné náhodné vektory můžeme definovat obdobné pojmy jako pro náhodné veličiny.
\begin{definition}
\textit{Střední hodnotu} náhodného vektoru $\vec{X}=[X_1, \dots, X_d]^T$ definujeme předpisem
$$ \E \vec{X} = [\E X_1, \dots, \E X_d]^T.$$
\textit{Varianční-kovarianční matice} náhodného vektoru $\vec{X} = [X_1, \dots, X_d]^T$ je definována jako
$$ \Var \vec{X} =
\begin{bmatrix}
\Var X_1 & \Cov(X_1, X_2) & \cdots & \Cov(X_1, X_d) \\
\Cov(X_2, X_1) & \Var X_2 & \cdots & \Cov(X_2, X_d) \\
\vdots & \vdots & \ddots & \vdots \\
\Cov(X_d, X_1) & \Cov(X_d, X_2) & \cdots & \Var(X_d)
\end{bmatrix}.$$
\end{definition}
Všimneme si, že platí $\Cov(X, X) = \Var X$ a $\Cov(X, Y) = \Cov(Y, X)$. Z toho plyne, že takto definovaná kovarianční matice je symetrická a navíc $\Var \vec{X} \left[Cov(X_i, X_j)\right]_{i,j=1\dots d}$.
\hfill \textit{konec 9. přednášky (17.3.2025)}
Budeme pokračovat základními vlastnostmi variančních matic, které se chovají podobně rozptylu jednorozměrné náhodné veličiny.
\begin{theorem}[Vlasnosti varianční matice]
Máme-li náhodný vektor $\vec{X}$ a reálné vektory $\vec{a}, \vec{b}$ takové, že následující výrazy mají smysl, potom
$$ \E (\vec{a}^T\vec{X} + \vec{b}) = \vec{a}^T\E \vec{X} + \vec{b}, \Var(\vec{a}^T\vec{X} + \vec{b}) = \vec{a}^T (\Var \vec{X}) \vec{a}.$$
Máme-li náhodný vektor $\vec{X}$ a $\vec{A}, \vec{B}$ jsou reálné matice, pak
$$ \E(A\vec{X} + B) = A\E \vec{X} + B, \Var(A\vec{X} + B) = A(\Var\vec{X})A^T. $$
\end{theorem}
\begin{proof}
Z definice násobení matic a linearity operátoru $\E$.
\end{proof}
\begin{definition}
Pro danou náhodnou veličinu $X$ definujeme \textit{momentovou vytvořující funkci} (MGF) vztahem
$$ \psi_X(t) = \E[\exp(tX)] = \int_\R e^{tx} dP_X(x) $$
pro $t \in \R$, pokud pravá strana existuje. Speciální případ $\psi_X(-t)$ nazýváme \textit{Laplaceovou transformací} $X$.
\end{definition}
\begin{theorem}[Vlastnosti MGF]
Platí následující vlastnosti MGF:
\begin{enumerate}[(i)]
\item Existuje-li $\varepsilon > 0$ takové, že na $(-\varepsilon, \varepsilon)$ existuje $\psi_X(t)$, potom $\psi_X^{(m)}(0) = \E X^m, m \in \N_0$;
\item Pokud $Y = aX + b$, pak $\psi_Y(t) = e^{bt}\psi_X(at)$;
\item Pokud $X_1, \dots, X_d$ jsou nezávislé a $Y = \sum_{l = 1}^d X_l$, pak platí $\psi_Y(t) = \prod_{l = 1}^d \psi_{X_l}(t).$
\end{enumerate}
\end{theorem}
\begin{proof}
Dokážeme první vlastnost. Případ $m = 0$ je triviální, nechť tedy máme $m > 0$. Nejdříve budeme uvažovat případ $m = 1$ a chceme použít větu o konvergentní majorantě. Nechť tedy
$$ g(X) := e^\frac{-\varepsilon x}{2} + e^\frac{\varepsilon x}{2}, $$
potom platí $\exp{tx} \leq g(x)$ pro všechna $t \in [-\varepsilon/2, \varepsilon/2]$ a libovolné $x \in \R$. Dále z předpokladu máme, že
$$ \int_\R g(x) dP_X(x) = \psi_X(-\varepsilon/2) + \psi_X(\varepsilon/2) < +\infty. $$
Dostáváme, že $g$ je hledaná konvergentní majoranta. Z věty o konvergentní majoranty tedy můžeme provést záměnu integrálu a derivace.
$$ \odv*{\psi(t)}{t} = \odv{}{t} \int_\R e^{tx} dP_X(x) = \int_\R xe^{tx} dP_X(x) \overset{t = 0}{=} \int_\R xdP_X(x) = \E X^1.$$
Zbytek se dokáže indukcí s použitím stejné majoranty, v $m$-tém kroku dostaneme $\int_\R x^mdP_X(x) =: \E X^m$.
Druhou vlastnost dokážeme přímým rozepsáním definice
$$ \psi_Y(t) = \psi_{aX + b}(t) = \E[\exp(taX + tb)] = \E[\exp\{atX\}e^{tb}] = $$
$$ e^{tb}\E[\exp(atX)] = e^{tb}\psi_X(at). $$
Nakonec, poslední vlastnost se dokáže následně
$$ \psi_Y(t) = \psi_{\sum_{l=1}^d X_l} (t) = \E[\exp\{t \sum_{l = 1}^d] = \E\left[\prod_{l = 1}^d e^{tX_l}\right]. $$
Dále využijeme nezávislost (která se přenáší i na veličiny transformované stejnou měřitelnou funkcí) a dostaneme
$$ \E\left[\prod_{l = 1}^d e^{tX_l}\right] = \prod_{l = 1}^d \E(e^{tX_l}) = \prod_{l = 1}^d \psi_{X_l}(t). $$
\end{proof}
Poznámka: pokud $\psi_X(t) = \psi_Y(t)$ pro všechna $t$ v nějakém otevřeném intervalu kolem $0$, pak $X$ a $Y$ se rovnají v distribuci.
\begin{definition}
Pro danou náhodnou veličinu $X$ definujeme \textit{charakteristickou funkci} (CF) vztahem
$$ \varphi_X(t) = \E[\exp(itX)] = \int_\R e^{itx} dP_X(x) $$
pro $t \in \R$.
\end{definition}
Na rozdíl od momentové vytvořující funkce takto definovaná charakteristická funkce je dobře definovaná pro všechna $t \in \R$. Opět máme speciální název pro vyhodnocení charakteristické funkce v bodě $-t$, říkáme tomu \textit{Fourierova transformace}. Z definice exponenciály z komplexní analýzy okamžitě dostáváme vyjádření $\phi_X(t) = \E\cos(tX) + i\E\sin(tX)$.
\begin{theorem}[Vlastnosti CF]
Platí následující vlastnosti CF:
\begin{enumerate}[(i)]
\item $\varphi_X$ existuje pro jakékoli rozdělení $X$;
\item $\varphi_X(0) = 1$;
\item $|\varphi_X(t)| \leq 1$ pro všechna $t \in \R$;
\item $\varphi_X$ je stejnoměrně spojitá, tedy $\forall \varepsilon > 0 \exists \delta > 0: |\varphi_X(t) - \varphi_X(s)| \leq \varepsilon$ kdykoli $|t - s| \leq \delta$;
\item $\varphi_{aX + b}(t) = e^{ibt} \varphi_{X}(at)$ pro všechna $t, a, b \in \R$;
\item $\varphi_{-X}(t) = \bar{\varphi}_X(t)$ (komplexně sdružená funkce);
\item $\varphi_X(t) \in \mathbb{R} \forall t \in \R$ právě tehdy když rozdělení je symetrické kolem bodu $t = 0$.
\item Jsou-li $X, Y$ nezávislé, potom $\varphi_{X + Y}(t) = \varphi_X(t)\varphi_Y(t)$.
\end{enumerate}
\end{theorem}
\begin{proof}
Budeme dokazovat vlastnosti postupně
\begin{enumerate}[(i)]
\item Víme, žse pro všechna $x$ a všechna $t$ platí $|e^{itx}|^2 = \sin^2(tx) + \cos^2(tx) = 1$. Pak $\E |e^{itx}|^2 = 1$, z Jensenovy nerovnosti (bude později) máme, že $\E |e^{itx} | \leq \sqrt{\E |e^{itx}|^2} = 1$ a tedy $e^{itx}$ je integrovatelná.
\item Přímým dosazením dostaneme $\int_\R dP_X(x) = 1$.
\item Viz důkaz vlastnosti (i).
\item Položme $h := s - t$, potom
\begin{align*}
|\varphi_X(t) - \varphi_X(s)| = &|\E[e^{itX}] - \E[e^{i(t + h)X}]| \leq \\
& \E [|e^{itX}(1 - e^{ihX}|] \leq \\
& \E [|e^{itX}|\cdot|1 - e^{ihX}|] \leq \E[|e^{ihX} - 1|].
\end{align*}
Víme, že $e^{ihX} - 1 \rightarrow 0$ když $h \rightarrow 0$ a zároveň $|e^{ihX} - 1| \leq 2$. Máme tedy konvergentní majorantu. Dle Lebesgueovy věty tedy platí $\lim_{h\rightarrow 0} \E |e^{ihX} - 1| = 0$. Z toho již plyne stejnoměrná spojitost.
\item Z definice dostáváme
$$ \varphi_{aX + b}(t) = \E e^{it(aX + b)} = e^{ibt} \E e^{itaX} = e^{ibt} \varphi_X(at).$$
\item Využijeme přepisu do goniometrického tvaru (viz poznámka před touto větou), dostaneme
$$ \varphi_{-X}(t) = \E[\cos(-tX) + i\sin(-tX)] = \E[\cos(tX) -i\sin(tX)] = \bar{\varphi}_X(t).$$
\item Nechť nejdříve $X$ má rozdělení symetrické kolem $0$, potom $X \overset{d}{=} -X$, z čehož máme $\varphi_{-X}(t) = \varphi_{X}(t)$. Aplikací již dokázané vlastnosti (v) máme, že $\varphi_{X} = \bar{\varphi}_X(t)$, tedy $\varphi_X(t) \in \R$. Opačná implikace se dokáže stejným postupem v opačném pořadí.
\item Rozepsání definice
$$ \varphi_{X + Y}(t) = \E[e^{it(X + Y)}] = \E[e^{itX}e^{itY}], $$
dále díky nezávislosti dostáváme
$$ \E[e^{itX}e^{itY}] = \E[e^{itX}]\E[e^{itY}] = \varphi_X(t)\varphi_Y(t). $$
\end{enumerate}
\end{proof}
Následující věta nám umožňuje jednoznačně popisovat rozdělení jak podle distribuční funkce, tak i podle charakteristické funkce.
\begin{theorem}[Leviho inverzní formule pro charakteristickou funkci]
Pro jakékoli rozdělení $X$ a libovolné $a < b$ platí
$$ \lim_{T \rightarrow \infty} \frac{1}{2\pi} \int_{-T}^T \frac{e^{-ita} - e^{-itb}}{it} \varphi_X(t) dt = P[a < X < b] + \frac{P[X = a] + P[X = b]}{2}.$$
\end{theorem}
\begin{proof}
Idea je taková, že postupně budeme rozdělovat integrály a odhadovat hodnoty těchto omezených integrálů.
Mějme $T \in \R$ a $a < b$, potom
$$ \frac{1}{2\pi} \int_{-T}^T \frac{e^{ita} - e^{itb}}{it} \varphi_X(t) dt = \frac{1}{2\pi} \int_{-T}^T \frac{e^{ita} - e^{itb}}{it} \int_\R e^{itx} dP_X = $$
$$ \int_{-T}^T \int_{-\infty}^{\infty} \frac{e^{it(x - a)} - e^{it(x - b)}}{2\pi it} dP_Xdt \overset{Fubini}{=} \int_{-\infty}^\infty \int_{-T}^T \frac{e^{it(x - a)} - e^{it(x - b)}}{2\pi it} dtdP_X. $$
Všimneme si, že pro každou konstantu $c \in \R$ platí $\int_{-T}^T \frac{e^{itc}}{2it}dt = \int_0^T \frac{\sin(tc)}{t} dt$ a tento integrál se navíc rovná $\frac{\pi}{2} \sgn(c)$. Potom platí
$$ \frac{1}{2\pi} \int_{-T}^T \frac{e^{ita} - e^{itb}}{it} \varphi_X(t) dt = $$
$$ \int_{-\infty}^{\infty}\frac{1}{\pi} \left[\int_0^T \frac{\sin(t(x - a))}{t} dt - \int_0^T \frac{\sin(t(x - b))}{t} dt \right] dP_X.$$
Když pošleme $T$ do nekonečna, dostaneme následující hodnoty
$$ \frac{1}{\pi} \int_0^T \frac{\sin(t(x - a))}{t} dt \overset{T\rightarrow \infty}\rightarrow
\begin{cases}
-\frac{1}{2}, x < a, \\
\frac{1}{2}, x > a, \\
0, x = a.
\end{cases}$$
Potom
$$ \frac{1}{\pi} \left[\int_0^T \frac{\sin(t(x - a))}{t} dt - \int_0^T \frac{\sin(t(x - b))}{t} dt \right] \overset{T \rightarrow \infty}\rightarrow \begin{cases}
\frac{1}{2}, x = a, b \\
1, a < x < b, \\
0, \text{jinak}.
\end{cases}$$
Dosazením do předchozího vzorce a užitím Lebesgueovy věty o konvergentní majorantě dostáváme
$$ \frac{1}{2\pi} \int_{-T}^T \frac{e^{ita} - e^{itb}}{it} \varphi_X(t) dt = P[a < X < b] + \frac{P[X = a] + P[X = b]}{2}. $$
\end{proof}
Z předchozí věty okamžitě plyne následující důsledek.
\begin{corollary}[Jednoznačná charakterizace rozdělení]
Platí $\varphi_X = \varphi_Y \Leftrightarrow X \overset{d}{=} Y$.
\end{corollary}
Nakonec definujeme charakteristickou funkci pro náhodné vektory. Obdobným způsobem pro ní můžeme dokázat vlastnosti, které jsme již dokázali pro jednorozměrné náhodné veličiny.
\begin{definition}
\textit{Charakteristická funkce} náhodného vektoru $\vec{X} = [X_1, \dots, X_d]^T$ je definována vztahem
$$ \varphi_{\vec{X}}^{\vec{t}} = \E [e^{i\vec{t}^T\vec{X}}] = \int_\R e^{i\vec{t}^T\vec{X}} dP_{\vec{X}} $$
pro $\vec{t} \in \R^d$.
\end{definition}
\hfill \textit{konec 10. přednášky (18.3.2025)}