prednaska 18.3.2025

stredni-hodnota.tex

@@ -237,6 +237,151 @@ Pro vícerozměrné náhodné vektory můžeme definovat obdobné pojmy jako pro
 	\end{bmatrix}.$$
 \end{definition}
 
-Všimneme si, že platí $\Cov(X, X) = \Var X$ a $\Cov(X, Y) = \Cov(Y, X)$. Z toho plyne, že takto definovaná kovarianční matice je symetrická.
+Všimneme si, že platí $\Cov(X, X) = \Var X$ a $\Cov(X, Y) = \Cov(Y, X)$. Z toho plyne, že takto definovaná kovarianční matice je symetrická a navíc $\Var \vec{X} \left[Cov(X_i, X_j)\right]_{i,j=1\dots d}$.
 
 \hfill \textit{konec 9. přednášky (17.3.2025)}
+
+Budeme pokračovat základními vlastnostmi variančních matic, které se chovají podobně rozptylu jednorozměrné náhodné veličiny.
+
+\begin{theorem}[Vlasnosti varianční matice]
+	Máme-li náhodný vektor $\vec{X}$ a reálné vektory $\vec{a}, \vec{b}$ takové, že následující výrazy mají smysl, potom
+	$$ \E (\vec{a}^T\vec{X} + \vec{b}) = \vec{a}^T\E \vec{X} + \vec{b}, \Var(\vec{a}^T\vec{X} + \vec{b}) = \vec{a}^T (\Var \vec{X}) \vec{a}.$$
+
+	Máme-li náhodný vektor $\vec{X}$ a $\vec{A}, \vec{B}$ jsou reálné matice, pak
+	$$ \E(A\vec{X} + B) = A\E \vec{X} + B, \Var(A\vec{X} + B) = A(\Var\vec{X})A^T. $$
+\end{theorem}
+
+\begin{proof}
+	Z definice násobení matic a linearity operátoru $\E$.
+\end{proof}
+
+\begin{definition}
+	Pro danou náhodnou veličinu $X$ definujeme \textit{momentovou vytvořující funkci} (MGF) vztahem
+	$$ \psi_X(t) = \E[\exp(tX)] = \int_\R e^{tx} dP_X(x) $$
+	pro $t \in \R$, pokud pravá strana existuje. Speciální případ $\psi_X(-t)$ nazýváme \textit{Laplaceovou transformací} $X$.
+\end{definition}
+
+\begin{theorem}[Vlastnosti MGF]
+	Platí následující vlastnosti MGF:
+	\begin{enumerate}[(i)]
+		\item Existuje-li $\varepsilon > 0$ takové, že na $(-\varepsilon, \varepsilon)$ existuje $\psi_X(t)$, potom $\psi_X^{(m)}(0) = \E X^m, m \in \N_0$;
+		\item Pokud $Y = aX + b$, pak $\psi_Y(t) = e^{bt}\psi_X(at)$;
+		\item Pokud $X_1, \dots, X_d$ jsou nezávislé a $Y = \sum_{l = 1}^d X_l$, pak platí $\psi_Y(t) = \prod_{l = 1}^d \psi_{X_l}(t).$
+	\end{enumerate}
+\end{theorem}
+
+\begin{proof}
+	Dokážeme první vlastnost. Případ $m = 0$ je triviální, nechť tedy máme $m > 0$. Nejdříve budeme uvažovat případ $m = 1$ a chceme použít větu o konvergentní majorantě. Nechť tedy
+	$$ g(X) := e^\frac{-\varepsilon x}{2} + e^\frac{\varepsilon x}{2}, $$
+	potom platí $\exp{tx} \leq g(x)$ pro všechna $t \in [-\varepsilon/2, \varepsilon/2]$ a libovolné $x \in \R$. Dále z předpokladu máme, že
+	$$ \int_\R g(x) dP_X(x) = \psi_X(-\varepsilon/2) + \psi_X(\varepsilon/2) < +\infty. $$
+	Dostáváme, že $g$ je hledaná konvergentní majoranta. Z věty o konvergentní majoranty tedy můžeme provést záměnu integrálu a derivace.
+	$$ \odv*{\psi(t)}{t} = \odv{}{t} \int_\R e^{tx} dP_X(x) = \int_\R xe^{tx} dP_X(x) \overset{t = 0}{=} \int_\R xdP_X(x) = \E X^1.$$
+	Zbytek se dokáže indukcí s použitím stejné majoranty, v $m$-tém kroku dostaneme $\int_\R x^mdP_X(x) =: \E X^m$.
+
+	Druhou vlastnost dokážeme přímým rozepsáním definice
+	$$ \psi_Y(t) = \psi_{aX + b}(t) = \E[\exp(taX + tb)] = \E[\exp\{atX\}e^{tb}] = $$
+	$$ e^{tb}\E[\exp(atX)] = e^{tb}\psi_X(at). $$
+
+	Nakonec, poslední vlastnost se dokáže následně
+	$$ \psi_Y(t) = \psi_{\sum_{l=1}^d X_l} (t) = \E[\exp\{t \sum_{l = 1}^d] = \E\left[\prod_{l = 1}^d e^{tX_l}\right]. $$
+	Dále využijeme nezávislost (která se přenáší i na veličiny transformované stejnou měřitelnou funkcí) a dostaneme
+	$$ \E\left[\prod_{l = 1}^d e^{tX_l}\right] = \prod_{l = 1}^d \E(e^{tX_l}) = \prod_{l = 1}^d \psi_{X_l}(t). $$
+\end{proof}
+
+Poznámka: pokud $\psi_X(t) = \psi_Y(t)$ pro všechna $t$ v nějakém otevřeném intervalu kolem $0$, pak $X$ a $Y$ se rovnají v distribuci.
+
+\begin{definition}
+	Pro danou náhodnou veličinu $X$ definujeme \textit{charakteristickou funkci} (CF) vztahem
+	$$ \varphi_X(t) = \E[\exp(itX)] = \int_\R e^{itx} dP_X(x) $$
+	pro $t \in \R$.
+\end{definition}
+
+Na rozdíl od momentové vytvořující funkce takto definovaná charakteristická funkce je dobře definovaná pro všechna $t \in \R$. Opět máme speciální název pro vyhodnocení charakteristické funkce v bodě $-t$, říkáme tomu \textit{Fourierova transformace}. Z definice exponenciály z komplexní analýzy okamžitě dostáváme vyjádření $\phi_X(t) = \E\cos(tX) + i\E\sin(tX)$.
+
+\begin{theorem}[Vlastnosti CF]
+	Platí následující vlastnosti CF:
+	\begin{enumerate}[(i)]
+		\item $\varphi_X$ existuje pro jakékoli rozdělení $X$;
+		\item $\varphi_X(0) = 1$;
+		\item $|\varphi_X(t)| \leq 1$ pro všechna $t \in \R$;
+		\item $\varphi_X$ je stejnoměrně spojitá, tedy $\forall \varepsilon > 0 \exists \delta > 0: |\varphi_X(t) - \varphi_X(s)| \leq \varepsilon$ kdykoli $|t - s| \leq \delta$;
+		\item $\varphi_{aX + b}(t) = e^{ibt} \varphi_{X}(at)$ pro všechna $t, a, b \in \R$;
+		\item $\varphi_{-X}(t) = \bar{\varphi}_X(t)$ (komplexně sdružená funkce);
+		\item $\varphi_X(t) \in \mathbb{R} \forall t \in \R$ právě tehdy když rozdělení je symetrické kolem bodu $t = 0$.
+		\item Jsou-li $X, Y$ nezávislé, potom $\varphi_{X + Y}(t) = \varphi_X(t)\varphi_Y(t)$.
+	\end{enumerate}
+\end{theorem}
+
+\begin{proof}
+	Budeme dokazovat vlastnosti postupně
+	\begin{enumerate}[(i)]
+		\item Víme, žse pro všechna $x$ a všechna $t$ platí $|e^{itx}|^2 = \sin^2(tx) + \cos^2(tx) = 1$. Pak $\E |e^{itx}|^2 = 1$, z Jensenovy nerovnosti (bude později) máme, že $\E |e^{itx} | \leq \sqrt{\E |e^{itx}|^2} = 1$ a tedy $e^{itx}$ je integrovatelná.
+		\item Přímým dosazením dostaneme $\int_\R dP_X(x) = 1$.
+		\item Viz důkaz vlastnosti (i).
+		\item Položme $h := s - t$, potom
+			\begin{align*}
+				|\varphi_X(t) - \varphi_X(s)| = &|\E[e^{itX}] - \E[e^{i(t + h)X}]| \leq \\
+				& \E [|e^{itX}(1 - e^{ihX}|] \leq \\
+				& \E [|e^{itX}|\cdot|1 - e^{ihX}|] \leq \E[|e^{ihX} - 1|].
+			\end{align*}
+		Víme, že $e^{ihX} - 1 \rightarrow 0$ když $h \rightarrow 0$ a zároveň $|e^{ihX} - 1| \leq 2$. Máme tedy konvergentní majorantu. Dle Lebesgueovy věty tedy platí $\lim_{h\rightarrow 0} \E |e^{ihX} - 1| = 0$. Z toho již plyne stejnoměrná spojitost.
+		\item Z definice dostáváme
+			$$ \varphi_{aX + b}(t) = \E e^{it(aX + b)} = e^{ibt} \E e^{itaX} = e^{ibt} \varphi_X(at).$$
+		\item Využijeme přepisu do goniometrického tvaru (viz poznámka před touto větou), dostaneme
+			$$ \varphi_{-X}(t) = \E[\cos(-tX) + i\sin(-tX)] = \E[\cos(tX) -i\sin(tX)] = \bar{\varphi}_X(t).$$
+		\item Nechť nejdříve $X$ má rozdělení symetrické kolem $0$, potom $X \overset{d}{=} -X$, z čehož máme $\varphi_{-X}(t) = \varphi_{X}(t)$. Aplikací již dokázané vlastnosti (v) máme, že $\varphi_{X} = \bar{\varphi}_X(t)$, tedy $\varphi_X(t) \in \R$. Opačná implikace se dokáže stejným postupem v opačném pořadí.
+		\item Rozepsání definice
+			$$ \varphi_{X + Y}(t) = \E[e^{it(X + Y)}] = \E[e^{itX}e^{itY}], $$
+			dále díky nezávislosti dostáváme
+			$$ \E[e^{itX}e^{itY}] = \E[e^{itX}]\E[e^{itY}] = \varphi_X(t)\varphi_Y(t). $$
+	\end{enumerate}
+\end{proof}
+
+Následující věta nám umožňuje jednoznačně popisovat rozdělení jak podle distribuční funkce, tak i podle charakteristické funkce.
+
+\begin{theorem}[Leviho inverzní formule pro charakteristickou funkci]
+	Pro jakékoli rozdělení $X$ a libovolné $a < b$ platí
+	$$ \lim_{T \rightarrow \infty} \frac{1}{2\pi} \int_{-T}^T \frac{e^{-ita} - e^{-itb}}{it} \varphi_X(t) dt = P[a < X < b] + \frac{P[X = a] + P[X = b]}{2}.$$
+\end{theorem}
+
+\begin{proof}
+	Idea je taková, že postupně budeme rozdělovat integrály a odhadovat hodnoty těchto omezených integrálů.
+	Mějme $T \in \R$ a $a < b$, potom
+	$$ \frac{1}{2\pi} \int_{-T}^T \frac{e^{ita} - e^{itb}}{it} \varphi_X(t) dt = \frac{1}{2\pi} \int_{-T}^T \frac{e^{ita} - e^{itb}}{it} \int_\R e^{itx} dP_X = $$
+	$$ \int_{-T}^T \int_{-\infty}^{\infty} \frac{e^{it(x - a)} - e^{it(x - b)}}{2\pi it} dP_Xdt \overset{Fubini}{=} \int_{-\infty}^\infty \int_{-T}^T \frac{e^{it(x - a)} - e^{it(x - b)}}{2\pi it} dtdP_X. $$
+	Všimneme si, že pro každou konstantu $c \in \R$ platí $\int_{-T}^T \frac{e^{itc}}{2it}dt = \int_0^T \frac{\sin(tc)}{t} dt$. Potom platí
+	$$ \frac{1}{2\pi} \int_{-T}^T \frac{e^{ita} - e^{itb}}{it} \varphi_X(t) dt = $$
+	$$ \int_{-\infty}^{\infty}\frac{1}{\pi} \left[\int_0^T \frac{\sin(t(x - a))}{t} dt - \int_0^T \frac{\sin(t(x - b))}{t} dt \right] dP_X.$$
+	Když pošleme $T$ do nekonečna, dostaneme následující hodnoty
+	$$ \frac{1}{\pi} \int_0^T \frac{\sin(t(x - a))}{t} dt \overset{T\rightarrow \infty}\rightarrow
+	\begin{cases}
+		-\frac{1}{2}, x < a, \\
+		\frac{1}{2}, x > a, \\
+		0, x = a.
+	\end{cases}$$
+	Potom
+	$$ \frac{1}{\pi} \left[\int_0^T \frac{\sin(t(x - a))}{t} dt - \int_0^T \frac{\sin(t(x - b))}{t} dt \right] \overset{T \rightarrow \infty}\rightarrow \begin{cases}
+		\frac{1}{2}, x = a, b \\
+		1, a < x < b,
+		0, \text{jinak}.
+	\end{cases}$$
+	Dosazením do předchozího vzorce a užitím Lebesgueovy věty o konvergentní majorantě dostáváme
+	$$ \frac{1}{2\pi} \int_{-T}^T \frac{e^{ita} - e^{itb}}{it} \varphi_X(t) dt = P[a < X < b] + \frac{P[X = a] + P[X = b]}{2}. $$
+\end{proof}
+
+Z předchozí věty okamžitě plyne následující důsledek.
+
+\begin{corollary}[Jednoznačná charakterizace rozdělení]
+	Platí $\varphi_X = \varphi_Y \Leftrightarrow X \overset{d}{=} Y$.
+\end{corollary}
+
+Nakonec definujeme charakteristickou funkci pro náhodné vektory. Obdobným způsobem pro ní můžeme dokázat vlastnosti, které platí pro jednorozměrné náhodné veličiny.
+
+\begin{definition}
+	\textit{Charakteristická funkce} náhodného vektoru $\vec{X} = [X_1, \dots, X_d]^T$ je definována vztahem
+	$$ \varphi_{\vec{X}}^{\vec{t}} = \E [e^{i\vec{t}^T\vec{X}}] = \int_\R e^{i\vec{t}^T\vec{X}} dP_{\vec{X}} $$
+	pro $\vec{t} \in \R^d$.
+\end{definition}
+
+\hfill \textit{konec 10. přednášky (18.3.2025)}