# Prostory se skalárním součinem ### Skalární součin Nechť $U$ je lineární vektorový prostor nad $\mathbb{R}$. Zobrazení $(\vec{x}, \vec{y}):U \times U \to \mathbb{R}$ splňující vlastnosti 1. $(\vec{x}, \vec{x}) \geq 0$ pro každé $\vec{x} \in U; (\vec{x}, \vec{x}) = 0$, právě když $\vec{x} = \vec{o}$, 2. $(\vec{x}, \vec{y}) = (\vec{y}, \vec{x}) \space \forall \vec{x}, \vec{y} \in U$, 3. $(k\vec{x}, \vec{y}) = k(\vec{x}, \vec{y}) \space \forall \vec{x}, \vec{y} \in U$ a $\forall k \in \mathbb{R}$ 4. $(\vec{x} + \vec{y}, \vec{z}) = (\vec{x}, \vec{z}) + (\vec{y}, \vec{z}) \space \forall \vec{x}, \vec{y}, \vec{z} \in U$, se nazývá **skalární součin**. Skalární součin se vypočítá součinem prvků na stejných pozicí ve vektoru a jejich sečtením. - např. v $\mathbb{R}^3 : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{2}y_{2} + x_{3}y_{3}$ #### Skalární součin v prostorech nad C Nechť $U$ je lineární vektorový prostor nad $\mathbb{C}$. Zobrazení $(\vec{x}, \vec{y}) : U \times U \to \mathbb{C}$ splňující vlastnosti 1. $(\vec{x}, \vec{x}) \geq 0$ pro každé $\vec{x} \in U; (\vec{x}, \vec{x}) = 0$, právě když $\vec{x} = \vec{o}$, 2. $(\vec{x}, \vec{y}) = \overline{(\vec{y}, \vec{x})} \space \forall \vec{x}, \vec{y} \in U$, 3. $(k\vec{x}, \vec{y}) = k(\vec{x}, \vec{y}) \space \forall \vec{x}, \vec{y} \in U$ a $\forall k \in \mathbb{C}$, 4. $(\vec{x} + \vec{y}, \vec{z}) = (\vec{x}, \vec{z}) + (\vec{y}, \vec{z}) \space \forall \vec{x}, \vec{y}, \vec{z} \in U$, se nazývá **skalární součin**. L.V.P. se skalárním součinem se nazývá **Unitární prostor**. Vše zde funguje jako v Eukleidovském prostoru, až na Pythagorovu větu, kde neplatí opačná implikace, tj. platí-li rovnost $\Vert \vec{x} + \vec{y} \Vert^2 = \Vert \vec{x} \Vert^2 + \Vert \vec{y} \Vert^2$, potom nemusí platit, že $\vec{x} \perp \vec{y}$. ### Eukleidovský prostor Lineární vektorový prostor se skalárním součinem se nazývá **Eukleidovský prostor**. Příklad: 1. $\mathbb{R}^3 : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{2}y_{2} + x_{3}y_{3}$ 2. $\displaystyle \mathbb{R}^n : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{1}y_{1} + \dots + x_{n}y_{n} = \sum^n_{i=1} x_{i}y_{i}$ 3. $\displaystyle C(0, 1) : (f, g) = \int^1_{0} f(x) \cdot g(x) \, dx$ 4. $\displaystyle \mathbb{P}_{n} : (p(x); q(x)) = \int^b_{a} p(x) \cdot q(x) \, dx$ V Eukleidovském prostoru platí (pro každé $k \in \mathbb{R}$ a $\vec{x}, \vec{y}, \vec{z} \in U$): 1. $(\vec{x}, k\vec{y}) = k(\vec{x}, \vec{y})$ 2. $(\vec{x}, \vec{y} + \vec{z}) = (\vec{x}, \vec{y}) + (\vec{x}, \vec{z})$ 3. $(\vec{x}, \vec{o}) = (\vec{o}, \vec{x}) = 0$ **Cauchy-Schwarzova nerovnost** - Je-li $U$ Eukleidovský prostor, potom pro každé $\vec{x}, \vec{y} \in U$ platí - $(\vec{x}, \vec{y})^2 \leq (\vec{x}, \vec{x}) \cdot (\vec{y}, \vec{y})$. ### Norma **Norma** v lineárním vektorovém prostoru $U$ je zobrazení $\Vert \vec{x} \Vert : U \to \mathbb{R}$ s vlastostmi 1. $\Vert \vec{x} \Vert \geq 0 \, \forall \vec{x} \in U;\space \Vert \vec{x} \Vert = 0$, právě když $\vec{x} = \vec{o}$, 2. $\Vert k\vec{x} \Vert = \vert k \vert \cdot \Vert \vec{x} \Vert \ \forall\vec{x} \in U$ a $\forall k \in \mathbb{R}$, 3. $\Vert \vec{x} + \vec{y} \Vert \leq \Vert \vec{x} \Vert + \Vert \vec{y} \Vert \ \forall \vec{x}, \vec{y} \in \mathbb{R}$. Je-li $U$ Eukleidovský prostor, potom $\Vert \vec{x} \Vert = \sqrt{ (\vec{x}, \vec{x}) }$ je norma. Nazývá se **norma indukovaná sklárním součinem**. Pro dva prvky $x, y$ libovolného L.V.P. $U$ lze definovat úhel dvou prvků $$ \displaystyle \phi = \arccos \frac{(\vec{x}, \vec{y})}{\Vert \vec{x} \Vert \cdot \Vert \vec{y} \Vert} $$ a vzdálenost dvou prvků $d(\vec{x}, \vec{y}) = \Vert \vec{x} - \vec{y} \Vert$. Vzdálenosti se obvykle říká **metrika** a příslušnému prostoru **metrický prostor**. ## Ortogonalita Dva prvky $\vec{x}, \vec{y}$ Eukleidovského prostoru $U$ jsou **ortogonální** (kolmé), jestliže $(\vec{x}, \vec{y}) = 0$. - Píšeme $\vec{x} \perp \vec{y}$. - Množiny $X, Y, \subset U$ jsou ortiginální, jestliže $\vec{x} \perp \vec{y}$ pro každé $\vec{x} \in X$ a $\vec{y} \in Y$. Každá podmnožina Eukleidovského prostoru, jejíž prvky jsou nenulové a navzájem ortogonální, je LN. - Žádný ze vzájemně kolmých vektorů není možné vyjádřit jako LK ostatních. ### Pythagorova věta Nechť $U$ je Eukleidův prostor, $\vec{x}, \vec{y} \in U$. Potom $$ \vec{x} \perp \vec{y} \iff \Vert \vec{x} + \vec{y} \Vert^2 = \Vert \vec{x} \Vert^2 + \Vert \vec{y} \Vert^2. $$ ### Ortogonální báze Báze Eukleidovského prostoru $U$, jejíž každé dva prvky jsou ortogonální. - např. kanonická báze V každém Eukleidovském prostoru konečné dimenze existuje ortogonální báze. #### Gram-Schmidtův ortogonalizační proces - určení ortogonální báze ze zadané báze 1. Mějme v $U$ bázi $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{n};$ hledáme ortogonální bázi $\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{n}$. 2. Položíme $\vec{g}_{1} = \vec{b}_{1}$. 3. Určíme $\displaystyle \vec{g}_{2} = \vec{b}_{2} - \frac{\vec{b}_{2}, \vec{g}_{1}}{(\vec{g}_{1}, \vec{g}_{1})} \vec{g}_{1}$, což je ortogonální (kolmý) průmět vektoru $\vec{b}_{2}$ do přímky dané vektorem $\vec{g}_{1}$. Platí, že $\vec{g}_{2} \perp \vec{g}_{1}$. 4. Obecně hledáme $\vec{g}_{k}$ jako $\vec{b}_{k} - \overline{\vec{b}_{k}}$, kde $\overline{\vec{b}_{k}}$ je ortogonální průmět prvku $\vec{b}_{k}$ do podprostoru s ortogonální bází $\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{k-1}$. Tedy: $$ \displaystyle \vec{g}_{k} = \vec{b}_{k} - \biggl( \frac{(\vec{b}_{k}, \vec{g}_{1})}{(\vec{g}_{1}, \vec{g}_{1})} \vec{g}_{1} + \frac{(\vec{b}_{k}, \vec{g}_{2})}{(\vec{g}_{2}, \vec{g}_{2})} \vec{g}_{2} + \dots + \frac{(\vec{b}_{k}, \vec{g}_{k-1})}{(\vec{g}_{k-1}, \vec{g}_{k-1})} \vec{g}_{k-1} \biggr). $$ 5. Pak jistě $\vec{g}_{k} \perp \vec{g}_{1}, \vec{g}_{k} \perp \vec{g}_{2}, \dots, \vec{g}_{k} \perp \vec{g}_{k-1}$. ### Ortogonální průmět Mějme Eukleidovský prostor $U$, jeho podprostor $V$ a v něm generátor (ne nutně bázi) $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k}$. Máme určit ortogonální průmět $\overline{\vec{x}}$ prvku $\vec{x} \in U$ do $V$. - Víme, že $(\vec{x} - \overline{\vec{x}}) \perp \vec{b}_{i}$ pro každé $i = 1, 2, \dots, k$. - Dále: $\overline{\vec{x}} \in V$, tedy $\overline{\vec{x}} = a_{1}\vec{b}_{1} + a_{2}\vec{b}_{2} + \dots + a_{k}\vec{b}_{k}$ (je to LK generátorů). ![[_assets/ortogonalni-prumet.png]] Ortogonální průmět $\overline{\vec{x}}$ je vzdálenost $\vec{x}$ od $\mathcal{U}$. Pro každé $i = 1, 2, \dots, k$ platí: $$ 0 = (\vec{b}_{i}, \vec{x} - \overline{\vec{x}}) = (\vec{b}_{i}, \vec{x} - a_{1}\vec{b}_{1} + a_{2}\vec{b}_{2} + \dots + a_{k}\vec{b}_{k}) = (\vec{b}_{i}, \vec{x}) - a_{1}(\vec{b}_{i}, \vec{b}_{1}) - a_{2}(\vec{b}_{i}, \vec{b}_{2}) - \dots - a_{k}(\vec{b}_{i}, \vec{b}_{k}). $$ Dostaneme tak soustavu rovnic: $$ \begin{matrix} (\vec{b}_{1}, \vec{b}_{1})a_{1} + (\vec{b}_{1}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{1}, \vec{b}_{k})a_{k} = (\vec{b}_{1}, \vec{x}) \qquad i=1 \\ (\vec{b}_{2}, \vec{b}_{1})a_{1} + (\vec{b}_{2}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{2}, \vec{b}_{k})a_{k} = (\vec{b}_{2}, \vec{x}) \qquad i=2 \\ \vdots \qquad\qquad \vdots \qquad\qquad \vdots \qquad\qquad \vdots \\ (\vec{b}_{k}, \vec{b}_{1})a_{1} + (\vec{b}_{k}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{k}, \vec{b}_{k})a_{k} = (\vec{b}_{k}, \vec{x}) \qquad i=k \end{matrix} $$ tedy **Gramovu matici**: $$ \begin{bmatrix} (\vec{b}_{1}, \vec{b}_{1}) & (\vec{b}_{1}, \vec{b}_{2}) & \dots & (\vec{b}_{1}, \vec{b}_{k}) \\ (\vec{b}_{2}, \vec{b}_{1}) & (\vec{b}_{2}, \vec{b}_{2}) & \dots & (\vec{b}_{2}, \vec{b}_{k}) \\ \vdots & \vdots & \vdots & \vdots \\ (\vec{b}_{k}, \vec{b}_{1}) & (\vec{b}_{k}, \vec{b}_{2}) & \dots & (\vec{b}_{k}, \vec{b}_{k}) \end{bmatrix} \begin{bmatrix} a_{1} \\ a_{2} \\ \vdots \\ a_{3} \end{bmatrix} = \begin{bmatrix} (\vec{b}_{1}, \vec{x}) \\ (\vec{b}_{2}, \vec{x}) \\ \vdots \\ (\vec{b}_{k}, \vec{x}) \end{bmatrix} $$ - Je-li $\{ \vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k} \}$ **ortogonální báze**, potom **Gramova matice je diagonální**. - Gramova matice je regulární, právě když množina vektorů $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k}$ je LN. Zřejmě $\overline{\vec{x}}$ je nejbližším vektorem k $\vec{x}$ ve $V$. Je-li $V$ podprostorem prostoru $U$ a $\vec{x} \notin V$, potom existuje právě jeden prvek $\overline{\vec{x}}$ takový, že $\vec{x} - \overline{\vec{x}} \perp V$ a $\overline{\vec{x}} \in V$. - Pro každý vektor $\vec{y} \in V$ platí $\Vert \vec{x} - \vec{y} \Vert \geq \Vert \vec{x} - \overline{\vec{x}} \Vert$ a rovnost nastává, právě když $\vec{y} = \overline{\vec{x}}$. **Postup**: 1. Potřebujeme prvky báze $\vec{b}_{i}$ prostoru, do kterého děláme průmět a prvek $\vec{z}$, jehož průmět budeme zjišťovat. 2. Pomocí vzorečku $(\vec{b_{1}}, \vec{b_{i}}) + (\vec{b_{2}}, \vec{b_{i}}) + \dots + (\vec{b_{i}}, \vec{b_{i}}) = (\vec{z}, \vec{b_{i}})$ vytvoříme Gramovu matici. 3. Pomocí GJEM vyřešíme levou část matice, abychom zde získali jednotkovou matici. 4. Výsledkem je vektor v pravé části matice. ### Metoda nejmenších čtverců Metodou nejmenších čtverců je možné aproximovat funkci - najít nějakou jednodušší, která je co nejpodobnější. #### Použití V rovině je dána množina bodů $\{[-2,-3]; [-1,0]; [0,2]; [1,1]; [2,2]; [3,3]\}$. - Najděte lineární funkci (= přímku), která ji nejlépe aproximuje. Hledaná přímka: $y = ax + b$, kde $a,b$ jsou neznámé. $\vec{z}$ ... vektor y-souřadnic bodů, tedy $\vec{z} = [-3, 0, 2, 1, 2, 3]^T$ Přepíšu do soustavy, tu následně do matice: - Sloupce matice představují vektory $\vec{b}_{1}, \vec{b}_{2}, \vec{z}$. - Má-li tato soustava řešení, pak přímka prochází všemi body. A když ne? $$ \begin{matrix} -3 = a \cdot (-2) + b \\ 0 = a \cdot (-1) + b \\ 2 = a \cdot (0) + b \\ 1 = a \cdot (1) + b \\ 2 = a \cdot (2) + b \\ 3 = a \cdot (3) + b \end{matrix} \qquad \begin{bmatrix} -2 & 1 & -3 \\ -1 & 1 & 0 \\ 0 & 1 & 2 \\ 1 & 1 & 1 \\ 2 & 1 & 2 \\ 3 & 1 & 3 \end{bmatrix} $$ Víme: $\vec{z}, \vec{b}_{1}, \vec{b}_{2} \in \mathbb{R}^6$, hledáme $a, b$ tak, aby $\vec{z}'$ byl co nejblíže vektoru $\vec{z}$ a zároveň soustava měla řešení. Tedy $\vec{z}'$ je ortogonální průmět $\vec{z}$ do prostoru generovaného $\{ \vec{b}_{1}, \vec{b}_{2} \}$. $$ G = \begin{bmatrix} (\vec{b}_{1}, \vec{b}_{1}) & (\vec{b}_{1}, \vec{b}_{2}) \\ (\vec{b}_{2}, \vec{b}_{1}) & (\vec{b}_{2}, \vec{b}_{2}) \end{bmatrix} = \begin{bmatrix} 19 & 3 \\ 3 & 6 \end{bmatrix} \qquad \text{pr. strana: } \begin{bmatrix} (\vec{z}, \vec{b}_{1}) \\ (\vec{z}, \vec{b}_{2}) \end{bmatrix} = \begin{bmatrix} 20 \\ 5 \end{bmatrix} $$ $$ \text{Řešíme soustavu: } \begin{bmatrix} 19 & 3 & 20 \\ 3 & 6 & 5 \end{bmatrix} \to a=1; b=\frac{1}{3} $$ Hledaná přímka je $y = x + \frac{1}{3}$ Pro $a = 1, b = \frac{1}{3}$ je vektor $\overline{\vec{z}} = a\vec{b}_{1} + b\vec{b}_{2}$ nejblíže vektoru $\vec{z}$. $$ \displaystyle \overline{\vec{z}} = 1 \begin{bmatrix} -2 \\ -1 \\ 0 \\ 1 \\ 2 \\ 3 \end{bmatrix} + \frac{1}{3} \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} -\frac{5}{3} \\ -\frac{2}{3} \\ \frac{1}{3} \\ \frac{4}{3} \\ \frac{7}{3} \\ \frac{10}{3} \end{bmatrix} \qquad \vec{z} = \begin{bmatrix} -3 \\ 0 \\ 2 \\ 1 \\ 2 \\ 3 \end{bmatrix} $$ Položme $\vec{r} = \vec{z} - \overline{\vec{z}}$, kde $\vec{r} = [r_{1}, r_{2}, \dots, r_{6}]^T$ $$ \displaystyle\Vert \vec{r} \Vert^2 = \left( -\frac{4}{3} \right)^2 + \left( \frac{2}{3} \right)^2 + \left( \frac{5}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 = \frac{16}{3} $$ jiný model: $y = x$ $$ \Vert \vec{r} \Vert^2 = (-1)^2 + (1)^2 + (2)^2 + 0^2 + 0^2 + 0^2 = 6 > \frac{16}{3} $$ jiný model: $y = 1.1x \qquad \vec{z}' = [-2.2; -1.1; 0; 1.1; 2.2; 3.3]$ $$ \Vert \vec{r} \Vert^2 = (-0.8)^2 + (1.1)^2 + (2)^2 + (-0.1)^2 + (-0.2)^2 + (-0.3)^2 = 5.99 > \frac{16}{3} $$ ### Ortogonální doplňek Nechť $V$ je podprostor Eukleidovského prostoru $U$. **Ortogonální doplněk $V^{\perp}$ podprostoru $V$** v $U$ je množina všech vektorů z $U$, které jsou kolmé na $V$, tedy na každý prvek $V$. Píšeme: $$ V^{\perp} = \{\vec{u} \in U; \vec{u} \perp \vec{v} \text{ pro každé } \vec{v} \in V\} $$ - je to podprostor - $dim(V) + dim(V^{\perp}) = dim(U)$ ### Ortonormální báze **Ortogonální (kolmá) báze**, jejíž prvky mají **délku 1**. (tedy $(b_{i}, b_{i}) = 1$ pro každé $i = 1, 2, \dots, k$) - existuje v každém **Euklidovském prostoru konečné dimenze**