Přidání poznámek k metodě nejmenších čtverců, ortogonálnímu doplňku a ortonormální bázi v LAA

KMA LAA/9. Prostory se skalárním součinem.md

@@ -10,6 +10,9 @@ Nechť $U$ je lineární vektorový prostor nad $\mathbb{R}$. Zobrazení $(\vec{
 
 se nazývá **skalární součin**.
 
+Skalární součin se vypočítá součinem prvků na stejných pozicí ve vektoru a jejich sečtením.
+- např. v $\mathbb{R}^3 : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{2}y_{2} + x_{3}y_{3}$
+
 #### Skalární součin v prostorech nad $\mathbb{C}$
 
 Nechť $U$ je lineární vektorový prostor nad $C$. Zobrazení $(\vec{x}, \vec{y}) : U \times U \to \mathbb{C}$ splňující vlastnosti
@@ -83,6 +86,7 @@ Báze Eukleidovského prostoru $U$, jejíž každé dva prvky jsou ortogonální
 V každém Eukleidovském prostoru konečné dimenze existuje ortogonální báze.
 
 #### Gram-Schmidtův ortogonalizační proces
+
 - určení ortogonální báze ze zadané báze
 
 1. Mějme v $U$ bázi $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{n};$ hledáme ortogonální bázi $\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{n}$.
@@ -121,7 +125,7 @@ Dostaneme tak soustavu rovnic:
 
 $$
 \begin{matrix}
-(\vec{b}_{1}, \vec{b}_{1})a_{1} + (\vec{b}_{1}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{1}, \vec{b}_{k})a_{k} = (\vec{b}_{i}, \vec{x}) \qquad i=1 \\
+(\vec{b}_{1}, \vec{b}_{1})a_{1} + (\vec{b}_{1}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{1}, \vec{b}_{k})a_{k} = (\vec{b}_{1}, \vec{x}) \qquad i=1 \\
 (\vec{b}_{2}, \vec{b}_{1})a_{1} + (\vec{b}_{2}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{2}, \vec{b}_{k})a_{k} = (\vec{b}_{2}, \vec{x}) \qquad i=2 \\
 \vdots \qquad\qquad \vdots \qquad\qquad \vdots \qquad\qquad \vdots \\
 (\vec{b}_{k}, \vec{b}_{1})a_{1} + (\vec{b}_{k}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{k}, \vec{b}_{k})a_{k} = (\vec{b}_{k}, \vec{x}) \qquad i=k
@@ -158,4 +162,136 @@ $$
 Zřejmě $\overline{\vec{x}}$ je nejbližším vektorem k $\vec{x}$ ve $V$.
 
 Je-li $V$ podprostorem prostoru $U$ a $\vec{x} \notin V$, potom existuje právě jeden prvek $\overline{\vec{x}}$ takový, že $\vec{x} - \overline{\vec{x}} \perp V$ a $\overline{\vec{x}} \in V$.
-- Pro každý vektor $\vec{y} \in V$ platí $\Vert \vec{x} - \vec{y} \Vert \geq \Vert \vec{x} - \overline{\vec{x}} \Vert$ a rovnost nastává, právě když $\vec{y} = \overline{\vec{x}}$.
+- Pro každý vektor $\vec{y} \in V$ platí $\Vert \vec{x} - \vec{y} \Vert \geq \Vert \vec{x} - \overline{\vec{x}} \Vert$ a rovnost nastává, právě když $\vec{y} = \overline{\vec{x}}$.
+
+### Metoda nejmenších čtverců
+
+Metodou nejmenších čtverců je možné aproximovat funkci - najít nějakou jednodušší, která je co nejpodobnější. 
+
+#### Použití
+
+V rovině je dána množina bodů $\{[-2,-3]; [-1,0]; [0,2]; [1,1]; [2,2]; [3,3]\}$.
+- Najděte lineární funkci (= přímku), která ji nejlépe aproximuje.
+
+Hledaná přímka: $y = ax + b$, kde $a,b$ jsou neznámé.
+
+$\vec{z}$ ... vektor y-souřadnic bodů, tedy $\vec{z} = [-3, 0, 2, 1, 2, 3]^T$
+
+Přepíšu do soustavy, tu následně do matice:
+- Sloupce matice představují vektory $\vec{b}_{1}, \vec{b}_{2}, \vec{z}$.
+- Má-li tato soustava řešení, pak přímka prochází všemi body. A když ne?
+
+$$
+\begin{matrix}
+-3 = a \cdot (-2) + b \\
+0 = a \cdot (-1) + b \\
+2 = a \cdot (0) + b \\
+1 = a \cdot (1) + b \\
+2 = a \cdot (2) + b \\
+3 = a \cdot (3) + b
+\end{matrix} \qquad \begin{bmatrix}
+-2 & 1 & -3 \\
+-1 & 1 & 0 \\
+0 & 1 & 2 \\
+1 & 1 & 1 \\
+2 & 1 & 2 \\
+3 & 1 & 3
+\end{bmatrix}
+$$
+
+Víme: $\vec{z}, \vec{b}_{1}, \vec{b}_{2} \in \mathbb{R}^6$, hledáme $a, b$ tak, aby $\vec{z}'$ byl co nejblíže vektoru $\vec{z}$ a zároveň soustava měla řešení. Tedy $\vec{z}'$ je ortogonální průmět $\vec{z}$ do prostoru generovaného $\{ \vec{b}_{1}, \vec{b}_{2} \}$.
+
+$$
+G = \begin{bmatrix}
+(\vec{b}_{1}, \vec{b}_{1}) & (\vec{b}_{1}, \vec{b}_{2}) \\
+(\vec{b}_{2}, \vec{b}_{1}) & (\vec{b}_{2}, \vec{b}_{2})
+\end{bmatrix} = \begin{bmatrix}
+19 & 3 \\
+3 & 6
+\end{bmatrix}
+\qquad \text{pr. strana: } \begin{bmatrix}
+(\vec{z}, \vec{b}_{1}) \\
+(\vec{z}, \vec{b}_{2})
+\end{bmatrix} = \begin{bmatrix}
+20 \\
+5
+\end{bmatrix}
+$$
+
+$$
+\text{Řešíme soustavu: } \begin{bmatrix}
+19 & 3 & 20 \\
+3 & 6 & 5
+\end{bmatrix} \to a=1; b=\frac{1}{3}
+$$
+
+Hledaná přímka je $y = x + \frac{1}{3}$
+
+Pro $a = 1, b = \frac{1}{3}$ je vektor $\overline{\vec{z}} = a\vec{b}_{1} + b\vec{b}_{2}$ nejblíže vektoru $\vec{z}$.
+
+$$
+\displaystyle
+\overline{\vec{z}} = 1 \begin{bmatrix}
+-2 \\
+-1 \\
+0 \\
+1 \\
+2 \\
+3
+\end{bmatrix} + \frac{1}{3} \begin{bmatrix}
+1 \\
+1 \\
+1 \\
+1 \\
+1 \\
+1
+\end{bmatrix} = \begin{bmatrix}
+-\frac{5}{3} \\
+-\frac{2}{3} \\
+\frac{1}{3} \\
+\frac{4}{3} \\
+\frac{7}{3} \\
+\frac{10}{3}
+\end{bmatrix} \qquad \vec{z} = \begin{bmatrix}
+-3 \\
+0 \\
+2 \\
+1 \\
+2 \\
+3
+\end{bmatrix}
+$$
+
+Položme $\vec{r} = \vec{z} - \overline{\vec{z}}$, kde $\vec{r} = [r_{1}, r_{2}, \dots, r_{6}]^T$
+
+$$
+\displaystyle\Vert \vec{r} \Vert^2 = \left( -\frac{4}{3} \right)^2 + \left( \frac{2}{3} \right)^2 + \left( \frac{5}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 = \frac{16}{3}
+$$
+
+jiný model: $y = x$
+
+$$
+\Vert \vec{r} \Vert^2 = (-1)^2 + (1)^2 + (2)^2 + 0^2 + 0^2 + 0^2 = 6 > \frac{16}{3}
+$$
+
+jiný model: $y = 1.1x \qquad \vec{z}' = [-2.2; -1.1; 0; 1.1; 2.2; 3.3]$
+
+$$
+\Vert \vec{r} \Vert^2 = (-0.8)^2 + (1.1)^2 + (2)^2 + (-0.1)^2 + (-0.2)^2 + (-0.3)^2 = 5.99 > \frac{16}{3}
+$$
+
+### Ortogonální doplňek
+
+Nechť $V$ je podprostor Eukleidovského prostoru $U$. **Ortogonální doplněk $V^{\perp}$ podprostoru $V$** v $U$ je množina všech vektorů z $U$, které jsou kolmé na $V$, tedy na každý prvek $V$. Píšeme:
+
+$$
+V^{\perp} = \{\vec{u} \in U; \vec{u} \perp \vec{v} \text{ pro každé } \vec{v} \in V\}
+$$
+
+- je to podprostor
+- $dim(V) + dim(V^{\perp}) = dim(U)$
+
+### Ortonormální báze
+
+**Ortogonální (kolmá) báze**, jejíž prvky mají **délku 1**. (tedy $(b_{i}, b_{i}) = 1$ pro každé $i = 1, 2, \dots, k$)
+- existuje v každém **Euklidovském prostoru konečné dimenze**