# Prostory se skalárním součinem

### Skalární součin

Nechť $U$ je lineární vektorový prostor nad $\mathbb{R}$. Zobrazení $(\vec{x}, \vec{y}):U \times U \to \mathbb{R}$ splňující vlastnosti
1. $(\vec{x}, \vec{x}) \geq 0$ pro každé $\vec{x} \in U; (\vec{x}, \vec{x}) = 0$, právě když $\vec{x} = \vec{o}$,
2. $(\vec{x}, \vec{y}) = (\vec{y}, \vec{x}) \space \forall \vec{x}, \vec{y} \in U$,
3. $(k\vec{x}, \vec{y}) = k(\vec{x}, \vec{y}) \space \forall \vec{x}, \vec{y} \in U$ a $\forall k \in \mathbb{R}$
4. $(\vec{x} + \vec{y}, \vec{z}) = (\vec{x}, \vec{z}) + (\vec{y}, \vec{z}) \space \forall \vec{x}, \vec{y}, \vec{z} \in U$,

se nazývá **skalární součin**.

Skalární součin se vypočítá součinem prvků na stejných pozicí ve vektoru a jejich sečtením.
- např. v $\mathbb{R}^3 : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{2}y_{2} + x_{3}y_{3}$

#### Skalární součin v prostorech nad C

Nechť $U$ je lineární vektorový prostor nad $\mathbb{C}$. Zobrazení $(\vec{x}, \vec{y}) : U \times U \to \mathbb{C}$ splňující vlastnosti
1. $(\vec{x}, \vec{x}) \geq 0$ pro každé $\vec{x} \in U; (\vec{x}, \vec{x}) = 0$, právě když $\vec{x} = \vec{o}$,
2. $(\vec{x}, \vec{y}) = \overline{(\vec{y}, \vec{x})} \space \forall \vec{x}, \vec{y} \in U$,
3. $(k\vec{x}, \vec{y}) = k(\vec{x}, \vec{y}) \space \forall \vec{x}, \vec{y} \in U$ a $\forall k \in \mathbb{C}$,
4. $(\vec{x} + \vec{y}, \vec{z}) = (\vec{x}, \vec{z}) + (\vec{y}, \vec{z}) \space \forall \vec{x}, \vec{y}, \vec{z} \in U$,

se nazývá **skalární součin**. L.V.P. se skalárním součinem se nazývá **Unitární prostor**.

Vše zde funguje jako v Eukleidovském prostoru, až na Pythagorovu větu, kde neplatí opačná implikace, tj.
platí-li rovnost $\Vert \vec{x} + \vec{y} \Vert^2 = \Vert \vec{x} \Vert^2 + \Vert \vec{y} \Vert^2$, potom nemusí platit, že $\vec{x} \perp \vec{y}$.

### Eukleidovský prostor

Lineární vektorový prostor se skalárním součinem se nazývá **Eukleidovský prostor**.

Příklad:
1. $\mathbb{R}^3 : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{2}y_{2} + x_{3}y_{3}$
2. $\displaystyle \mathbb{R}^n : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{1}y_{1} + \dots + x_{n}y_{n} = \sum^n_{i=1} x_{i}y_{i}$
3. $\displaystyle C(0, 1) : (f, g) = \int^1_{0} f(x) \cdot g(x) \, dx$
4. $\displaystyle \mathbb{P}_{n} : (p(x); q(x)) = \int^b_{a} p(x) \cdot q(x) \, dx$

V Eukleidovském prostoru platí (pro každé $k \in \mathbb{R}$ a $\vec{x}, \vec{y}, \vec{z} \in U$):
1. $(\vec{x}, k\vec{y}) = k(\vec{x}, \vec{y})$
2. $(\vec{x}, \vec{y} + \vec{z}) = (\vec{x}, \vec{y}) + (\vec{x}, \vec{z})$
3. $(\vec{x}, \vec{o}) = (\vec{o}, \vec{x}) = 0$

**Cauchy-Schwarzova nerovnost** - Je-li $U$ Eukleidovský prostor, potom pro každé $\vec{x}, \vec{y} \in U$ platí
- $(\vec{x}, \vec{y})^2 \leq (\vec{x}, \vec{x}) \cdot (\vec{y}, \vec{y})$.

### Norma

**Norma** v lineárním vektorovém prostoru $U$ je zobrazení $\Vert \vec{x} \Vert : U \to \mathbb{R}$ s vlastostmi
1. $\Vert \vec{x} \Vert \geq 0 \, \forall \vec{x} \in U;\space \Vert \vec{x} \Vert = 0$, právě když $\vec{x} = \vec{o}$,
2. $\Vert k\vec{x} \Vert = \vert k \vert \cdot \Vert \vec{x} \Vert \ \forall\vec{x} \in U$ a $\forall k \in \mathbb{R}$,
3. $\Vert \vec{x} + \vec{y} \Vert \leq \Vert \vec{x} \Vert + \Vert \vec{y} \Vert \ \forall \vec{x}, \vec{y} \in \mathbb{R}$.

Je-li $U$ Eukleidovský prostor, potom $\Vert \vec{x} \Vert = \sqrt{ (\vec{x}, \vec{x}) }$ je norma. Nazývá se **norma indukovaná sklárním součinem**.

Pro dva prvky $x, y$ libovolného L.V.P. $U$ lze definovat úhel dvou prvků

$$
\displaystyle \phi = \arccos \frac{(\vec{x}, \vec{y})}{\Vert \vec{x} \Vert \cdot \Vert \vec{y} \Vert}
$$

a vzdálenost dvou prvků $d(\vec{x}, \vec{y}) = \Vert \vec{x} - \vec{y} \Vert$. Vzdálenosti se obvykle říká **metrika** a příslušnému prostoru **metrický prostor**.

## Ortogonalita

Dva prvky $\vec{x}, \vec{y}$ Eukleidovského prostoru $U$ jsou **ortogonální** (kolmé), jestliže $(\vec{x}, \vec{y}) = 0$.
- Píšeme $\vec{x} \perp \vec{y}$.
- Množiny $X, Y, \subset U$ jsou ortiginální, jestliže $\vec{x} \perp \vec{y}$ pro každé $\vec{x} \in X$ a $\vec{y} \in Y$.

Každá podmnožina Eukleidovského prostoru, jejíž prvky jsou nenulové a navzájem ortogonální, je LN.
- Žádný ze vzájemně kolmých vektorů není možné vyjádřit jako LK ostatních.

### Pythagorova věta

Nechť $U$ je Eukleidův prostor, $\vec{x}, \vec{y} \in U$. Potom

$$
\vec{x} \perp \vec{y} \iff \Vert \vec{x} + \vec{y} \Vert^2 = \Vert \vec{x} \Vert^2 + \Vert \vec{y} \Vert^2.
$$

### Ortogonální báze

Báze Eukleidovského prostoru $U$, jejíž každé dva prvky jsou ortogonální.
- např. kanonická báze

V každém Eukleidovském prostoru konečné dimenze existuje ortogonální báze.

#### Gram-Schmidtův ortogonalizační proces

- určení ortogonální báze ze zadané báze

1. Mějme v $U$ bázi $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{n};$ hledáme ortogonální bázi $\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{n}$.
2. Položíme $\vec{g}_{1} = \vec{b}_{1}$.
3. Určíme $\displaystyle \vec{g}_{2} = \vec{b}_{2} - \frac{\vec{b}_{2}, \vec{g}_{1}}{(\vec{g}_{1}, \vec{g}_{1})} \vec{g}_{1}$, což je ortogonální (kolmý) průmět vektoru $\vec{b}_{2}$ do přímky dané vektorem $\vec{g}_{1}$. Platí, že $\vec{g}_{2} \perp \vec{g}_{1}$.
4. Obecně hledáme $\vec{g}_{k}$ jako $\vec{b}_{k} - \overline{\vec{b}_{k}}$, kde $\overline{\vec{b}_{k}}$ je ortogonální průmět prvku $\vec{b}_{k}$ do podprostoru s ortogonální bází $\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{k-1}$. Tedy:
	$$
    \displaystyle \vec{g}_{k} = \vec{b}_{k} - \biggl(
    \frac{(\vec{b}_{k}, \vec{g}_{1})}{(\vec{g}_{1}, \vec{g}_{1})} \vec{g}_{1}
    +
    \frac{(\vec{b}_{k}, \vec{g}_{2})}{(\vec{g}_{2}, \vec{g}_{2})} \vec{g}_{2}
    +
    \dots
    +
    \frac{(\vec{b}_{k}, \vec{g}_{k-1})}{(\vec{g}_{k-1}, \vec{g}_{k-1})} \vec{g}_{k-1}
    \biggr).
    $$

5. Pak jistě $\vec{g}_{k} \perp \vec{g}_{1}, \vec{g}_{k} \perp \vec{g}_{2}, \dots, \vec{g}_{k} \perp \vec{g}_{k-1}$.

### Ortogonální průmět

Mějme Eukleidovský prostor $U$, jeho podprostor $V$ a v něm generátor (ne nutně bázi) $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k}$. Máme určit ortogonální průmět $\overline{\vec{x}}$ prvku $\vec{x} \in U$ do $V$.
- Víme, že $(\vec{x} - \overline{\vec{x}}) \perp \vec{b}_{i}$ pro každé $i = 1, 2, \dots, k$.
- Dále: $\overline{\vec{x}} \in V$, tedy $\overline{\vec{x}} = a_{1}\vec{b}_{1} + a_{2}\vec{b}_{2} + \dots + a_{k}\vec{b}_{k}$  (je to LK generátorů).

![[_assets/ortogonalni-prumet.png]]

Ortogonální průmět $\overline{\vec{x}}$ je vzdálenost $\vec{x}$ od $\mathcal{U}$. 

Pro každé $i = 1, 2, \dots, k$ platí:

$$
0 = (\vec{b}_{i}, \vec{x} - \overline{\vec{x}}) = (\vec{b}_{i}, \vec{x} - a_{1}\vec{b}_{1} + a_{2}\vec{b}_{2} + \dots + a_{k}\vec{b}_{k}) = (\vec{b}_{i}, \vec{x}) - a_{1}(\vec{b}_{i}, \vec{b}_{1}) - a_{2}(\vec{b}_{i}, \vec{b}_{2}) - \dots - a_{k}(\vec{b}_{i}, \vec{b}_{k}).
$$

Dostaneme tak soustavu rovnic:

$$
\begin{matrix}
(\vec{b}_{1}, \vec{b}_{1})a_{1} + (\vec{b}_{1}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{1}, \vec{b}_{k})a_{k} = (\vec{b}_{1}, \vec{x}) \qquad i=1 \\
(\vec{b}_{2}, \vec{b}_{1})a_{1} + (\vec{b}_{2}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{2}, \vec{b}_{k})a_{k} = (\vec{b}_{2}, \vec{x}) \qquad i=2 \\
\vdots \qquad\qquad \vdots \qquad\qquad \vdots \qquad\qquad \vdots \\
(\vec{b}_{k}, \vec{b}_{1})a_{1} + (\vec{b}_{k}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{k}, \vec{b}_{k})a_{k} = (\vec{b}_{k}, \vec{x}) \qquad i=k
\end{matrix}
$$

tedy **Gramovu matici**:

$$
\begin{bmatrix}
(\vec{b}_{1}, \vec{b}_{1}) & (\vec{b}_{1}, \vec{b}_{2}) & \dots & (\vec{b}_{1}, \vec{b}_{k}) \\
(\vec{b}_{2}, \vec{b}_{1}) & (\vec{b}_{2}, \vec{b}_{2}) & \dots & (\vec{b}_{2}, \vec{b}_{k}) \\
\vdots & \vdots & \vdots & \vdots \\
(\vec{b}_{k}, \vec{b}_{1}) & (\vec{b}_{k}, \vec{b}_{2}) & \dots & (\vec{b}_{k}, \vec{b}_{k})
\end{bmatrix}
\begin{bmatrix}
a_{1} \\
a_{2} \\
\vdots \\
a_{3}
\end{bmatrix}
=
\begin{bmatrix}
(\vec{b}_{1}, \vec{x}) \\
(\vec{b}_{2}, \vec{x}) \\
\vdots \\
(\vec{b}_{k}, \vec{x})
\end{bmatrix}
$$

- Je-li $\{ \vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k} \}$ **ortogonální báze**, potom **Gramova matice je diagonální**.
- Gramova matice je regulární, právě když množina vektorů $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k}$ je LN.

Zřejmě $\overline{\vec{x}}$ je nejbližším vektorem k $\vec{x}$ ve $V$.

Je-li $V$ podprostorem prostoru $U$ a $\vec{x} \notin V$, potom existuje právě jeden prvek $\overline{\vec{x}}$ takový, že $\vec{x} - \overline{\vec{x}} \perp V$ a $\overline{\vec{x}} \in V$.
- Pro každý vektor $\vec{y} \in V$ platí $\Vert \vec{x} - \vec{y} \Vert \geq \Vert \vec{x} - \overline{\vec{x}} \Vert$ a rovnost nastává, právě když $\vec{y} = \overline{\vec{x}}$.

**Postup**:
1. Potřebujeme prvky báze $\vec{b}_{i}$ prostoru, do kterého děláme průmět a prvek $\vec{z}$, jehož průmět budeme zjišťovat.
2. Pomocí vzorečku $(\vec{b_{1}}, \vec{b_{i}}) + (\vec{b_{2}}, \vec{b_{i}}) + \dots + (\vec{b_{i}}, \vec{b_{i}}) = (\vec{z}, \vec{b_{i}})$ vytvoříme Gramovu matici.
3. Pomocí GJEM vyřešíme levou část matice, abychom zde získali jednotkovou matici.
4. Výsledkem je vektor v pravé části matice.

### Metoda nejmenších čtverců

Metodou nejmenších čtverců je možné aproximovat funkci - najít nějakou jednodušší, která je co nejpodobnější. 

#### Použití

V rovině je dána množina bodů $\{[-2,-3]; [-1,0]; [0,2]; [1,1]; [2,2]; [3,3]\}$.
- Najděte lineární funkci (= přímku), která ji nejlépe aproximuje.

Hledaná přímka: $y = ax + b$, kde $a,b$ jsou neznámé.

$\vec{z}$ ... vektor y-souřadnic bodů, tedy $\vec{z} = [-3, 0, 2, 1, 2, 3]^T$

Přepíšu do soustavy, tu následně do matice:
- Sloupce matice představují vektory $\vec{b}_{1}, \vec{b}_{2}, \vec{z}$.
- Má-li tato soustava řešení, pak přímka prochází všemi body. A když ne?

$$
\begin{matrix}
-3 = a \cdot (-2) + b \\
0 = a \cdot (-1) + b \\
2 = a \cdot (0) + b \\
1 = a \cdot (1) + b \\
2 = a \cdot (2) + b \\
3 = a \cdot (3) + b
\end{matrix} \qquad \begin{bmatrix}
-2 & 1 & -3 \\
-1 & 1 & 0 \\
0 & 1 & 2 \\
1 & 1 & 1 \\
2 & 1 & 2 \\
3 & 1 & 3
\end{bmatrix}
$$

Víme: $\vec{z}, \vec{b}_{1}, \vec{b}_{2} \in \mathbb{R}^6$, hledáme $a, b$ tak, aby $\vec{z}'$ byl co nejblíže vektoru $\vec{z}$ a zároveň soustava měla řešení. Tedy $\vec{z}'$ je ortogonální průmět $\vec{z}$ do prostoru generovaného $\{ \vec{b}_{1}, \vec{b}_{2} \}$.

$$
G = \begin{bmatrix}
(\vec{b}_{1}, \vec{b}_{1}) & (\vec{b}_{1}, \vec{b}_{2}) \\
(\vec{b}_{2}, \vec{b}_{1}) & (\vec{b}_{2}, \vec{b}_{2})
\end{bmatrix} = \begin{bmatrix}
19 & 3 \\
3 & 6
\end{bmatrix}
\qquad \text{pr. strana: } \begin{bmatrix}
(\vec{z}, \vec{b}_{1}) \\
(\vec{z}, \vec{b}_{2})
\end{bmatrix} = \begin{bmatrix}
20 \\
5
\end{bmatrix}
$$

$$
\text{Řešíme soustavu: } \begin{bmatrix}
19 & 3 & 20 \\
3 & 6 & 5
\end{bmatrix} \to a=1; b=\frac{1}{3}
$$

Hledaná přímka je $y = x + \frac{1}{3}$

Pro $a = 1, b = \frac{1}{3}$ je vektor $\overline{\vec{z}} = a\vec{b}_{1} + b\vec{b}_{2}$ nejblíže vektoru $\vec{z}$.

$$
\displaystyle
\overline{\vec{z}} = 1 \begin{bmatrix}
-2 \\
-1 \\
0 \\
1 \\
2 \\
3
\end{bmatrix} + \frac{1}{3} \begin{bmatrix}
1 \\
1 \\
1 \\
1 \\
1 \\
1
\end{bmatrix} = \begin{bmatrix}
-\frac{5}{3} \\
-\frac{2}{3} \\
\frac{1}{3} \\
\frac{4}{3} \\
\frac{7}{3} \\
\frac{10}{3}
\end{bmatrix} \qquad \vec{z} = \begin{bmatrix}
-3 \\
0 \\
2 \\
1 \\
2 \\
3
\end{bmatrix}
$$

Položme $\vec{r} = \vec{z} - \overline{\vec{z}}$, kde $\vec{r} = [r_{1}, r_{2}, \dots, r_{6}]^T$

$$
\displaystyle\Vert \vec{r} \Vert^2 = \left( -\frac{4}{3} \right)^2 + \left( \frac{2}{3} \right)^2 + \left( \frac{5}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 = \frac{16}{3}
$$

jiný model: $y = x$

$$
\Vert \vec{r} \Vert^2 = (-1)^2 + (1)^2 + (2)^2 + 0^2 + 0^2 + 0^2 = 6 > \frac{16}{3}
$$

jiný model: $y = 1.1x \qquad \vec{z}' = [-2.2; -1.1; 0; 1.1; 2.2; 3.3]$

$$
\Vert \vec{r} \Vert^2 = (-0.8)^2 + (1.1)^2 + (2)^2 + (-0.1)^2 + (-0.2)^2 + (-0.3)^2 = 5.99 > \frac{16}{3}
$$

### Ortogonální doplňek

Nechť $V$ je podprostor Eukleidovského prostoru $U$. **Ortogonální doplněk $V^{\perp}$ podprostoru $V$** v $U$ je množina všech vektorů z $U$, které jsou kolmé na $V$, tedy na každý prvek $V$. Píšeme:

$$
V^{\perp} = \{\vec{u} \in U; \vec{u} \perp \vec{v} \text{ pro každé } \vec{v} \in V\}
$$

- je to podprostor
- $dim(V) + dim(V^{\perp}) = dim(U)$

### Ortonormální báze

**Ortogonální (kolmá) báze**, jejíž prvky mají **délku 1**. (tedy $(b_{i}, b_{i}) = 1$ pro každé $i = 1, 2, \dots, k$)
- existuje v každém **Euklidovském prostoru konečné dimenze**