Přidání 7. cvičení z TI

KIV TI/Cvičení/Cviceni07.md

@@ -0,0 +1,130 @@
+**Př. 1**: Kolik informace obsahuje trabulka náhodných čísel, která má 50 stran, na každé stránce je 20 řádků a jeden řádek je 25 dekadických cifer.
+
+- $H_{\text{jedna číslice}} = \log_{2}10$
+- $H_{\text{tabulka}} = 25 \cdot 20 \cdot 50 \cdot \log_{2}10 = 25000 \cdot \log_{2}10$
+- $I_{\text{tabulka}} = H_{\text{tabulka}}$
+	- $I = H_{\text{před}} - H_{\text{po}}$
+	- neurčitost $H_{\text{po}}$ je nulová
+
+## Strategie volby experimentu
+
+Je dáno 12 mincí, jedna z nich je falešná (liší se vahou). Máme rovnoramenné váhy, detekují tři stavy. Cílem je najít falešnou minci, určit je-li těžší nebo lehčí.
+
+- Kolik je potřeba vážení?
+- Může se nevhodným výběrem stát, že jich bude potřeba víc?
+
++ Kolik neurčitosti je v úloze?
+	+ $H(X) = \log_{2}24$
++ Kolik informace poskytuje jedno vážení (ve střední hodnotě)?
+	+ $I(Y) = \log_{2}3$
+
+- $n \cdot \log_{2}3 \geq \log_{2}24$
+- $\log_{2}3^n \geq \log_{2}24$
+- $3^n \geq 24$
+- $n \geq 3$
+- je možné, že by stačily 3 vážení
+
+| L   | P   | a) > | b) =  | c) < | H(Y)        |
+| --- | --- | ---- | ----- | ---- | ----------- |
+| 1   | 1   | 1/12 | 10/12 | 1/12 |             |
+| 2   | 2   | 2/12 | 8/12  | 2/12 |             |
+| 3   | 3   | 3/12 | 6/12  | 3/12 |             |
+| 4   | 4   | 4/12 | 4/12  | 4/12 | $\log_{2}3$ |
+| 5   | 5   | 5/12 | 2/12  | 5/12 |             |
+| 6   | 6   | 6/12 | 0     | 6/12 |             |
+
+vybrali jsme 4 4, protože má největší střední entropii
+
+1. vážení
+	- $H_{\text{před}}(X) = \log_{2}24$
+	- **a)** 4 podezřelé $\uparrow$, 4 podezřelé $\downarrow$, 4 v pořádku
+	- **b)** 4 podezřelé $\uparrow\downarrow$, 8 v pořádku
+	- **c)** jako a)
+	- v každém výsledku bude $H_{\text{po}}(X) = \log_{2}8$
+
+- $I(y_{i}) = H_{\text{před}} - H_{\text{po}}$
+- $I(y_{i}) = -\log_{2} p(y_{i}) = -\log_{2}\frac{1}{3} = \log_{2}3$ ($p$ = pravděpodobnost)
+
++ $H_{\text{po}}(X) = H_{\text{před}}(X) - I(y_{i}) = \log_{2}24 - \log_{2}3 = \log_{2} \frac{24}{3} = \log_{2}8$
+
+### Jak dál po b)
+
+- máme 4 podezřelé $\uparrow\downarrow$, 8 v pořádku
+- první číslo podezřelé
+- druhé číslo dorovnání těma v pořádku
+- $H_{\text{před}}(X) = \log_{2} 8$
+
+| L ($\uparrow\downarrow, \circ$) | P ($\uparrow\downarrow, \circ$) | a)  | b)  | c)  | H(X)                         |
+| ------------------------------- | ------------------------------- | --- | --- | --- | ---------------------------- |
+| 4 0                             | 0 4                             | 1/2 | 0   | 1/2 | 1                            |
+| 3 0                             | 1 2                             | 1/2 | 0   | 1/2 | 1                            |
+| 2 0                             | 2 0                             | 1/2 | 0   | 1/2 | 1                            |
+| 3 0                             | 0 3                             | 3/8 | 1/4 | 3/8 | největší entropie - vybereme |
+| 2 0                             | 1 1                             | 3/8 | 1/4 | 3/8 | největší entropie            |
+| 2 0                             | 0 2                             | 1/4 | 1/2 | 1/4 |                              |
+| 1 0                             | 1 0                             | 1/4 | 1/2 | 1/4 |                              |
+| 1 0                             | 0 1                             | 1/8 | 3/4 | 1/8 |                              |
+
+Nemáme žádné rozdělení na 1/3, ale můžeme pokračovat.
+- $3\log_{2}3 \geq \log_{2}24$
+- $4.75 \geq 4.58$
+
+po:
+- a) 3x $\downarrow$, 9x v pořádku
+	- $H_{\text{po}}(X) = \log_{2}3$
+	- další vážení: vážím $\downarrow$ a $\downarrow$, vedle je $\downarrow$
+- b) 1x $\uparrow\downarrow$, 11x v pořádku
+	- $H_{\text{po}}(X) = \log_{2}2 = 1$
+	- další vážení: vážím $\uparrow\downarrow$ a minci v pořádku
+- c) 3x $\uparrow$, 9x v pořádku
+	- $H_{\text{po}}(X) = \log_{2}3$
+	- další vážení: vážím $\uparrow$ a $\uparrow$, vedle je $\uparrow$
+
+a), c)
+$$
+H_{\text{po}}(X) = H_{\text{před}}(X) - I(y_{i}) = \log_{2}8 - \log_{2} \frac{3}{8} = \log_{2}8 - (- \log_{2}3 + \log_{2}8) = \log_{2}3
+$$
+
+b)
+$$
+\dots = \log_{2}8 - \left( - \log_{2} \frac{1}{4} \right) = 3 - \log_{2}4 = 1
+$$
+
+### Jak dál po a) a c)
+
+Vysvětlivky:
+- $N$ = v pořádku
+- $T$ = podezřelá, že je těžší
+- $L$ = podezřelá, že je lehčí
+
+Podmínky:
+- $L_{L} + P_{L} \leq 4$
+- $L_{T} + P_{T} \leq 4$
+- $L_{N} + P_{N} \leq 4$
+- $L_{L} + L_{T} + L_{N} = P_{L} + P_{T} + P_{N}$
+
+| L ($\uparrow, \downarrow, \circ$) | P ($\uparrow, \downarrow, \circ$) | a)                  | b)                                            | c)                      |
+| --------------------------------- | --------------------------------- | ------------------- | --------------------------------------------- | ----------------------- |
+| $L_{L} \, L_{T} \, L_{N}$         | $P_{L} \, P_{T} \, P_{N}$         | $\frac{4+P_{L}}{8}$ | $\frac{8-(L_{T} + L_{L} + P_{T} + P_{L})}{8}$ | $\frac{L_{L}+P_{T}}{8}$ |
+| 1 2 0                             | 1 1 1                             | 3/8                 | 3/8                                           | 2/8                     |
+
+po:
+- a) 2L, 1T
+	- $\log_{2}3$
+- b) 1L, 2T
+	- $\log_{2}3$
+- c) 1L, 1T
+	- $\log_{2}2 = 1$
+
+### Závěr
+
+Probrali jsme všechny možnosti a zjistili jsme, že to jde vyřešit pomocí 3 vážení.
+
+Dá se to zvládnout pomocí 2 vážení?
+- ano, dá
+- vybereme na začátku vážení 1 1
+	- je to risk, ale získáme velkou informaci
++ $p(y_{1}) = \frac{1}{6}$
++ $I(y_{i}) = -\log_{2} \frac{1}{6} = \log_{2}6$
++ $H_{\text{po}} = \log_{2}24 - \log_{2}6 = \log_{2} \frac{24}{6} = \log_{2}4 = 2 \text{ bity}$
++ máme 1L, 1T