Data stream algoritmy

streaming algorithm - vstupem proud dat přicházející postupně po jedné položce
zaměženy na minulost - spočítat nějakou funkci dat

oproti tomu online algoritmy - jak naše rozhodnutí ovlivní budoucnost
vypadá snadné, ale nemáme místo na všechna data, jen O(\log n) nebo dokonce O(1) paměti

data stream - data přicházejí rychle, takže
- obtížné předat je programu všechna
- obtížné spočítat složitější funkce na velkých částech vstupu
- obtížné je dočasně nebo trvale ukládat
neformálně: streaming zahrnuje
- malý počet průchodů daty (obvykle jeden)
- sublineární paměť
- sublineární čas na výpočet (někdy)

podobné dynamickým, online, aproximačním nebo randomizovaným algoritmům, ale s více omezeními
nesměšovat s algoritmy pro vnější paměť
- tam data v souborech, pomalé, ale přes všechny potíže se k nim lze dostat opakovaně, ukládat atd.

Jak zvládat taková data?

paralelizace
- často vysoce paralelizovatelné úlohy, kromě ukládání
řízení datové rychlosti vzorkováním
- experimenty s částicemi s vysokou energií v CERNu (TB/s dat redukováno HW v reálném čase na GB/s)
zaokrouhlení datových struktur na bloky
- např. hledání podvodů v telefonní síti - užití grafu až do velikosti 1 dne a srovnávání s přechozím dnem
hierarchická detailní analýza
kladení si imaginativních otázek
- může přinést nová řešení

Aplikace

sítě
- např. routery - sledují pakety, cca milión za sekundu, moc velké na uložení, ale chceme spočítat např. kam jdou, kde odmítány služby atd.
databáze
- sledování updatů a dotazů, chceme statistiku, např. které položky nejčastěji požadovány atd.

Typická úloha

Data stream modely

Vstupní data a_{1}, a_{2}, \dots přicházejí sekvenčně, prvek po prvku, a popisují signál A, 1D funkci A:[1\dots N] \to R.

Modely se liší způsobem popisu A.

Time Series Model

a_{i} = A[i], objevují se v rostoucím pořadí i
vhodný model pro časové pospoupnosti, kde např. sledujeme provoz na IP adrese každých 5 minut, objem burzovních obchodů každou minutu apod.

Cash Register Model

a_{i} jsou inkrementy k A[j], a_{i} = (j, I_{i}), I_{i} \geq 0
tj. A_{i}[j] = A_{i-1}[j] + I_{i}, kde A_{i} je stav signálu po shlédnuté $i$-té položky ve streamu
více a_{i} může postupně inkrementovat jeden A[j]

patrně nejpopulárnější model pro aplikace typu monitorování IP adres, které přistupují k webserveru - mohou přistupovat vícekrát

Turnstile Model

a_{i} jsou updaty A[j], a_{i} = (j, U_{i})
tj. A_{i}[j] = A_{i-1}[j] + U_{i}, kde U_{i} může být kladné i záporné
nejobecnější model pro apliakce typu sledování cestujících v podzemce - turniket sleduje přicházející i odcházející
vhodné pro plně dynamické úlohy
těžké získat nějaké řešení v tomto modelu

někdy A_{i}[j] \geq 0 - strict Turnstile model
- tj. lidé odcházejí jen tím turniketem, kterým přišli
naopak non-strict Turnstile model
- A_{i}[j] < 0 pro nějaké i: např. signál nad rozdílem dvou cash registerových streamů

Data stream řešení

Zlepšení