Pojem informační entropie implikuje záporný logaritmus funkce hmotnosti pravděpodobnosti pro hodnotu. Když má tedy zdroj dat hodnotu s nižší pravděpodobností (tj. když nastane událost s nízkou pravděpodobností), událost nese více „informací“(„překvapení“), než když zdrojová data mají hodnotu s vyšší pravděpodobností..
Množství informace přenášené každou takto definovanou událostí se stává náhodnou veličinou, jejíž očekávanou hodnotou je informační entropie. Obecně se entropie týká nepořádku nebo nejistoty a její definice používaná v teorii informace je přímo analogická té, která se používá ve statistické termodynamice. Koncept IE představil Claude Shannon ve svém článku z roku 1948 „A Mathematical Theory of Communication“. Odtud pochází termín „Shannonova informační entropie“.
Definice a systém
Základní model systému přenosu dat se skládá ze tří prvků: zdroje dat, komunikačního kanálu a přijímače,a jak říká Shannon, "základním komunikačním problémem" je to, že přijímač je schopen identifikovat, jaká data generoval zdroj na základě signálu, který přijímá přes kanál. Entropie poskytuje absolutní omezení na nejkratší možnou průměrnou délku bezeztrátového kódování komprimovaných zdrojových dat. Pokud je entropie zdroje menší než šířka pásma komunikačního kanálu, data, která generuje, mohou být spolehlivě přenesena do přijímače (alespoň teoreticky, možná zanedbávání některých praktických úvah, jako je složitost systému potřebného k přenosu dat). a množství času, které může trvat přenos dat).
Informační entropie se obvykle měří v bitech (alternativně nazývaných „shannons“) nebo někdy v „přirozených jednotkách“(nats) nebo desetinných místech (tzv. „dits“, „bans“nebo „hartleys“). Jednotka měření závisí na bázi logaritmu, který se používá k určení entropie.
Vlastnosti a logaritmus
Logaritmické rozdělení pravděpodobnosti je užitečné jako míra entropie, protože je aditivní pro nezávislé zdroje. Například entropie spravedlivé sázky mince je 1 bit, zatímco entropie m-objemů je m bitů. V jednoduché reprezentaci jsou log2(n) bity potřebné k reprezentaci proměnné, která může nabývat jedné z n hodnot, pokud n je mocnina 2. Pokud jsou tyto hodnoty stejně pravděpodobné, entropie (v bitech) je rovnající se tomuto číslu. Pokud je jedna z hodnot pravděpodobnější než ostatní, pozorování, že jevýznam se vyskytuje, je méně informativní, než kdyby došlo k nějakému méně obecnému výsledku. Naopak vzácnější události poskytují další informace o sledování.
Protože pozorování méně pravděpodobných událostí je méně časté, není nic společného s tím, že entropie (považovaná za průměrnou informaci) získaná z nerovnoměrně rozložených dat je vždy menší nebo rovna log2(n). Entropie je nulová, když je definován jeden výsledek.
Shannonova informační entropie kvantifikuje tyto úvahy, když je známo rozdělení pravděpodobnosti podkladových dat. Význam pozorovaných událostí (význam zpráv) je v definici entropie irelevantní. Ten bere v úvahu pouze pravděpodobnost, že uvidí konkrétní událost, takže informace, které zapouzdřuje, jsou údaje o základní distribuci možností, nikoli o významu událostí samotných. Vlastnosti informační entropie zůstávají stejné, jak je popsáno výše.
Teorie informace
Základní myšlenkou teorie informace je, že čím více o tématu víme, tím méně informací o něm může získat. Pokud je událost velmi pravděpodobná, není překvapivé, když k ní dojde, a proto poskytuje jen málo nových informací. A naopak, pokud byla událost nepravděpodobná, bylo mnohem informativnější, že se událost stala. Proto je užitečné zatížení rostoucí funkcí inverzní pravděpodobnosti události (1 / p).
Pokud se nyní stane více událostí, entropieměří průměrný informační obsah, který můžete očekávat, pokud dojde k jedné z událostí. To znamená, že házení kostkou má větší entropii než házení mincí, protože každý výsledek krystalu má nižší pravděpodobnost než výsledek každé mince.
Funkce
Entropie je tedy mírou nepředvídatelnosti stavu nebo, což je totéž, jeho průměrného informačního obsahu. Chcete-li intuitivně porozumět těmto termínům, zvažte příklad politického průzkumu. Obvykle se takové průzkumy konají, protože výsledky například voleb ještě nejsou známy.
Jinými slovy, výsledky průzkumu jsou relativně nepředvídatelné a ve skutečnosti jeho provedení a zkoumání dat poskytuje některé nové informace; jsou to jen různé způsoby, jak říci, že předchozí entropie výsledků průzkumu je velká.
Nyní zvažte případ, kdy se stejný průzkum provede podruhé krátce po prvním. Vzhledem k tomu, že výsledek prvního průzkumu je již znám, lze výsledky druhého průzkumu dobře předvídat a výsledky by neměly obsahovat mnoho nových informací; v tomto případě je apriorní entropie druhého výsledku průzkumu malá ve srovnání s prvním.
Hození mincí
Nyní zvažte příklad házení mincí. Za předpokladu, že pravděpodobnost ocasů je stejná jako pravděpodobnost hlav, je entropie hodu mincí velmi vysoká, protože jde o zvláštní příklad informační entropie systému.
To protože je nemožné předvídat, že je výsledek hozený předem časem: pokud si musíme vybrat, nejlepší, co můžeme udělat, je předpovědět, že mince přistane na chvostu, a tato předpověď bude správná s pravděpodobností 1 / 2. Takový hod mincí má jednu bitovou entropii, protože existují dva možné výsledky, ke kterým dojde se stejnou pravděpodobností, a studium skutečného výsledku obsahuje jeden bit informace.
Naopak, házení mince pomocí obou stran s ocasem a bez hlav má nulovou entropii, protože mince vždy dopadne na toto znamení a výsledek lze dokonale předvídat.
Závěr
Pokud je schéma komprese bezeztrátové, což znamená, že můžete vždy obnovit celou původní zprávu dekompresí, pak má komprimovaná zpráva stejné množství informací jako originál, ale je přenášena v méně znacích. To znamená, že má více informací nebo vyšší entropii na znak. To znamená, že komprimovaná zpráva má menší redundanci.
Zhruba řečeno, Shannonův teorém o kódování zdrojového kódu říká, že schéma bezeztrátové komprese nemůže redukovat zprávy v průměru tak, aby měly více než jeden bit informace na bit zprávy, ale lze dosáhnout jakékoli hodnoty menší než jeden bit informace na bit zprávy používající příslušné schéma kódování. Entropie zprávy v bitech krát její délka je mírou toho, kolik obecných informací obsahuje.
