|
Die Entropie einer diskreten Quelle statistisch voneinander unabhängiger Zeichen war:
In entsprechender Weise wird nun die Entropie kontinuierlicher Quellen mit der Wahrscheinlichkeitsdichtefunktion p(x) folgendermaßen definiert:
Die Definition für H(x) für kontinuierliche Quellen ergibt ähnliche Eigenschaften für die Entropie H wie die Definition für H(x) für diskrete Quellen. Wenn alle Musterfunktionen x(t) beschränkt sind auf einen endlichen Wertebereich, dann läßt sich zeigen, daß H(x) maximal wird, wenn p(x) eine Rechteckverteilungsdichte aufweist (siehe Bild 3.2). Dieses Ergebnis ist plausibel, da ja auch im diskreten Fall sich die maximale Entropie dann ergab, wenn alle Zeichen gleich wahrscheinlich wahren. Wenn der Wertebereich von x zwar nicht beschränkt ist, aber trotzdem die mittlere Signaleistung beschränkt ist, dann ergibt sich über eine Variarionsrechnung die maximale Entropie, wenn p(x) eine Gaußsche Verteilungsdichte darstellt:
(Normalverteilung)
² ist die Streuung. Ihre positive Wurzel heißt Standardabweichung. Wenn x eine Spannung ist, dann ist die Standardabweichung gleich dem Effektivwert der Spannung = Ueff. Daraus folgt, daß bei beschränkter Leistung eine solche Zeitfunktion x(t) die maximale Entropie H ergibt, welche die gleichen statistischen Eigenschaften wie z.B. Widerstandrauschen hat.
Auch Verbundentropie und bedingte Entropie ergeben sich bei kontinuierlichen Quellen ebenso wie bei diskreten Quellen.
p(y|x) bedingte Wahrscheinlichkeitsdichte, daß y im Bereich dy auftritt, wenn x aufgetreten und bekannt ist.
p(x|y) bedingte Wahrscheinlichkeitsdichte, daß x im Bereich dx auftritt, wenn y aufgetreten und bekannt ist.
Für die Dichtefunktion p(x,y) und p(y|x) gelten ganz entsprechende Beziehungen wie für die
Entsprechenden Wahrscheinlichkeiten P(x,y) und P(y|x). Es allerdings einen wichtigen
Unterschied zwischen der Entropie diskreter und kontinuierlicher Signale. Während die Entropie diskreter Signale ein absolutes Maß über die Unsicherheit der Zeichen xi liefert, gibt die Entropie kontinuierlicher Signale nur ein relatives Maß über die Unsicherheit der Variablen x. Dieses relative Maß hängt vom gewählten Koordinatensystem ab. Das soll anhand eines Beispiels verdeutlicht werden: Wir betrachten eine Quelle, die eine Zeitfunktion x(t) erzeugt, wobei die Ordinate x beschränkt sei und eine rechteckige Wahrscheinlichkeitsdichtefunktion entsprechend Bild 3.2 hat. Es sei mit a=2: -2 x 2
Der größte Ordinatenwert ist x=2, der kleinste ist x=-2. Dazwischen sind alle x gleichwahrscheinlich.
Die Entropie ist somit
Das Signal x(t) soll nun mit einem idealen störungs- und verzerrungsfreien Verstärker achtfach verstärkt werden. Dann ist am Verstärkerausgang der größte Ordinatenwert x=16, der Kleinste x=-16. Dazwischen sind wieder alle Werte gleichwahrscheinlich, d.h. -16 x +16 p(x)=1/32.
Die Entropie am Verstärkerausgang ist nun
Der ideale Verstärker kann natürlich keine zusätzliche Information bringen. Die Änderung der Entropie ist lediglich durch eine Maßstabänderung, d.h. eine Änderung des Koordinatensystems bedingt. Es zeigt sich aber, daß Maßstabänderungen keine rolle spielen, wenn Differenzen von Entropien betrachtet werden. Diese wichtige Tatsache soll nicht allgemein bewiesen, aber an einem einfachen Beispiel erläutert werden. Eine Quelle hat die Entropie H(x) = 2. Eine andere Quelle hat die Entropie H(y) = 4. Die Werte x und y sind als gleichförmig verteilt angenommen. Die Entropiedifferenz ist also H(y) - H(x) = 2. Wenn beide Signale x und y achtfach verstärkt werden, dann ergeben sich H(x) = 5 und H(y) = 7. Die Differenz bleibt jedoch 2, also konstant und davon unberührt.
Die Unabhängigkeit von Entropiedifferenzen vom Maßstab ist von großer praktischer Bedeutung, da bei der Informationsübertragung hauptsächlich die Transinformation und die Kanalkapazität von Interesse sind. Beide Größen werden von Entropiedifferenzen gebildet und sind somit vom Maßstab unabhängig.
Zur Berechnung des Informationsflusses H' wird die Entropie auf die Zeit bezogen. Liegt ein bandbegrenztes kontinuierliches Signal vor, dann brauchen nach dem Abtasttheoremnicht für alle Zeitpunkte die Ordinatenwerte übertragen zu werden. Es genügt die Betrachtung der Ordinatenwerte in Zeitabständen der doppelten maximal auftretenden Frequenz. Da dies zugleich der kürzestmögliche Abstand für statistisch unabhängige Abtastwerte ist, errechnet sich der Informationsfluß H' zu:
Hierbei ist unterstellt, daß kontinuierliche Spektrum von x(t) den Bereich -fmax f fmax tatsächlich einnimmt.
|
