Gibbs-Ungleichung

In der Informationstheorie ist die Gibbs-Ungleichung, benannt nach Josiah Willard Gibbs, eine Aussage über die Entropie einer diskreten Wahrscheinlichkeitsverteilung. Man erhält mit ihr eine untere Schranke der mittleren Codewortlänge von optimalen Präfixcodes und eine untere Schranke der mittleren Laufzeit von vergleichsbasierten Sortierverfahren.

Gibbs-Ungleichung

Es seien ${\displaystyle p=(p_{1},\dots ,p_{n})}$ und ${\displaystyle q=(q_{1},\dots ,q_{n})}$ diskrete Wahrscheinlichkeitsverteilungen, d. h. ${\displaystyle p_{i},q_{i}>0}$ für alle ${\displaystyle i}$ und ${\displaystyle \sum _{i=1}^{n}p_{i}=\sum _{i=1}^{n}q_{i}=1}$. Dann gilt:

${\displaystyle -\sum \limits _{i=1}^{n}p_{i}\log _{2}p_{i}\leq -\sum \limits _{i=1}^{n}p_{i}\log _{2}q_{i}}$

Gleichheit tritt genau dann auf, wenn ${\displaystyle p_{i}=q_{i}}$ für alle ${\displaystyle i}$.

Beweis

Für alle ${\displaystyle x>0}$ gilt die Ungleichung ${\displaystyle \ln x\leq x-1}$, wobei Gleichheit nur im Fall ${\displaystyle x=1}$ auftritt.

Setzt man für ${\displaystyle x}$ insbesondere ${\displaystyle {\frac {q_{i}}{p_{i}}}}$ ein, so erhält man ${\displaystyle \ln \left({\frac {q_{i}}{p_{i}}}\right)\leq {\frac {q_{i}}{p_{i}}}-1\quad \forall i=1,...,n}$.

Multipliziert man die Ungleichung mit ${\displaystyle p_{i}}$ durch und summiert über alle ${\displaystyle i}$, so erhält man

${\displaystyle \sum _{i=1}^{n}p_{i}\ln \left({\frac {q_{i}}{p_{i}}}\right)\leq \sum _{i=1}^{n}(q_{i}-p_{i})=\sum _{i=1}^{n}q_{i}-\sum _{i=1}^{n}p_{i}=1-1=0}$.

Nachdem ${\displaystyle \ln \left({\frac {q_{i}}{p_{i}}}\right)=\ln(q_{i})-\ln(p_{i})}$ ist, folgt daraus

${\displaystyle \sum _{i=1}^{n}p_{i}\ln(q_{i})\leq \sum _{i=1}^{n}p_{i}\ln(p_{i})}$.

Bringt man die beiden Terme auf die jeweils entgegengesetzte Seite, so ist

${\displaystyle -\sum _{i=1}^{n}p_{i}\ln(p_{i})\leq -\sum _{i=1}^{n}p_{i}\ln(q_{i})}$.

Anstelle des natürlichen Logarithmus lässt sich genauso gut jede andere Logarithmenbasis ${\displaystyle b>1}$ verwenden, da ${\displaystyle \log _{b}(x)={\frac {\ln(x)}{\ln(b)}}}$ gilt.

Man braucht die Ungleichung hierzu nur mit der positiven Zahl ${\displaystyle \ln(b)}$ durchdividieren.

In der Informationstheorie bietet es sich an als Basis ${\displaystyle b=2}$ zu wählen.

Folgerungen

Für die Entropie gilt

${\displaystyle H(p_{1},\dots ,p_{n})\leq \log _{2}n}$,

mit Gleichheit genau dann, wenn ${\displaystyle p_{i}={\frac {1}{n}}}$ für alle ${\displaystyle i}$.

Wenn ${\displaystyle X,Y}$ diskrete Zufallsvariablen sind, dann ist

${\displaystyle H(X,Y)\leq H(X)+H(Y)}$,

mit Gleichheit genau dann wenn ${\displaystyle X}$ und ${\displaystyle Y}$ stochastisch unabhängig sind.

Einige nützliche Anwendungen ergeben sich in Verbindung mit der Kraft-Ungleichung. Sei dazu ein vollständiger Binärbaum mit den Blatttiefen ${\displaystyle \ell _{1},\dots ,\ell _{n}}$ und einer den Blättern zugeordneten Wahrscheinlichkeitsverteilung ${\displaystyle p=(p_{1},\dots ,p_{n})}$ gegeben. Dann gilt mittels ${\displaystyle q_{i}:=2^{-\ell _{i}}}$:

${\displaystyle H(p_{1},\dots ,p_{n})\leq -\sum \limits _{i=1}^{n}p_{i}\log _{2}2^{-\ell _{i}}=\sum \limits _{i=1}^{n}p_{i}\ell _{i}}$

Die mittlere Blatttiefe ist also von unten durch die Entropie der dazugehörigen Wahrscheinlichkeitsverteilung beschränkt.

Damit ist dann klar, dass die mittlere Codewortlänge eines optimalen Präfixcodes von unten durch die Entropie der zugehörigen Wahrscheinlichkeitsverteilung der Symbole beschränkt ist. Gleichheit tritt hier genau dann auf, wenn ${\displaystyle p_{i}=2^{-\ell _{i}}}$ für alle ${\displaystyle i}$ gilt, wobei ${\displaystyle \ell _{i}}$ die Codewortlänge des ${\displaystyle i}$-ten Codewortes bezeichnet.

Bei vergleichsbasierten Sortierverfahren von ${\displaystyle n}$ Elementen unter Gleichverteilungsannahme ergibt sich durch Betrachtung der mittleren Blatttiefe des binären Entscheidungsbaums die untere Schranke ${\displaystyle \log _{2}n!}$. Die average-case-Laufzeit eines vergleichsbasierten Sortierverfahrens verhält sich also asymptotisch wie ${\displaystyle n\log n}$.

Literatur

• U. Schöning: Algorithmik. Spektrum Akademischer Verlag, Heidelberg 2001.
• E. Becker, W. Bürger: Kontinuumsmechanik. Eine Einführung in die Grundlagen und einfache Anwendungen, B.G. Teubner Verlag, Stuttgart 1975.
• Hermann Rohling: Einführung in die Informations- und Codierungstheorie. B.G. Teubner Verlag, Stuttgart 1995, ISBN 3-519-06174-0.

Weblinks

• Die Entropie Funktion (abgerufen am 12. Februar 2018)
• Gibbssche Punktprozesse (abgerufen am 12. Februar 2018)
• Informations- und Codierungstheorie (abgerufen am 12. Februar 2018)
• Neue Matrix-Ungleichungen und Anwendungen auf konstitutive Beziehungen in der nichtlinearen Elastizitätstheorie (abgerufen am 12. Februar 2018)
• Gibbs Masse und Zufallsfelder (abgerufen am 12. Februar 2018)