Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen.
Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes.[1]
Eine kontinuierliche Zufallsvariable
kann unendlich viele Werte annehmen, d. h. könnte man ihre Werte exakt ermitteln, wäre die Wahrscheinlichkeit
für einen bestimmten Wert
gleich Null:
![{\displaystyle P(X=x_{0})=\lim _{\varepsilon \to 0}\varepsilon f_{X}(x_{0})=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/03c16baa22c184a7cde8ea52507fdc6c5e560118)
Und somit der Informationsgehalt eines jeden Werts unendlich:
![{\displaystyle \lim _{p_{x}\to 0}I(p_{x})=-\lim _{p_{x}\to 0}\log _{2}(p_{x})=\infty }](https://wikimedia.org/api/rest_v1/media/math/render/svg/f22ac82a5708934be77ea8ca80bf8ff794cc7b68)
Sei
eine kontinuierliche Zufallsvariable mit der Wahrscheinlichkeitsdichtefunktion
, dann ist ihre differentielle Entropie definiert als
![{\displaystyle h(X)=-\int _{-\infty }^{+\infty }f_{X}(x)\log f_{X}(x)\,{\text{d}}x=E[-\log f_{X}(x)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/73835af358d94d268ecf175f49f8d6ea5451028e)
Im Gegensatz zur Shannon-Entropie kann die differentielle Entropie auch negativ sein.
Da die differentielle Entropie nicht skalierungsinvariant ist (s. u.), empfiehlt es sich, die Zufallsvariable geeignet zu normieren, sodass sie dimensionslos ist.
- Die differentielle Entropie ist verschiebungsinvariant, d. h.
für konstante
. Es ist somit hinreichend, mittelwertfreie Zufallsvariablen zu betrachten.
- Für die Skalierung gilt:
mit dem Zufallsvektor
und dem Betrag der Determinante
.
Für eine gegebene Varianz
besitzt die Gauß-Verteilung die maximale differentielle Entropie, d. h. ihre „Zufälligkeit“ oder ihr Überraschungswert ist – verglichen mit allen anderen Verteilungen – am größten. Sie wird deshalb auch zur Modellierung von Störungen beim Kanalmodell verwendet, da sie ein Worst-Case-Modell für Störungen darstellt (siehe auch additives weißes gaußsches Rauschen).
Für einen endlichen Wertebereich, d. h. ein gegebenes Betragsmaximum besitzt eine gleichverteilte Zufallsvariable die maximale differentielle Entropie.
Übersicht verschiedener Wahrscheinlichkeitsverteilungen und ihre differentielle Entropie
Verteilung |
Wahrscheinlichkeitsdichtefunktion |
Differentielle Entropie (in Bit) |
Träger
|
Gleichverteilung |
![{\displaystyle f(x)={\frac {1}{2a}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/01b3a96c3c74eb2ab68d121a85e92487fb747f20) |
![{\displaystyle \log _{2}(2a)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/988173cb201d192d0c42f422a33920a85c690e07) |
|
Normalverteilung |
![{\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a62fb8d598a53a184698ba685f1707ddd8fc52ce) |
![{\displaystyle {\frac {1}{2}}\log _{2}(2\pi e\sigma _{x}^{2})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/55f884bb44a4b35fa786ed31565d93bd30f25985) |
|
Laplace-Verteilung |
![{\displaystyle f(x)={\frac {1}{{\sqrt {2}}\sigma _{x}}}\exp \left(-{\frac {{\sqrt {2}}|x-\mu |}{\sigma _{x}}}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2ef3b79561a9f934dff5a8e430ee978c41277d49) |
![{\displaystyle {\frac {1}{2}}\log _{2}(2e^{2}\sigma _{x}^{2})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8e35a9b68960b79ac1b3d7594cf307cd05d9fd41) |
|
Symmetrische Dreiecksverteilung |
![{\displaystyle f(x)={\begin{cases}{\frac {1}{a}}\left(1-{\frac {|x|}{a}}\right)&\forall \;|x|\leq a\\0&\forall \;|x|>a\end{cases}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d67b5fa88748f1053af3bd3f5b884904d2d67f3a) |
![{\displaystyle {\frac {1}{2}}\log _{2}(6e\sigma _{x}^{2})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a711072c5c562305f36a3d94972c24f901bb9606) |
|
- Thomas M. Cover, Joy A. Thomas: Elements of Information Theory. John Wiley & Sons, 1991, ISBN 0-471-06259-6, S. 224–238.
- Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
- Peter Adam Höher: Grundlagen der digitalen Informationsübertragung. Von der Theorie zu Mobilfunkanwendungen, 1. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2011, ISBN 978-3-8348-0880-6.
- ↑ Edwin Thompson Jaynes: Prior Probabilities. In: IEEE Transactions on Systems Science and Cybernetics. Band 4, Nr. 3, 1968, ISSN 0536-1567, S. 227–241, doi:10.1109/TSSC.1968.300117 (wustl.edu [PDF; abgerufen am 1. April 2021]).