אנטרופיה דיפרנציאלית

אנטרופיה דיפרנציאלית (המכונה גם אנטרופיה רציפה) היא מושג בתורת האינפורמציה שהגה קלוד שאנון בניסיון להרחיב את מושג האנטרופיה של משתנה מקרי בדיד להתפלגויות הסתברות רציפות. שאנון הניח, בטעות, כי האנטרופיה הדיפרנציאלית כפי שהגדיר אותה מהווה הרחבה טבעית רציפה של אנטרופיה בדידה להתפלגויות רציפות.^[1] האנטרופיה הדיפרנציאלית מופיעה לעיתים קרובות בספרות, למרות שהיא אינה מקיימת חלק מהתכונות של האנטרופיה המקורית של שאנון.^[1]

הגדרה

יהי ${\displaystyle X}$ משתנה מקרי עם פונקציית צפיפות הסתברות ${\displaystyle f}$ שהתומך שלה היא קבוצה ${\displaystyle {\mathcal {X}}}$ . האנטרופיה הדיפרנציאלית ${\displaystyle h(X)}$ אוֹ ${\displaystyle h(f)}$ מוגדרת כ:^[2]

$${\displaystyle h(X)=\operatorname {E} [-\log(f(X))]=-\int _{\mathcal {X}}f(x)\log f(x)\,dx}$$

עבור התפלגויות הסתברות שלא ניתן לבטא באופן מפורש את פונקציית הצפיפות שלהן, אך ניתן לבטאן באמצעות פונקציית שברונים, ${\displaystyle Q(p)}$, ניתן להגדיר את ${\displaystyle h(Q)}$ במונחים של הנגזרת של ${\displaystyle Q(p)}$, כלומר ${\displaystyle Q'(p)}$, על ידי^[3]

${\displaystyle h(Q)=\int _{0}^{1}\log Q'(p)\,dp}$ .

כמו במקרה הבדיד, היחידות של האנטרופיה הדיפרנציאלית תלויות בבסיס הלוגריתם, שהוא בדרך כלל 2 (כלומר, היחידה היא ביט). מושגים כגון אנטרופיה משותפת, אנטרופיה מותנית ואנטרופיה יחסית מוגדרים למשתנים מקרי רציף בדומה להגדרתם למשתנה מקרי בדיד.

שלא כמו במקרה הבדיד, לאנטרופיה הדיפרנציאלית יש היסט, שתלוי ביחידה המשמשת למדידת המשתנה המקרי ${\displaystyle X}$.^[4]  לדוגמה, האנטרופיה הדיפרנציאלית של משתנה מקרי שנמדדת במילימטרים תהיה גדולה פי log(1000) מאשר אם ערך המשתנה נמדד במטרים.

יש להיזהר בניסיון ליישם תכונות של אנטרופיה בדידה לאנטרופיה דיפרנציאלית, שכן פונקציות צפיפות הסתברות יכולות להיות גדולות מ-1. למשל, להתפלגות האחידה הרציפה ${\displaystyle {\mathcal {U}}(0,1/2)}$ יש אנטרופיה דיפרנציאלית שלילית:

${\displaystyle \int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,}$

כלומר, פחות מהאנטרופיה הדיפרנציאלית של ${\displaystyle {\mathcal {U}}(0,1)}$ שהיא אפס.

קיימים ניסוחים אחרים של האנטרופיה למשתנים רציפים שמקיימים את התכונות הבסיסיות של האנטרופיה של שאנון.^[1]

תכונות של אנטרופיה דיפרנציאלית

• לצפיפות הסתברות ${\displaystyle f}$ ו ${\displaystyle g}$, דיברגנץ קולבק-לייבלר ${\displaystyle D_{KL}(f\parallel g)}$ גדול או שווה ל-0 עם שוויון רק אם ${\displaystyle f=g}$ כמעט בכל מקום. באותו אופן, עבור שני משתנים אקראיים ${\displaystyle X}$ ו ${\displaystyle Y}$, ${\displaystyle h(X\mid Y)\leq h(X)}$ עם שוויון אם ורק אם ${\displaystyle X}$ ו ${\displaystyle Y}$ הם בלתי תלויים.
• כלל השרשרת לאנטרופיה דיפרנציאלית מתקיים כמו במקרה הבדיד^[2]

${\displaystyle h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}\mid X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i})}$ .

• אנטרופיה דיפרנציאלית אינווריאנטית להוספה של ערך קבוע למשתנה המקרי, כלומר לכל קבוע ממשי ${\displaystyle c}$:^[2]

${\displaystyle h(X+c)=h(X)}$

• אנטרופיה דיפרנציאלית אינה אינווריאנטית לכפל של המשתנה המקרי בקבוע. בפרט, עבור קבוע ממשי ${\displaystyle a}$

${\displaystyle h(aX)=h(X)+\log |a|}$

בפרט עבור משתנה אקראי ווקטורי ${\displaystyle \mathbf {X} }$ ומטריצה הפיכה ${\displaystyle \mathbf {A} }$^[2]

${\displaystyle h(\mathbf {A} \mathbf {X} )=h(\mathbf {X} )+\log \left(|\det \mathbf {A} |\right)}$

• באופן כללי, עבור טרנספורמציה מווקטור מקרי לווקטור מקרי אחר בעלי אותו ממד ${\displaystyle \mathbf {Y} =m\left(\mathbf {X} \right)}$, האנטרופיות של ${\displaystyle \mathbf {X} }$ ושל ${\displaystyle \mathbf {Y} }$ קשורות זו לזו על ידי

${\displaystyle h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert \,dx}$

כאשר ${\displaystyle \left\vert {\frac {\partial m}{\partial x}}\right\vert }$ הוא היעקוביאן של הטרנספורמציה ${\displaystyle m}$.^[5] אי-השוויון הנ"ל הופך לשוויון אם הטרנספורמציה היא חד-חד ערכית ועל. יתר על כן, כאשר ${\displaystyle m}$ היא טרנספורמציה של סיבוב קשיח, העתקה או הרכבה של השניים, הדטרמיננטה של היעקוביאן היא תמיד 1, ואז ${\displaystyle h(Y)=h(X)}$ .

• אם לווקטור מקרי ${\displaystyle X\in \mathbb {R} ^{n}}$ יש תוחלת אפס ומטריצת שונות משותפת ${\displaystyle K}$ אזי

${\displaystyle h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]}$

כאשר השוויון מתקיים אם ורק אם ${\displaystyle X}$ הוא משתנה מקרי גאוסיאני רב ממדי.^[2] 

עם זאת, לאנטרופיה דיפרנציאלית חסרות כמה תכונות רצויות:

• האנטרופיה הדיפרנציאלית אינה אינווריאנטית להחלפת משתנים, ולכן היא שימושית בעיקר עם משתנים חסרי ממדים.
• האנטרופיה הדיפרנציאלית עשויה להיות שלילית.

דיברגנץ קולבק-לייבלר, הידוע גם כאנטרופיה יחסית, הוא אלטרנטיבה לאנטרופיה דיפרנציאלית, שנותנת מענה לחסרונות אלו, כאשר כוללים בו רכיב של מידה אינווריאנטית.

מקסימום בהתפלגות הנורמלית

משפט

עבור שונות נתונה, האנטרופיה הדיפרנציאלית של ההתפלגות נורמלית היא מקסימלית. כלומר, למשתנה מקרי המתפלג נורמלית יש את האנטרופיה הגדולה ביותר מבין כל המשתנים האקראיים בעלי אותה שונות.^[2]

הוכחה

תהי ${\displaystyle g(x)}$ פונקציית צפיפות של התפלגות נורמלית עם ממוצע μ ושונות ${\displaystyle \sigma ^{2}}$, ותהי ${\displaystyle f(x)}$פונקציית צפיפות כלשהי עם אותה שונות. מכיוון שהאנטרופיה הדיפרנציאלית אינווריאנטית להוספה של קבוע למשתנה המקרי, ניתן להניח כי ל- ${\displaystyle f(x)}$ ול- ${\displaystyle g(x)}$ אותה תוחלת ${\displaystyle \mu }$.

דיברגנץ קולבק-לייבלר בין שתי התפלגויות מקיים

${\displaystyle 0\leq D_{KL}(f\parallel g)=\int _{-\infty }^{\infty }f(x)\log \left({\frac {f(x)}{g(x)}}\right)\,dx=-h(f)-\int _{-\infty }^{\infty }f(x)\log(g(x))\,dx}$ .

נשתמש בביטוי המפורש של ${\displaystyle g(x)}$

${\displaystyle {\begin{aligned}\int _{-\infty }^{\infty }f(x)\log(g(x))\,dx&=\int _{-\infty }^{\infty }f(x)\log \left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\right)\,dx\\&=\int _{-\infty }^{\infty }f(x)\log {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}dx\,+\,\log(e)\int _{-\infty }^{\infty }f(x)\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)\,dx\\&=-{\tfrac {1}{2}}\log(2\pi \sigma ^{2})-\log(e){\frac {\sigma ^{2}}{2\sigma ^{2}}}\\&=-{\tfrac {1}{2}}\left(\log(2\pi \sigma ^{2})+\log(e)\right)\\&=-{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})\\&=-h(g)\end{aligned}}}$

מכיוון שהתוצאה תלויה אך ורק בשונות של ${\displaystyle f(x)}$. שילוב של שתי התוצאות מביא ל

${\displaystyle h(g)-h(f)\geq 0\!}$

ועל סמך התכונות של דיברגנץ קולבק-לייבלר שיויון יתקיים רק כאשר ${\displaystyle f(x)=g(x)}$.

דוגמה: התפלגות מעריכית

יהי ${\displaystyle X}$ משתנה מקרי המתפלג מעריכית עם פרמטר ${\displaystyle \lambda }$, כלומר, עם פונקציית צפיפות הסתברות

$${\displaystyle f(x)=\left\{{\begin{matrix}\lambda e^{-\lambda x}&\;x\geq 0\\0&\;x<0\end{matrix}}\right.}$$

היות שהתומך של ההתפלגות כולל ערכים אי שליליים בלבד, האנטרופיה הדיפרנציאלית היא

${\displaystyle {\begin{aligned}h_{e}(X)&=-\int _{0}^{\infty }\lambda e^{-\lambda x}\log(\lambda e^{-\lambda x})\,dx\\&=-\left(\int _{0}^{\infty }(\log \lambda )\lambda e^{-\lambda x}\,dx+\int _{0}^{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)\\&=-\log \lambda \int _{0}^{\infty }f(x)\,dx+\lambda E[X]\\&=-\log \lambda +1\\\end{aligned}}}$

כדי לפשט את החישוב נעשה שימוש בלוגריתם טבעי (בסיס ${\displaystyle e}$), ובהתאמה סומנה האנטרופיה הדיפרנציאלית כ-${\displaystyle h_{e}(X)}$ .

קישורים חיצוניים

• אנטרופיה דיפרנציאלית, באתר MathWorld (באנגלית)

הערות שוליים

1. Jaynes, E.T. (1963). "Information Theory And Statistical Mechanics" (PDF). Brandeis University Summer Institute Lectures in Theoretical Physics. 3 (sect. 4b).
2. Cover, Thomas M.; Thomas, Joy A. (1991). Elements of Information Theory. New York: Wiley. ISBN 0-471-06259-6.
3. Vasicek, Oldrich (1976), "A Test for Normality Based on Sample Entropy", Journal of the Royal Statistical Society, Series B, 38 (1): 54–59, doi:10.1111/j.2517-6161.1976.tb01566.x, JSTOR 2984828.
4. Gibbs, Josiah Willard (1902). Elementary Principles in Statistical Mechanics. New York: Charles Scribner's Sons.
5. "proof of upper bound on differential entropy of f(X)". Stack Exchange. 16 באפריל 2016.