אינפורמציה הדדית

בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת ההסתברות בתורת האינפורמציה, האינפורמציה ההדדית (או המידע ההדדי^[1]) (Mutual information) של שני משתנים אקראיים הוא מדד לתלות ההדדית בין שני המשתנים. ליתר דיוק, היא מכמתת את "כמות המידע" המתקבלת לגבי משתנה אקראי אחד על ידי צפייה במשתנה האקראי השני.

הגדרה

האינפורמציה ההדדית בין שני משתנים דיסקרטיים ${\displaystyle X}$ ו-${\displaystyle Y}$ מוגדרת כ:

${\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},\,\!}$

כאשר ${\displaystyle p(x,y)}$ היא ההתפלגות המשותפת שלהם, ו- ${\displaystyle p(x),p(y)}$ היא ההתפלגות של כל אחד מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:

${\displaystyle I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,}$

כאשר במקרה זה ${\displaystyle p(x,y)}$ היא הצפיפות המשותפת שלהם, ו- ${\displaystyle p(x),p(y)}$ היא הצפיפות של כל אחד מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס ${\displaystyle e}$, ומציינים את הבסיס מראש.

הסבר אינטואיטיבי

אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת ${\displaystyle X}$ מלמדת על תוצאת ${\displaystyle Y}$:

1. אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים. המשתנה המקרי ${\displaystyle X}$ אין מספק כל אינפורמציה על המשתנה המקרי ${\displaystyle Y}$ ולהפך.
2. בקיצוניות השנייה, אם המשתנה המקרי ${\displaystyle X}$ הוא פונקציה חד-חד ערכית של המשתנה המקרי ${\displaystyle Y}$ (לדוגמה, אם ${\displaystyle Y=2X+1}$), אז האינפורמציה ההדדית היא האנטרופיה של כ"א מהמשתנים, כלומר ${\displaystyle I(X;Y)=H(X)=H(Y)}$. מקרה פרטי הוא אשר שני המשתנים המקריים ${\displaystyle X}$ ו ${\displaystyle Y}$ זהים.

הקשר לגדלים אחרים בתורת האינפורמציה

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:

${\displaystyle {\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\\&{}=H(Y)-H(Y|X)\\&{}=H(X)+H(Y)-H(X,Y)\\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}}$

תכונות

1. אי שליליות: מידע הדדי הוא תמיד לא שלילי.
2. סימטריות: מידע הדדי הוא סימטרי, כלומר המידע ההדדי בין המשתנים X ו-Y זהה למידע ההדדי בין המשתנים Y ו-X.
3. יחידות: מידע הדדי הוא אוניטרי, כלומר המידע ההדדי בין משתנה לעצמו שווה לערך המקסימלי האפשרי של המידע ההדדי.
4. מונוטוניות: המידע ההדדי עולה באופן מונוטוני, כלומר אם משתנה אחד הופך להיות תלוי יותר במשתנה אחר, המידע ההדדי בין שני המשתנים גדל.
5. בלתי משתנה תחת טרנספורמציות היפוכות: מידע הדדי הוא בלתי משתנה תחת טרנספורמציות היפוכות, כלומר הוא נשאר ללא שינוי כאשר המשתנים עוברים טרנספורמציה על ידי פונקציה הניתנת להפיכה.
6. תת-תוסף: מידע הדדי הוא תת-תוסף, כלומר המידע ההדדי בין שני משתנים קטן או שווה לסכום המידע ההדדי בין כל אחד מהמשתנים למשתנה שלישי.
7. סכום אפס למשתנים בלתי תלויים: אם שני משתנים בלתי תלויים, המידע ההדדי ביניהם שווה לאפס.

ראו גם

• אנטרופיה (סטטיסטיקה)
• אנטרופיה מותנית

קישורים חיצוניים

• אינפורמציה הדדית, באתר MathWorld (באנגלית)

הערות שוליים

1. מֵידָע הֲדָדִי במילון טכנולוגיית המידע: תורת המידע (תש"ן), באתר האקדמיה ללשון העברית