בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.
אנטרופיות של שני משתנים בעלי אינפורמציה משותפת
בתורת ההסתברות בתורת האינפורמציה, האינפורמציה ההדדית (או המידע ההדדי[1]) (Mutual information) של שני משתנים אקראיים הוא מדד לתלות ההדדית בין שני המשתנים. ליתר דיוק, היא מכמתת את "כמות המידע" המתקבלת לגבי משתנה אקראי אחד על ידי צפייה במשתנה האקראי השני.
אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת מלמדת על תוצאת :
אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים, ואי אפשר ללמוד כלום. כלומר, בתרשים לעיל, לא תהיה חפיפה כלל.
בקיצוניות השנייה, אם תוצאת מלמדת לחלוטין על תוצאת (לדוגמה, אם מדובר באותו משתנה, או אם ), אז האינפורמציה ההדדית היא האנטרופיה של כ"א מהמשתנים האחרים, כלומר . כלומר, בתרשים לעיל, תהיה חפיפה מושלמת.
סימטרי: מידע הדדי הוא סימטרי, כלומר המידע ההדדי בין המשתנים X ו-Y זהה למידע ההדדי בין המשתנים Y ו-X.
יחידות: מידע הדדי הוא אוניטרי, כלומר המידע ההדדי בין משתנה לעצמו שווה לערך המקסימלי האפשרי של המידע ההדדי.
עלייה מונוטונית: המידע ההדדי עולה באופן מונוטוני, כלומר אם משתנה אחד הופך להיות תלוי יותר במשתנה אחר, המידע ההדדי בין שני המשתנים גדל.
בלתי משתנה תחת טרנספורמציות היפוכות: מידע הדדי הוא בלתי משתנה תחת טרנספורמציות היפוכות, כלומר הוא נשאר ללא שינוי כאשר המשתנים עוברים טרנספורמציה על ידי פונקציה הניתנת להפיכה.
תת-תוסף: מידע הדדי הוא תת-תוסף, כלומר המידע ההדדי בין שני משתנים קטן או שווה לסכום המידע ההדדי בין כל אחד מהמשתנים למשתנה שלישי.
סכום אפס למשתנים בלתי תלויים: אם שני משתנים בלתי תלויים, המידע ההדדי ביניהם שווה לאפס.