Αμοιβαία πληροφορία

Διάγραμμα Βεν που δείχνει τη σχέση μεταξύ διαφόρων μέτρων πληροφορίας, όπου: η αμοιβαία πληροφορία, , η απο-κοινού εντροπία, η σχετική εντροπία και η εντροπία.

Στην θεωρία πληροφορίας, η αμοιβαία πληροφορία είναι η ποσότητα που ορίζεται ως η σχετική εντροπία μεταξύ της από-κοινού κατανομής και το γινόμενο των περιθωριακών κατανομών, δύο διακριτών τυχαίων μεταβλητών και , ως εξής:[1]:11[2]

ή ισοδύναμα, με την χρήση της απόκλισης Kullback-Leibler ως εξής:


  • (Μη-αρνητικότητα) Για κάθε τυχαία μεταβλητή , ισχύει ότι .
  • (Συμμετρία) Για κάθε δύο τυχαίες μεταβλητές και , ισχύει ότι .
  • .

Από την παρακάτω ιδιότητα προκύπτει η ονομασία αμοιβαία πληροφορία:

  1. Λιάβας, Αθανάσιος Π. «Στοιχεία Θεωρίας Πληροφορίας» (PDF). Τμήμα ΗΜΜΥ Πολυτεχνείο Κρήτης. Ανακτήθηκε στις 1 Μαΐου 2023. 
  2. Cover, T. M. (2006). Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 9780471241959.