Στην θεωρία πληροφορίας, η αμοιβαία πληροφορία είναι η ποσότητα που ορίζεται ως η σχετική εντροπία μεταξύ της από-κοινού κατανομής και το γινόμενο των περιθωριακών κατανομών, δύο διακριτών τυχαίων μεταβλητών και , ως εξής:[1]:11[2]
ή ισοδύναμα, με την χρήση της απόκλισης Kullback-Leibler ως εξής:
Απόδειξη |
---|
|
Απόδειξη |
---|
Προκύπτει από τον ορισμό της αμοιβαίας πληροφορίας και το γεγονός ότι . |
Απόδειξη |
---|
χρησιμοποιώντας ότι και . |
Από την παρακάτω ιδιότητα προκύπτει η ονομασία αμοιβαία πληροφορία:
Απόδειξη |
---|
Από τις ιδιότητες της από-κοινού πληροφορίας, προκύπτει ότι . Επομένως, από την προηγούμενη ιδιότητα προκύπτει ότι, |
![]() |
Αυτό το μαθηματικό λήμμα χρειάζεται επέκταση. Μπορείτε να βοηθήσετε την Βικιπαίδεια επεκτείνοντάς το. |