Αμοιβαία πληροφορία

Διάγραμμα Βεν που δείχνει τη σχέση μεταξύ διαφόρων μέτρων πληροφορίας, όπου: $I(X,Y)$ η αμοιβαία πληροφορία, $H(X,Y)$ , η απο-κοινού εντροπία, $H(X|Y)$ η σχετική εντροπία και $H(X),H(Y)$ η εντροπία.

Στην θεωρία πληροφορίας, η αμοιβαία πληροφορία είναι η ποσότητα που ορίζεται ως η σχετική εντροπία μεταξύ της από-κοινού κατανομής και το γινόμενο των περιθωριακών κατανομών, δύο διακριτών τυχαίων μεταβλητών $X$ και $Y$ , ως εξής:^[1]^:11^[2]

I(X,Y)=\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log _{2}\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\cdot p_{Y}(y)}}\right),

ή ισοδύναμα, με την χρήση της απόκλισης Kullback-Leibler $D_{KL}$ ως εξής:

I(X,Y)=D_{KL}(p_{(X,Y)}||p_{X}\otimes p_{Y}).

Ιδιότητες

[Επεξεργασία | επεξεργασία κώδικα]

(Μη-αρνητικότητα) Για κάθε τυχαία μεταβλητή $X$ , ισχύει ότι $I(X,X)=H(X)\geq 0$ .

Απόδειξη
${\begin{aligned}I(X,X)&=\sum _{x\in {\mathcal {X}}}p_{X}(x)\log _{2}\left({\frac {p_{(X,X)}(x,x)}{p_{X}(x)\cdot p_{X}(x)}}\right)\\&=\sum _{x\in {\mathcal {X}}}p_{X}(x)\log _{2}\left({\frac {p_{X}(x)}{p_{X}(x)\cdot p_{X}(x)}}\right)\\&=-\sum _{x\in {\mathcal {X}}}p_{X}(x)\log _{2}p_{X}(x)\\&=H(X)\geq 0.\end{aligned}}$

(Συμμετρία) Για κάθε δύο τυχαίες μεταβλητές $X$ και $Y$ , ισχύει ότι $I(X,Y)=I(Y,X)$ .

Απόδειξη
Προκύπτει από τον ορισμό της αμοιβαίας πληροφορίας και το γεγονός ότι $P_{(X,Y)}(x,y)=P_{(Y,X)}(y,x)$ .

$I(X,Y)=H(Y)-H(Y|X)$ .

Απόδειξη

{\begin{aligned}H(Y)-H(Y|X)&=-\sum _{y\in {\mathcal {Y}}}p(y)\log _{2}p(y)+\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log _{2}p_{Y|X}(y,x)\\&=-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log _{2}p_{Y}(y)+\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log _{2}\left({\frac {p_{(X,Y)}(y,x)}{p_{X}(x)}}\right)\\&=-\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{(X,Y)}(x,y)\log _{2}p_{Y}(y)+\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log _{2}\left({\frac {p_{(X,Y)}(y,x)}{p_{X}(x)}}\right)\\&=\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log _{2}\left({\frac {p_{(X,Y)}(y,x)}{p_{X}(x)p_{Y}(y)}}\right),\end{aligned}}

χρησιμοποιώντας ότι $\sum _{x\in {\mathcal {X}}}p_{(X,Y)}(x,y)=p_{Y}(y)$ και $p_{(X,Y)}(x,y)=p_{Y|X}(y,x)\cdot p_{X}(x)$ .

Από την παρακάτω ιδιότητα προκύπτει η ονομασία αμοιβαία πληροφορία:

$I(X,Y)=H(X)+H(Y)-H(X,Y)$

Απόδειξη

Από τις ιδιότητες της από-κοινού πληροφορίας, προκύπτει ότι $H(X,Y)=H(X)+H(Y|X)$ . Επομένως, από την προηγούμενη ιδιότητα προκύπτει ότι,

I(X,Y)=H(Y)-H(Y|X)=H(Y)-(H(X,Y)-H(X))=H(X)+H(Y)-H(X,Y).

Δείτε επίσης

[Επεξεργασία | επεξεργασία κώδικα]

Παραπομπές

[Επεξεργασία | επεξεργασία κώδικα]

↑ Λιάβας, Αθανάσιος Π. «Στοιχεία Θεωρίας Πληροφορίας» (PDF). Τμήμα ΗΜΜΥ Πολυτεχνείο Κρήτης. Ανακτήθηκε στις 1 Μαΐου 2023.
↑ Cover, T. M. (2006). Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 9780471241959.

Αυτό το μαθηματικό λήμμα χρειάζεται επέκταση. Μπορείτε να βοηθήσετε την Βικιπαίδεια επεκτείνοντάς το.