'n Misleidende[1]Venn diagram wat optel- en aftrekkingsverwantskappe toon tussen verskeie inligtingsmaatstawwe wat met gekorreleerde veranderlikes X en Y geassosieer word. Die area wat deur beide sirkels vervat is, is die gesamentlike entropie H(X,Y). Die sirkel aan die linkerkant (rooi en violet) is die individuele entropie H(X), waar die rooi die voorwaardelike entropie H(X|Y) is. Die sirkel aan die regterkant (blou en violet) is H(Y), waar blou H(Y|X) is. Die violet is die wedersydse inligting I(X;Y).
waar en is besondere waardes van en , onderskeidelik, is die gesamentlike waarskynlikheid van hierdie waardes wat saam voorkom, en word gedefinieer as 0 as .
Vir meer as twee ewekansige veranderlikes brei die uit na
waar is besondere waardes van , onderskeidelik, is die waarskynlikheid dat hierdie waardes saam voorkom, en word gedefinieer as 0 as .
↑D.J.C. Mackay (2003). Information theory, inferences, and learning algorithms. Bibcode:2003itil.book.....M.:141
↑Theresa M. Korn; Korn, Granino Arthur (Januarie 2000). Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. ISBN0-486-41147-8.
↑Thomas M. Cover; Joy A. Thomas (18 Julie 2006). Elements of Information Theory. Hoboken, New Jersey: Wiley. ISBN0-471-24195-4.