L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Informellement, on dit que deux variables sont indépendantes si la réalisation de l'une n'apporte aucune information sur la réalisation de l'autre. Le coefficient de corrélation est une mesure du cas particulier de dépendance dans lequel la relation entre les deux variables est strictement linéaire.
L'information mutuelle est nulle si et seulement si les variables sont indépendantes, et croit lorsque la dépendance augmente.
Soit un couple de variables aléatoires de densité de probabilité jointe données par (on fait, dans cet article, l'abus de notation pour représenter la probabilité de l'événement ). On note les distributions marginales et . Alors l'information mutuelle est dans le cas discret :
et, dans le cas continu :
où , et sont respectivement les densités des lois de , et .
L'information mutuelle dans le cas d'une distribution gaussienne s'écrit sous la forme suivante:
avec le déterminant de la matrice de covariance de X et Y, le déterminant de la matrice de covariance de X et le déterminant de la matrice de covariance de Y.
Data processing theorem: si et sont deux fonctions mesurables alors . Ceci signifie qu'aucune transformation sur les données brutes ne peut faire apparaître de l'information.
Lorsque la distribution jointe des variables aléatoires et suit une loi normale multidimensionnelle, il a été montré[1] que l'information mutuelle est directement reliée au coefficient de corrélation entre ces deux variables :
Plusieurs généralisations de cette quantité à un nombre plus grand de variables ont été proposées, mais aucun consensus n'a encore émergé.
L'information mutuelle mesure la quantité d'information apportée en moyenne par une réalisation de X sur les probabilités de réalisation de Y.
En considérant qu'une distribution de probabilité représente notre connaissance sur un phénomène aléatoire, on mesure l'absence d'information par l'entropie de cette distribution. En ces termes, l'information mutuelle s'exprime par:
Ainsi on voit que si et seulement si le nombre de bits nécessaires pour coder une réalisation du couple est égal à la somme du nombre de bits pour coder une réalisation de X et du nombre de bits pour coder une réalisation de Y.
Ainsi mesure une sorte de "distance" entre les distributions et . Comme, par définition, deux variables sont indépendantes ssi ces deux distributions sont égales, et comme ssi , on retrouve l'équivalence entre et indépendance.
Intuitivement porte plus d'information lorsque les variables sont dépendantes que lorsqu'elles ne le sont pas. Si les deux variables sont discrètes à N cas, il faut, au pire, coefficients pour spécifier , contre seulement si .
La divergence donne le nombre de bits d'information apportés par la connaissance de lorsqu'on connait déjà et .