Entropie conjointe.
En théorie de l'information, l'entropie conjointe est une mesure d'entropie utilisée en théorie de l'information, qui mesure la quantité d'information contenue dans un système de deux variables aléatoires (ou plus de deux). Comme les autres entropies, l'entropie conjointe est mesurée en bits ou en nats, selon la base du logarithme utilisée.
Si chaque paire d'états possibles
des variables aléatoires
ont une probabilité
alors l'entropie conjointe de
et
est définie par :
![{\displaystyle H(X,Y)=-\sum _{x,y}p_{x,y}\log _{2}(p_{x,y})\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/613fb02acaab9189c001a94e4311d4155a16daaf)
où
est la fonction logarithme en base 2. Dit autrement, l'entropie conjointe de
et
est l'entropie de
.
- L'entropie conjointe est supérieure ou égale à l'entropie d'une seule variable :
![{\displaystyle H(X,Y)\geq H(X)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea4715679f7d991e39bd9d0a756b96055cb02c2f)
- L'entropie conjointe est positive ou nulle :
![{\displaystyle H(X,Y)\geq 0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c366fd4038c1f7226d87873136dba448c85599ad)
- Deux systèmes considérés ensemble ne peuvent pas apporter plus d'information que la somme des apports d'information de chacun :
![{\displaystyle H(X,Y)\leq H(X)+H(Y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/82b29f9b502c7ab9a4fa9e29b7b7093e3671abbd)
avec égalité si X et Y sont des variables aléatoires indépendantes.