Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire ${\displaystyle Y}$, lorsque l'on connait exactement une variable aléatoire ${\displaystyle X}$. On note ${\displaystyle \mathrm {H} (Y|X)}$ l'entropie conditionnelle de ${\displaystyle Y}$ sachant ${\displaystyle X}$. On dit aussi parfois entropie de ${\displaystyle Y}$ conditionnée par ${\displaystyle X}$^[1]. Comme les autres entropies, elle se mesure généralement en bits.

Définitions

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Définition directe

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de ${\displaystyle Y}$ relativement à ${\displaystyle X}$ :

${\displaystyle \mathrm {H} (Y|X):=\sum _{y\in {\mathcal {Y}},x\in {\mathcal {X}}}-\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (Y=y|X=x))}$

où ${\displaystyle {\mathcal {Y}}}$ et ${\displaystyle {\mathcal {X}}}$ sont respectivement les supports des variables ${\displaystyle Y}$ et ${\displaystyle X}$.

Par l'entropie conjointe

Étant donné deux variables aléatoires ${\displaystyle X}$ et ${\displaystyle Y}$ avec pour entropies respectives ${\displaystyle \mathrm {H} (X)}$ et ${\displaystyle \mathrm {H} (Y)}$, et pour entropie conjointe ${\displaystyle \mathrm {H} (X,Y)}$, l'entropie conditionnelle de ${\displaystyle Y}$ sachant ${\displaystyle X}$ est définie par :

${\displaystyle \mathrm {H} (Y|X)\equiv \mathrm {H} (X,Y)-\mathrm {H} (X)}$

Équivalence des définitions

Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de ${\displaystyle \mathrm {H} (Y|X)}$,

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$

Démonstration

${\displaystyle {\begin{aligned}\mathrm {H} (X,Y)-\mathrm {H} (X)&=-\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (X=x,Y=y))+\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (X=x))\\&=-\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}\left({\frac {\mathbb {P} (X=x,Y=y)}{\mathbb {P} (X=x)}}\right)\\&=\mathrm {H} (Y|X)\end{aligned}}}$

Propriétés

• ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ si et seulement si ${\displaystyle Y}$ et ${\displaystyle X}$ sont indépendantes.

Démonstration

${\displaystyle \mathrm {H} (Y|X)=\sum _{x\in X}\mathbb {P} (X=x)\mathrm {H} (Y|X=x)=0}$ lorsque tous les termes de la somme sont nulles. Soit ${\displaystyle x\in X}$ tel que ${\displaystyle \mathbb {P} (X=x)\neq 0}$, on a donc ${\displaystyle \mathrm {H} (Y|X=x)=0}$, ce qui implique qu'il existe un unique élément ${\displaystyle y\in Y}$ vérifiant ${\displaystyle \mathbb {P} (Y=y|X=x)=1}$. On peut donc définir une fonction ${\displaystyle f}$ telle que ${\displaystyle g(y)=x}$ pour tous les éléments de probabilité non nulle. Comme toutes les probabilités somment à ${\displaystyle 1}$, la probabilité de ${\displaystyle Y}$ est entièrement définie

• Règle de la chaîne : avec ${\displaystyle X_{1},...X_{n}}$ variables aléatoires,

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},...,X_{i-1})}$

Démonstration

On connait la relation équivalente pour des probabilités :

${\displaystyle \mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})=\prod _{i=1}^{n}\mathbb {P} (X_{i}=x_{i}|X_{i-1}=x_{i-1},...,X_{1}=x_{1})}$

Par conséquent,

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1},...,x_{n}}\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})\log _{2}(\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n}))=-\sum _{x_{1},...,x_{n}}\sum _{i=1}^{n}\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})\log _{2}(\mathbb {P} (X_{i}=x_{i}|X_{i-1}=x_{i-1},...,X_{1}=x_{1}))}$

D'où en inversant les sommes

${\displaystyle =\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{i-1},...X_{1})}$

Intuition

Intuitivement, si le système combiné contient ${\displaystyle \mathrm {H} (X,Y)}$ bits d'information, et si nous connaissons parfaitement la variable aléatoire ${\displaystyle X}$, pour coder le système on peut économiser ${\displaystyle \mathrm {H} (X)}$ bits, et on n'a plus besoin que de ${\displaystyle \mathrm {H} (Y|X)}$ bits.

Références

1. Antoine Cornuéjols, Laurent Miclet et Vincent Barra, Apprentissage artificiel: Deep learning, concepts et algorithmes, EYROLLES, 2018 (ISBN 978-2-212-67522-1, lire en ligne), p. 446

Voir aussi

• Information mutuelle
• Probabilité conditionnelle
• Entropie conjointe

• Portail des mathématiques
• Portail de l’informatique