Entropía condicional

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

Definición

Supóngase que ${\displaystyle \scriptstyle X}$ es una variable aleatoria sobre un espacio de probabilidad ${\displaystyle \scriptstyle \Omega \,}$ y ${\displaystyle \scriptstyle A\subset \Omega }$ sea un evento. Si ${\displaystyle \scriptstyle X}$ toma valores sobre un conjunto finito ${\displaystyle \scriptstyle \{a_{i}|1\leq i\leq m\}}$, se define de manera natural la entropía condicional de ${\displaystyle \scriptstyle X}$ dado ${\displaystyle \scriptstyle A}$ como:

${\displaystyle H(X|A)=\sum _{k=1}^{m}P(X=a_{k}|A)\ln P(X=a_{k}|A)}$

De la misma manera si ${\displaystyle \scriptstyle Y}$ es otra variable aleatoria que toma valores ${\displaystyle \scriptstyle b_{k}}$ se define la entropía condicional ${\displaystyle \scriptstyle H(X|Y)}$ como:

${\displaystyle H(X|Y)=\sum _{j}H(X|Y=b_{j})P(Y=b_{j})}$

Puede interpretarse la anterior magnitud como la incertidumbre de ${\displaystyle \scriptstyle X}$ dado un valor particular de ${\displaystyle \scriptstyle Y}$, promediado por todos los valores posibles de ${\displaystyle \scriptstyle Y}$.

Propiedades

• Trivialmente se tiene que ${\displaystyle \scriptstyle H(X|X)=0}$
• ${\displaystyle \scriptstyle H(X|Y)=H(X)}$ si ${\displaystyle \scriptstyle X}$ e ${\displaystyle \scriptstyle Y}$ son variables independientes.
• Dadas dos variables que toman un conjunto finito de valores: ${\displaystyle \scriptstyle H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X)}$
• Como consecuencia de lo anterior y de que ${\displaystyle \scriptstyle H(X,Y)\leq H(Y)+H(X)}$, se tiene: ${\displaystyle \scriptstyle H(X|Y)\leq H(X)}$.

Referencias

Bibliografía

• Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3