Entropia congiunta

Entropie individuali (H(X),H(Y)), congiunte (H(X,Y)), ed entropie condizionali per una coppia di sottosistemi correlati X,Y con mutua informazione I(X; Y).

L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.

Definizione

L'entropia congiunta di due variabili ${\displaystyle X}$ e ${\displaystyle Y}$ è definita come:

${\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}$

dove ${\displaystyle x}$ e ${\displaystyle y}$ sono valori di ${\displaystyle X}$ and ${\displaystyle Y}$, rispettivamente, ${\displaystyle P(x,y)}$ è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:

${\displaystyle \lim _{P(x,y)\to 0}P(x,y)\log _{2}[P(x,y)]=0}$.

Per un numero di variabili maggiore di due ${\displaystyle X_{1},...,X_{n}}$ la formula si estende a:

${\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}$

in cui ${\displaystyle x_{1},...,x_{n}}$ sono valori rispettivamente di ${\displaystyle X_{1},...,X_{n}}$, ${\displaystyle P(x_{1},...,x_{n})}$ è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:

${\displaystyle \lim _{P(x_{1},...,x_{n})\to 0}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]=0}$.

Proprietà

Maggiore o uguale delle entropie individuali

L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme

${\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}$

${\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}$

Minore o uguale alla somma delle entropie individuali

L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se ${\displaystyle X}$ e ${\displaystyle Y}$ sono statisticamente indipendenti.

${\displaystyle H(X,Y)\leq H(X)+H(Y)}$

${\displaystyle H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})}$

Relazioni con altre misure di entropia

L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale

${\displaystyle H(X|Y)=H(Y,X)-H(Y)\,}$

e della mutua informazione

${\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}$

Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.