Діаграма Венна різних мір інформації , пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y).У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних .
Спільна ентропія Шеннона (в бітах ) двох змінних
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
X
,
Y
)
=
−
∑
x
∑
y
P
(
x
,
y
)
log
2
[
P
(
x
,
y
)
]
{\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}
де
x
{\displaystyle x}
y
{\displaystyle y}
X
{\displaystyle X}
Y
{\displaystyle Y}
P
(
x
,
y
)
{\displaystyle P(x,y)}
спільною ймовірністю трапляння цих значень разом, а
P
(
x
,
y
)
log
2
[
P
(
x
,
y
)
]
{\displaystyle P(x,y)\log _{2}[P(x,y)]}
P
(
x
,
y
)
=
0
{\displaystyle P(x,y)=0}
Для понад двох змінних
X
1
,
.
.
.
,
X
n
{\displaystyle X_{1},...,X_{n}}
H
(
X
1
,
.
.
.
,
X
n
)
=
−
∑
x
1
.
.
.
∑
x
n
P
(
x
1
,
.
.
.
,
x
n
)
log
2
[
P
(
x
1
,
.
.
.
,
x
n
)
]
{\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}
де
x
1
,
.
.
.
,
x
n
{\displaystyle x_{1},...,x_{n}}
X
1
,
.
.
.
,
X
n
{\displaystyle X_{1},...,X_{n}}
P
(
x
1
,
.
.
.
,
x
n
)
{\displaystyle P(x_{1},...,x_{n})}
P
(
x
1
,
.
.
.
,
x
n
)
log
2
[
P
(
x
1
,
.
.
.
,
x
n
)
]
{\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}
P
(
x
1
,
.
.
.
,
x
n
)
=
0
{\displaystyle P(x_{1},...,x_{n})=0}
Спільна ентропія набору змінних є більшою за всі окремі ентропії змінних цього набору, або дорівнює їм.
H
(
X
,
Y
)
≥
max
[
H
(
X
)
,
H
(
Y
)
]
{\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}
H
(
X
1
,
.
.
.
,
X
n
)
≥
max
[
H
(
X
1
)
,
.
.
.
,
H
(
X
n
)
]
{\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}
Спільна ентропія набору змінних є меншою за суму окремих ентропій змінних цього набору, або дорівнює їй. Це є прикладом субадитивності [en]
X
{\displaystyle X}
Y
{\displaystyle Y}
статистично незалежними .
H
(
X
,
Y
)
≤
H
(
X
)
+
H
(
Y
)
{\displaystyle H(X,Y)\leq H(X)+H(Y)}
H
(
X
1
,
.
.
.
,
X
n
)
≤
H
(
X
1
)
+
.
.
.
+
H
(
X
n
)
{\displaystyle H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})}
Спільна ентропія використовується у визначенні умовної ентропії
H
(
X
|
Y
)
=
H
(
Y
,
X
)
−
H
(
Y
)
{\displaystyle H(X|Y)=H(Y,X)-H(Y)\,}
і
H
(
X
1
,
…
,
X
n
)
=
∑
k
=
1
N
H
(
X
k
|
X
k
−
1
,
…
,
X
1
)
{\displaystyle H(X_{1},\dots ,X_{n})=\sum _{k=1}^{N}H(X_{k}|X_{k-1},\dots ,X_{1})}
Вона також використовується у визначенні взаємної інформації
I
(
X
;
Y
)
=
H
(
X
)
+
H
(
Y
)
−
H
(
X
,
Y
)
{\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}
У квантовій теорії інформації спільна ентропія узагальнюється до квантової спільної ентропії [en]
Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review . New York: Dover Publications. с. 613—614. ISBN 0-486-41147-8 (англ.)
![{\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7559a44e21e23f0560ff421bd71c7fc73731bbc7)
![{\displaystyle P(x,y)\log _{2}[P(x,y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/33023e90bccb1921379d4b2368ce7c89ee728254)
![{\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/15d50cc0f52921862f334683f2d4c1f70be220d7)
![{\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/45d2b2bd535cc3d9c9e463415a4a81bf4eb6194c)
![{\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b4a7808cbf3a0cbc8db376a79be2ad5c939f2dc9)
![{\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8090364f254e2915093ea2c74fbe5502fb00ba2b)
