אנטרופיות של שני משתנים בעלי אינפורמציה משותפת בתורת האינפורמציה , האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי
Y
{\displaystyle Y}
X
{\displaystyle X}
אם נגדיר את האנטרופיה של
Y
{\displaystyle Y}
X
{\displaystyle X}
x
{\displaystyle x}
H
(
Y
|
X
=
x
)
{\displaystyle H(Y|X=x)}
H
(
Y
|
X
)
≡
∑
x
∈
X
p
(
x
)
H
(
Y
|
X
=
x
)
=
∑
x
∈
X
p
(
x
)
∑
y
∈
Y
p
(
y
|
x
)
log
1
p
(
y
|
x
)
=
−
∑
x
∈
X
∑
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
x
)
p
(
x
,
y
)
.
{\displaystyle {\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&{=}\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,{\frac {1}{p(y|x)}}\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}
במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.
לכל שני משתנים אקראיים
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
Y
|
X
)
=
H
(
X
,
Y
)
−
H
(
X
)
{\displaystyle H(Y|X)\,=\,H(X,Y)-H(X)}
H
(
X
,
Y
)
=
H
(
X
|
Y
)
+
H
(
Y
|
X
)
+
I
(
X
;
Y
)
{\displaystyle H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)}
I
(
X
;
Y
)
{\displaystyle I(X;Y)}
אינפורמציה ההדדית )
H
(
X
|
Y
)
≤
H
(
X
)
{\displaystyle H(X|Y)\leq H(X)}
בלתי תלויים . בדומה,
H
(
Y
|
X
)
≤
H
(
Y
)
{\displaystyle H(Y|X)\leq H(Y)}
I
(
X
;
Y
)
≤
H
(
X
)
{\displaystyle I(X;Y)\leq H(X)}
Y
=
f
(
X
)
{\displaystyle Y=f(X)}
f
{\displaystyle f}
הפיכה על תחום הערכים ש-X מקבל.
