آنتروپی شرطی

X . قسمت بنفش نیز اطلاعات متقابل بین (I(X;Y می باشد

در نظریه اطلاعات ، آنتروپی شرطی مقدار اطلاعاتی را اندازه می گیرد که نیاز هست تا خروجی یک متغیر تصادفی ${\displaystyle Y}$ را توصیف کند به شرط اینکه مقدار یک متغیر تصادفی دیگر ${\displaystyle X}$  مشخص باشد.  در اینجا اطلاعات با معیار شنون ، nats یا  hartleys اندازه گرفته می‌شود . آنتروپی  ${\displaystyle Y}$ به شرط  ${\displaystyle X}$ به صورت  ${\displaystyle H(Y|X)}$ نمایش داده می شود.

تعریف

اگر ${\displaystyle H(Y|X=x)}$آنتروپی متغیر ${\displaystyle Y}$ به شرط متغیر  ${\displaystyle X}$ که مقدار مشخص  ${\displaystyle x}$ را میگیرد باشد ، آنگاه ${\displaystyle H(Y|X)}$ نتیجه متوسط گیری روی تمام مقادیر ممکن برای ${\displaystyle X}$ است.

متغیر تصادفی گسسته  ${\displaystyle X}$ با تصویر ${\displaystyle {\mathcal {X}}}$ و ${\displaystyle Y}$ با تصویر ${\displaystyle {\mathcal {Y}}}$ با فرض مشخص بودن ${\displaystyle X}$ ، آنتروپی شرطی ${\displaystyle Y}$ به شرط ${\displaystyle X}$ به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار ${\displaystyle H(Y|X=x)}$ روی تمام مقادیر ممکن  ${\displaystyle x}$ با استفاده وزن های ${\displaystyle p(x)}$ تعبیر شود. )^[۱]

${\displaystyle {\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}$

توجه : توجه شود که عبارات (0log0) و (0log(c/0)) برای یک c>0 و ثابت باید برابرصفر قرار داده شود.

${\displaystyle H(Y|X)=0}$اگر و تنها اگر مقدار ${\displaystyle Y}$ به طور کامل به دانستن مقدار ${\displaystyle X}$ مشخص شود. برعکس ${\displaystyle H(Y|X)=H(Y)}$ اگر و تنها اگر ${\displaystyle Y}$ و${\displaystyle X}$ دو  متغیر تصادفی مستقل باشند.

قاعده زنجیره ای 

سیستم ترکیبی که توسط دو متغیر تصادفی X و Y با آنتروپی مشترک ${\displaystyle H(X,Y)}$ مشخص می‌شود را فرض کنید. مقدار ${\displaystyle H(X,Y)}$ بیت برای توصیف دقیق حالت این سیستم نیاز است. حال اگر ما در ابتدا مقدار ${\displaystyle X}$ را یاد بگیرم در حقیقت ${\displaystyle H(X)}$ بیت از اطلاعات را بدست آورده ایم. زمانی که ${\displaystyle X}$ شناخته شده باشد ، تنها به ${\displaystyle H(X,Y)-H(X)}$ بیت برای توصیف حالت سیستم نیاز است. این مقدار دقیقاً برابر ${\displaystyle H(Y|X)}$ است که قاعده ی زنجیره ای مربوط به آنتروپی شرطی را نتیجه می دهد :

${\displaystyle H(Y|X)\,=\,H(X,Y)-H(X).}$

قاعده ی زنجیری از تعریف آنتروپی شرطی بالا نتیجه می شود:

${\displaystyle {\begin{aligned}H(Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x))\\[4pt]&=H(X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=H(X,Y)-H(X).\end{aligned}}}$

به طور کلی ، قاعده زنچیری برای چندین متغیر تصادفی نتیجه می دهد :

${\displaystyle H(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}H(X_{i}|X_{1},\ldots ,X_{i-1})}$

این یک فرم شبیه به قاعده زنجیری در نظریه آمار و احتمال دارد ، به جز اینکه به جای ضرب از جمع استفاده شده.

قانون Bayes

قانون بیز در مورد آنتروپی شرطی بیان می کند که :

${\displaystyle H(Y|X)\,=\,H(X|Y)-H(X)+H(Y)\,.}$

اثبات:
${\displaystyle H(Y|X)=H(X,Y)-H(X)}$ و ${\displaystyle H(X|Y)=H(Y,X)-H(Y)}$. از تقارن داریم که  ${\displaystyle H(X,Y)=H(Y,X)}$. تقاضل دو معادله ، قانون بیز را نتیجه می دهد .

اگر Y با فرض مشخص بودن X از  Z مستقل شرطی باشد ، داریم:

${\displaystyle H(Y|X,Z)\,=\,H(Y|X).}$

تعمیم به نظریه کوانتومی

در نظریه کوانتومی اطلاعات ، آنتروپی شرطی به  آنتروپی کوانتومی شرطی تعمیم داده می شود. این نمونه ی تعمیم یافته برخلاف مقدار کلاسیک آن می‌تواند مقدار منفی به خود بگیرد . از آنچایی که  ${\displaystyle H(X,Y)\neq H(Y,X)}$ قانون بیز برای آنروپی کوانتومی شرطی صادق نیست.^{[نیازمند منبع]}

خواص دیگر

برای هر${\displaystyle X}$ و ${\displaystyle Y}$:

${\displaystyle {\begin{aligned}H(Y|X)&\leq H(Y)\,\\H(X,Y)&=H(X|Y)+H(Y|X)+I(X;Y),\qquad \\H(X,Y)&=H(X)+H(Y)-I(X;Y),\,\\I(X;Y)&\leq H(X),\,\end{aligned}}}$

که در آن${\displaystyle I(X;Y)}$ اطلاعات متقابل بین ${\displaystyle X}$ و ${\displaystyle Y}$ هست.

برای دو متغیر مستقل ${\displaystyle X}$ و ${\displaystyle Y}$ :

${\displaystyle H(Y|X)=H(Y){\text{ and }}H(X|Y)=H(X)\,}$

اگر چه آنتروپی شرطی خاص${\displaystyle H(X|Y=y)}$ می‌تواند کمتر یا بیشتر از${\displaystyle H(X)}$ باشد،${\displaystyle H(X|Y)}$هرگز نمی‌تواند بیش از${\displaystyle H(X)}$ باشد.

همچنین نگاه کنید

• آنتروپی (نظریه اطلاعات)
• اطلاعات متقابل
• آنتروپی کوانتومی شرطی
• تنوع اطلاعات
• آنتروپی قدرت نابرابری
• احتمال تابع

منابع

1. Cover, Thomas M.; Thomas, Joy A. (1991). Elements of information theory (1st ed.). New York: Wiley. ISBN 0-471-06259-6.