آنتروپی شرطی

X . قسمت بنفش نیز اطلاعات متقابل بین (I(X;Y می باشد

در نظریه اطلاعات ، آنتروپی شرطی مقدار اطلاعاتی را اندازه می گیرد که نیاز هست تا خروجی یک متغیر تصادفی  را توصیف کند به شرط اینکه مقدار یک متغیر تصادفی دیگر   مشخص باشد.  در اینجا اطلاعات با معیار شنون ، nats یا  hartleys اندازه گرفته می‌شود . آنتروپی   به شرط   به صورت   نمایش داده می شود.

تعریف

[ویرایش]

اگر آنتروپی متغیر  به شرط متغیر   که مقدار مشخص   را میگیرد باشد ، آنگاه نتیجه متوسط گیری روی تمام مقادیر ممکن برای است.

متغیر تصادفی گسسته  با تصویر و با تصویر با فرض مشخص بودن ، آنتروپی شرطی به شرط به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار روی تمام مقادیر ممکن   با استفاده وزن های تعبیر شود. )[۱]

توجه : توجه شود که عبارات (0log0) و (0log(c/0)) برای یک c>0 و ثابت باید برابرصفر قرار داده شود.

اگر و تنها اگر مقدار  به طور کامل به دانستن مقدار  مشخص شود. برعکس اگر و تنها اگر و دو  متغیر تصادفی مستقل باشند.

قاعده زنجیره ای 

[ویرایش]

سیستم ترکیبی که توسط دو متغیر تصادفی X و Y با آنتروپی مشترک  مشخص می‌شود را فرض کنید. مقدار  بیت برای توصیف دقیق حالت این سیستم نیاز است. حال اگر ما در ابتدا مقدار را یاد بگیرم در حقیقت بیت از اطلاعات را بدست آورده ایم. زمانی که شناخته شده باشد ، تنها به بیت برای توصیف حالت سیستم نیاز است. این مقدار دقیقاً برابر است که قاعده ی زنجیره ای مربوط به آنتروپی شرطی را نتیجه می دهد :

قاعده ی زنجیری از تعریف آنتروپی شرطی بالا نتیجه می شود:

به طور کلی ، قاعده زنچیری برای چندین متغیر تصادفی نتیجه می دهد :

این یک فرم شبیه به قاعده زنجیری در نظریه آمار و احتمال دارد ، به جز اینکه به جای ضرب از جمع استفاده شده.

قانون Bayes

[ویرایش]

قانون بیز در مورد آنتروپی شرطی بیان می کند که :

اثبات:
و . از تقارن داریم که  . تقاضل دو معادله ، قانون بیز را نتیجه می دهد .

اگر Y با فرض مشخص بودن X از  Z مستقل شرطی باشد ، داریم:

تعمیم به نظریه کوانتومی

[ویرایش]

در نظریه کوانتومی اطلاعات ، آنتروپی شرطی به  آنتروپی کوانتومی شرطی تعمیم داده می شود. این نمونه ی تعمیم یافته برخلاف مقدار کلاسیک آن می‌تواند مقدار منفی به خود بگیرد . از آنچایی که   قانون بیز برای آنروپی کوانتومی شرطی صادق نیست.[نیازمند منبع]

خواص دیگر

[ویرایش]

برای هر و :

که در آن اطلاعات متقابل بین و هست.

برای دو متغیر مستقل  و  :

اگر چه آنتروپی شرطی خاص می‌تواند کمتر یا بیشتر از باشد،هرگز نمی‌تواند بیش از باشد.

همچنین نگاه کنید

[ویرایش]

منابع

[ویرایش]
  1. Cover, Thomas M.; Thomas, Joy A. (1991). Elements of information theory (1st ed.). New York: Wiley. ISBN 0-471-06259-6.