آنتروپی شرطی

X . قسمت بنفش نیز اطلاعات متقابل بین (I(X;Y می باشد

در نظریه اطلاعات ، آنتروپی شرطی مقدار اطلاعاتی را اندازه می گیرد که نیاز هست تا خروجی یک متغیر تصادفی $Y$ را توصیف کند به شرط اینکه مقدار یک متغیر تصادفی دیگر $X$  مشخص باشد.  در اینجا اطلاعات با معیار شنون ، nats یا  hartleys اندازه گرفته می‌شود . آنتروپی  $Y$ به شرط  $X$ به صورت  $H(Y|X)$ نمایش داده می شود.

تعریف

اگر $H(Y|X=x)$آنتروپی متغیر $Y$ به شرط متغیر  $X$ که مقدار مشخص  $x$ را میگیرد باشد ، آنگاه $H(Y|X)$ نتیجه متوسط گیری روی تمام مقادیر ممکن برای $X$ است.

متغیر تصادفی گسسته  $X$ با تصویر $𝒳$ و $Y$ با تصویر $𝒴$ با فرض مشخص بودن $X$ ، آنتروپی شرطی $Y$ به شرط $X$ به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار $H(Y|X=x)$ روی تمام مقادیر ممکن  $x$ با استفاده وزن های $p(x)$ تعبیر شود. )

$\begin{array}{cc}H(Y|X)& \equiv \sum _{x\in 𝒳}p(x)H(Y|X=x)\\ & =-\sum _{x\in 𝒳}p(x)\sum _{y\in 𝒴}p(y|x)\log p(y|x)\\ & =-\sum _{x\in 𝒳}\sum _{y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x,y)}{p(x)}.\\ & =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x)}{p(x,y)}.\\ \end{array}$

توجه : توجه شود که عبارات (0log0) و (0log(c/0)) برای یک c>0 و ثابت باید برابرصفر قرار داده شود.

$H(Y|X)=0$اگر و تنها اگر مقدار $Y$ به طور کامل به دانستن مقدار $X$ مشخص شود. برعکس $H(Y|X)=H(Y)$ اگر و تنها اگر $Y$ و$X$ دو  متغیر تصادفی مستقل باشند.

قاعده زنجیره ای 

سیستم ترکیبی که توسط دو متغیر تصادفی X و Y با آنتروپی مشترک $H(X,Y)$ مشخص می‌شود را فرض کنید. مقدار $H(X,Y)$ بیت برای توصیف دقیق حالت این سیستم نیاز است. حال اگر ما در ابتدا مقدار $X$ را یاد بگیرم در حقیقت $H(X)$ بیت از اطلاعات را بدست آورده ایم. زمانی که $X$ شناخته شده باشد ، تنها به $H(X,Y)-H(X)$ بیت برای توصیف حالت سیستم نیاز است. این مقدار دقیقاً برابر $H(Y|X)$ است که قاعده ی زنجیره ای مربوط به آنتروپی شرطی را نتیجه می دهد :

$H(Y|X)=H(X,Y)-H(X).$

قاعده ی زنجیری از تعریف آنتروپی شرطی بالا نتیجه می شود:

$\begin{array}{cc}H(Y|X)& =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \left(\frac{p(x)}{p(x,y)}\right)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log (p(x,y))+\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log (p(x))\\ & =H(X,Y)+\sum _{x\in 𝒳}p(x)\log (p(x))\\ & =H(X,Y)-H(X).\end{array}$

به طور کلی ، قاعده زنچیری برای چندین متغیر تصادفی نتیجه می دهد :

$H(X_1,X_2,\dots ,X_n)=\sum _{i=1}^{n}H(X_i|X_1,\dots ,X_{i-1})$

این یک فرم شبیه به قاعده زنجیری در نظریه آمار و احتمال دارد ، به جز اینکه به جای ضرب از جمع استفاده شده.

قانون Bayes

قانون بیز در مورد آنتروپی شرطی بیان می کند که :

$H(Y|X)=H(X|Y)-H(X)+H(Y).$

اثبات:الگو:سخ$H(Y|X)=H(X,Y)-H(X)$ و $H(X|Y)=H(Y,X)-H(Y)$. از تقارن داریم که  $H(X,Y)=H(Y,X)$. تقاضل دو معادله ، قانون بیز را نتیجه می دهد .

اگر Y با فرض مشخص بودن X از  Z مستقل شرطی باشد ، داریم:

$H(Y|X,Z)=H(Y|X).$

تعمیم به نظریه کوانتومی

در نظریه کوانتومی اطلاعات ، آنتروپی شرطی به  آنتروپی کوانتومی شرطی تعمیم داده می شود. این نمونه ی تعمیم یافته برخلاف مقدار کلاسیک آن می‌تواند مقدار منفی به خود بگیرد . از آنچایی که  $H(X,Y)\ne H(Y,X)$ قانون بیز برای آنروپی کوانتومی شرطی صادق نیست.الگو:مدرک

خواص دیگر

برای هر$X$ و $Y$:

$\begin{array}{cc}H(Y|X)& \le H(Y)\\ H(X,Y)& =H(X|Y)+H(Y|X)+I(X;Y),\\ H(X,Y)& =H(X)+H(Y)-I(X;Y),\\ I(X;Y)& \le H(X),\end{array}$

که در آن$I(X;Y)$ اطلاعات متقابل بین $X$ و $Y$ هست.

برای دو متغیر مستقل $X$ و $Y$ :

$H(Y|X)=H(Y)\text{ and }H(X|Y)=H(X)$

اگر چه آنتروپی شرطی خاص$H(X|Y=y)$ می‌تواند کمتر یا بیشتر از$H(X)$ باشد،$H(X|Y)$هرگز نمی‌تواند بیش از$H(X)$ باشد.

همچنین نگاه کنید

• آنتروپی (نظریه اطلاعات)
• اطلاعات متقابل
• آنتروپی کوانتومی شرطی
• تنوع اطلاعات
• آنتروپی قدرت نابرابری
• احتمال تابع