آنتروپی مشترک

در نظریه اطلاعات، آنتروپی مشترک معیاری است برای بیان میزان ابهام در مورد مجموعه‌ای از متغیرهای تصادفی.

یک نمودار ون که به‌طور نمادین رابطه معیارهای اطلاعاتی مختلف متغیرهای تصادفی X و Y را نشان می‌دهد.

تعریف

آنتروپی (شانون) مشترک دو متغیر تصادفی $X$ و $Y$ (بر حسب بیت) به صورت زیر تعریف می گردد:

$H(X,Y)=-\sum _x\sum _{y}P(x,y){\log }_2[P(x,y)]$

که در آن $x$ و $y$ نشان دهنده مقدارهایی هستند که متغیرهای تصادفی $X$ و $Y$ اختیار می‌کنند و $P(x,y)$ نشان دهنده احتمال رخداد هم‌زمان این مقادیر می‌باشد. همچنین اگر $P(x,y)=0$ باشد، مقدار $P(x,y){\log }_2[P(x,y)]$ برابر صفر تعریف می‌شود.

برای تعداد بیشتر متغیرهای تصادفی، تعریف به صورت زیر تعمیم می یابد:

$H(X_1,...,X_n)=-\sum _{x_1}...\sum _{x_n}P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]$

که در آن $x_1,...,x_n$ نشان دهنده مقدارهایی هستند که متغیرهای تصادفی $X_1,...,X_n$ اختیار می‌کنند و $P(x_1,...,x_n)$ نشان دهنده احتمال رخداد هم‌زمان این مقادیر می‌باشد. همچنین اگر $P(x_1,...,x_n)=0$ باشد، مقدار $P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]$ برابر صفر تعریف می‌شود.

خواص

بزرگتر مساوی آنتروپی‌های تکی

آنتروپی مشترک مجموعه‌ای از متغیرهای تصادفی بزرگتر یا مساوی تک تک آنتروپی‌های هر یک از متغیرهای تصادفی موجود در آن مجموعه می‌باشد، یعنی:

$H(X,Y)\ge \max [H(X),H(Y)]$

$H(X_1,...,X_n)\ge \max [H(X_1),...,H(X_n)]$

کوچکتر مساوی مجموع آنتروپی‌های تکی

آنتروپی مشترک مجموعه‌ای از متغیرهای تصادفی کوچکتر یا مساوی مجموع آنتروپی‌های تکی هر یک از متغیرهای تصادفی موجود در آن مجموعه می‌باشد. نامساوی‌های زیر تنها در صورتی تبدیل به تساوی می‌شوند که $X$ و $Y$ از لحاظ آماری از یکدیگر مستقل باشند.

$H(X,Y)\le H(X)+H(Y)$

$H(X_1,...,X_n)\le H(X_1)+...+H(X_n)$

رابطه با دیگر معیارهای نظریه اطلاعات

آنتروپی مشترک با آنتروپی شرطی به صورت روابط زیر رابطه دارند:

$H(X|Y)=H(Y,X)-H(Y)$

و

$H(X_1,\dots ,X_n)=\sum _{k=1}^{n}H(X_k|X_{k-1},\dots ,X_1)$

همچنین آنتروپی مشترک به صورت زیر دارای رابطه با mutual information می‌باشد

$I(X;Y)=H(X)+H(Y)-H(X,Y)$

منابع

• https://en.wikipedia.org/wiki/Joint_entropy