نمایش مبدأ برای واگرایی کولبک-لیبلر

در [[آمار ریاضی]] از '''واگرایی کولبک-لیبلر'''  یا '''انتروپی نسبی''' به عنوان معیاری برای اندازه‌گیری واگرایی یک توزیع احتمال از یک توزیع احتمال ثانویه، یاد می‌شود.<ref>{{cite journal|last1=Kullback|first1=S.|last2=Leibler|first2=R.A.|authorlink2=Richard Leibler|year=1951|title=On information and sufficiency|url=https://archive.org/details/sim_annals-of-mathematical-statistics_1951-03_22_1/page/79|journal=[[Annals of Mathematical Statistics]]|volume=22|issue=1|pages=79–86|doi=10.1214/aoms/1177729694|mr=39968|authorlink1=Solomon Kullback}}</ref><ref name="Kullback2">{{cite book|title=Information Theory and Statistics|date=1959|publisher=[[John Wiley & Sons]]|last1=Kullback|first1=S.}}</ref> از جمله کاربردهای این مفهوم شامل توصیف [[آنتروپی اطلاعات|انتروپی نسبی (shannon)]] در سیستم‌های اطلاعاتی، میزان تصادفی‌بودن در سری‌های زمانی پیوسته و [[کسب اطلاعات (درخت تصمیم)|بهره اطلاعاتی]] در زمانی که به مقایسه با مدلهای آماری استنباطی می‌پردازیم، می‌باشد. برخلاف تنوع اطلاعات، این معیار، یک معیار ''نامتقارن'' می‌باشد و در نتیجه نمی‌توان آن را به عنوان یک ''معیار'' پراکندگی معرفی کرد. به عبارت دیگر، مقدار <math>0</math> برای واگرایی کولبک-لیبلر نشان می‌دهد که ما می‌توانیم انتظار رفتار مشابهی (نه دقیقاً یکسان) از دو توزیع داشته باشیم در حالی که مقدار <math>1</math> برای این معیار نشان می‌دهد که دو توزیع رفتارهای متضادی دارند.

== ریشه‌شناسی ==
عبارت ''واگرایی کولبک-لیبلر'' در اصل توسط [[:en:Solomon Kullback|Solomon Kullback]] و [[:en:Richard Leibler|Richard Leibler]] در سال ۱۹۵۱ به عنوان ''واگرایی'' جهت‌دار بین دو توزیع معرفی گردید؛ هرچند که Kullback خودش نام ''تمییز اطلاعات'' را بیشتر ترجیح می‌داد.<ref>{{cite journal|last=Kullback|first=S.|authorlink=Solomon Kullback|year=1987|title=Letter to the Editor: The Kullback–Leibler distance|url=https://archive.org/details/sim_american-statistician_1987-11_41_4/page/340|journal=[[The American Statistician]]|volume=41|issue=4|pages=340–341|doi=10.1080/00031305.1987.10475510|jstor=2684769}}</ref> در Kullback's historic text, Information Theory and Statistics، این معیار مورد بحث قرار گرفته است.

== تفسیر ==
واگرایی کولبک-لیبلر توزیع <math>Q</math> نسبت به <math>P</math> اغلب به صورت <math>D_{KL}(P || Q)</math> نوشته می‌شود.

=== یادگیری ماشین ===
در حوزه [[یادگیری ماشین]] از <math>D_{KL}(P || Q)</math> عموماً به نام [[کسب اطلاعات (درخت تصمیم)|بهره اطلاعاتی]] حاصل به شرطی که به جای توزیع <math>P</math> از توزیع <math>Q</math> استفاده شود، یاد می‌شود. از منظر [[نظریه اطلاعات|تئوری اطلاعات]]، این مسئله انتروپی نسبی از توزیع ''<math>P</math>'' با توجه به توزیع <math>Q</math> نامیده می‌شود.

=== کدگذاری ===
در حوزه [[نظریه کدگذاری]]، <math>D_{KL}(P || Q)</math> می‌تواند به عنوان معیاری برای اندازه‌گیری متوسط تعداد [[بیت (رایانه)|بیت‌های]] اضافی مورد نیاز به منظور [[کدگذاری هافمن|کد]] کردن نمونه‌ای از توزیع ''<math>P</math>'' با استفاده از یک کد بهینه‌سازی شده برای توزیع ''<math>Q</math>''، به جای استفاده از کد بهینه‌سازی شده برای ''<math>P</math>'' می‌باشد.

=== استنتاج بیزی ===
از منظر [[استنباط بیزی|استنتاج بیزی]] <math>D_{KL}(P || Q)</math>، یک معیار اندازه‌گیری اطلاعات کسب شده هنگامی که یک اصلاح باورهای از [[احتمال پیشین|توزیع پیشین احتمال]] ''<math>Q</math>'' به [[احتمال پسین|توزیع پسین احتمال]] ''<math>P</math>'' رخ دهد. به عبارت دیگر، مقداری از اطلاع است که به واسطه تقریب زدن <math>P</math> در هنگامی که از ''<math>Q</math>'' برای آن استفاده می‌شود، می‌باشد.<ref>Burnham K.P. , Anderson D.R. (2002), ''Model Selection and Multi-Model Inference'' (Springer). (2nd edition), p.[https://books.google.com/books?id=fT1Iu-h6E-oC&pg=PA51#v=onepage&q&f=false 51]</ref> در عمل، ''<math>P</math>'' به‌طور معمول نشان دهنده توزیع «صحیح» داده‌ها، مشاهدات یا یک توزیع تئوری است که دقیق محاسبه شده است؛ در حالی که ''<math>Q</math>'' به‌طور معمول نشان دهنده یک نظریه، مدل، توصیف یا تقریبی از ''<math>P</math>'' می‌باشد. به منظور پیدا کردن یک توزیع ''<math>Q</math>'' که نزدیکترین توزیع به ''<math>P</math>'' باشد، می‌توان به دنبال محاسبه توزیعی گشت که معیار واگرایی <math>KL</math> را کمینه می‌کند.

=== هندسه اطلاعات ===
در کاربردها، <math>P</math> معمولا توزیع صحیح داده‌ها را نشان می‌دهد و <math>Q</math> یک فرضیه،‌ مدل یا [[تخمین|تخمینی]] از <math>P</math> را نشان می‌دهد. برای اینکه بهترین تخمین توزیع <math>Q</math> از توزیع <math>P</math> را بدست بیاوریم می‌توانیم واگرایی کولبک-لیبلر این دو توزیع را کمینه کنیم و سپس پرجکشن اطلاعات را بدست بیاوریم.

با اینکه انتروپی نسبی یک [[فاصله آماری]] به شمار می‌رود اما یک [[متریک (ریاضیات)|متریک]] نیست.  بلکه یک معیار [[دیورژانس|واگرایی]] است. چرا که این معیار [[تقارن|متقارن]] نیست، یعنی <math>D_{\mathrm{KL}}(P\|Q) \neq D_{\mathrm{KL}}(Q\|P)</math> و همچنین [[نابرابری مثلثی|نامساوی مثلث]] در مورد آن صادق نیست. واگرایی برخلاف متریک که فاصله خطی را تعمیم می‌دهد،‌ تعمیمی از مربع فاصله است. فرم بی‌نهایت‌کوچک انتروپی نسبی و به‌طور خاص [[ماتریس هسین|هسین]] آن، یک [[تانسور|تنسور]] متریک می‌هد.

انتروپی نسبی یک حالت خاص از یک کلاس گسترده‌تر از واگرایی‌های آماری به نام [[واگرایی f]] و همچنین کلاس [[واگرایی برگمن|واگرایی‌های برگمن]] است، و این تنها واگرایی روی توزیع‌های احتمالاتی است که  در هر دو کلاس قرار می‌گیرد.

=== اقتصاد ===
یک بازیکن را در یک بازی عادلانه با نتیجه متقابلا مجزا در نظر بگیرید. برای مثال یک شخص که در مسابقه اسب‌سواری که جمع شانس‌های رسمی برد یک است سرمایه‌گذاری می‌کند. نرخ سود مورد انتظار این سرمایه‌گذار برابر است با انتروپی نسبی احتمالاتی که وی براساس آنها سرمایه‌گذاری می‌کند و مقادیر رسمی شانس برد.<ref>{{Cite journal|last=Soklakov|first=Andrei N.|date=2020-08|title=Economics of Disagreement—Financial Intuition for the Rényi Divergence|url=https://www.mdpi.com/1099-4300/22/8/860|journal=Entropy|language=en|volume=22|issue=8|pages=860|doi=10.3390/e22080860|issn=1099-4300}}</ref>

== تعریف ==
برای [[توزیع احتمال|توزیعهای احتمالاتی گسسته]] <math>P</math> و ''<math>Q</math>'' معیار ''واگرایی کولبک-لیبلر'' واگرایی از ''<math>Q</math>'' به ''<math>P</math>''، به صورت زیر تعریف می‌شود<ref>{{cite book|title=Information Theory, Inference, and Learning Algorithms|url=https://archive.org/details/informationtheor00djcm|publisher=Cambridge University Press|year=2003|edition=First|page=[https://archive.org/details/informationtheor00djcm/page/n47 34]|author=MacKay, David J.C.}}</ref>{{وسط‌چین}}
:<math>D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \log\frac{P(i)}{Q(i)}.</math>
{{پایان وسط‌چین}}به عبارت دیگر، امید [[لگاریتم|تفاوت لگاریتمی]] بین احتمالات ''<math>P</math>'' و ''<math>Q</math>'' در جایی که امید با استفاده از توزیع <math>P</math> به دست آمده باشد، می‌باشد. معیار واگرایی کولبک-لیبلر تنها در صورتی که <math>Q(i) = 0</math> نتیجه دهد <math>P(i) = 0</math> تعریف شده است. هر زمان که <math>P(i)</math> برابر صفر گردد سهم <math>i</math>''مین'' جمله صفر تفسیر می‌شود و این بخاطر <math>\lim_{x \to 0} x \log(x) = 0</math> می‌باشد. برای توزیعهای ''<math>P</math>'' و ''<math>Q</math>'' از یک [[توزیع احتمال|متغیر تصادفی پیوسته]]، معیار واگرایی کولبک-لیبلر به صورت [[انتگرال]] زیر تعریف می‌شود:<ref>Bishop C. (2006).</ref>{{وسط‌چین}}
: <math>D_{\mathrm{KL}}(P\|Q) = \int_{-\infty}^\infty p(x) \, \log\frac{p(x)}{q(x)} \, {\rm d}x, \!</math>
{{پایان وسط‌چین}}به‌طوریکه در آن ''<math>p</math>'' و ''<math>q</math>'' به معنی چگالی احتمال ''<math>P</math>'' و ''<math>Q</math>'' می‌باشد. به‌طور کلی، اگر ''<math>P</math>'' و ''<math>Q</math>'' احتمال‌هایی تعریف شده بر روی یک مجموعه ''X'' باشند و ''<math>P</math>'' اکیداً [[پیوسته]] نسبت به ''<math>Q</math>'' باشد، آنگاه معیار واگرایی کولبک-لیبلر از ''<math>Q</math>'' به ''<math>P</math>'' به صورت زیر تعریف می‌گردد:
{{وسط‌چین}}
:<math> D_{\mathrm{KL}}(P\|Q) = \int_X \log\frac{{\rm d}P}{{\rm d}Q} \, {\rm d}P, \!</math>
{{پایان وسط‌چین}}در این تعریف،<math>\frac{{\rm d}P}{{\rm d}Q} </math> مشتق ''Radon–Nikodym'' از ''<math>P</math>'' نسبت به ''<math>Q</math>'' می‌باشد و  می‌تواند به صورت زیر بازنویسی شود:{{وسط‌چین}}
:<math> D_{\mathrm{KL}}(P\|Q) = \int_X \log\!\left(\frac{{\rm d}P}{{\rm d}Q}\right) \frac{{\rm d}P}{{\rm d}Q} \, {\rm d}Q,</math>
{{پایان وسط‌چین}}که ما آن را به عنوان [[آنتروپی اطلاعات|آنتروپی]] نسبی ''<math>P</math>'' نسبت به ''<math>Q</math>'' می‌شناسیم. در ادامه در این مورد، اگر <math>\mu</math> هر اندازه‌گیری بر روی  <math>X</math> باشد که در آن <math>p = \frac{{\rm d}P}{{\rm d}\mu}</math>  و<math>q = \frac{{\rm d}Q}{{\rm d}\mu}</math> برقرار باشد (به این معنی که <math>p</math> و <math>q</math> اکیداً نسبت به <math>\mu</math>) آنگاه معیار واگرایی کولبک-لیبلر از ''<math>Q</math>'' به ''<math>P</math>''، به صورت زیر می‌باشد{{وسط‌چین}}
:<math> D_{\mathrm{KL}}(P\|Q) = \int_X p \, \log \frac{p}{q} \, {\rm d}\mu.
\!</math>
{{پایان وسط‌چین}}در صورتی که اطلاعات با واحد بیت اندازه‌گیری شده باشد لگاریتمها در مبنای <math>2</math> می‌باشند و در صورتی که از واحد nats برای سنجش اطلاعات استفاده شده باشد، پایه لگاریتم‌ها <math>e</math> خواهد بود.

قراردادهای مختلفی برای اشاره به <math>D_{KL}(P || Q)</math> به صورت لفظی وجود دارد. اغلب از آن به عنوان ''[[اختلاف بین توزیع‌های]]'' ''<math>P</math>'' و ''<math>Q</math>'' یاد می‌شود;در حالی که این توصیف با خاصیت نامتقارن بودن فرمول (یعنی واگرایی توزیع ''<math>P</math>'' از ''<math>Q</math>'' با میزان واگرایی توزیع ''<math>Q</math>'' از ''<math>P</math>'' لزوماً برابر نیست) در تعارض است. از این رو برخی مواقع، همان‌طور که در این مقاله هم از آن یاد شد، از آن به عنوان واگرایی توزیع ''<math>P</math>'' از یا نسبت به توزیع ''<math>Q</math>'' یاد می‌کنند.

== خصوصیات ==
''Arthur Hobson'' ثابت کرد که معیار واگرایی کولبک-لیبلر تنها معیار تفاوت بین توزیعهای احتمالی است که برخی از خواص مورد نظر را در خود دارد.<ref>{{Cite book|title=Concepts in statistical mechanics.|last=Hobson|first=Arthur|date=1971|publisher=Gordon and Breach|isbn=0-677-03240-4|location=New York}}</ref> و نتیجتاً، [[اطلاعات متقابل]] نیز تنها معیار وابستگی متقابل میان [[متغیر تصادفی|متغیرهای تصادفی]] است که یکسری شرایط خاص را دارا می‌باشد، چرا که آن می‌تواند از منظر معیار واگرایی مورد نظر نیز تعریف گردد.

در این‌جا به برخی از خصوصیات معیار واگرایی کولبک-لیبلر اشاره می‌کنیم:

* انتروپی نسبی همیشه نامنفی است،‌ در نتیجه
<math display="block">D_\text{KL}(P \parallel Q) \geq 0</math>که به عنوان نامساوی گیبز شناخته می‌شود. همچنین داریم <math>D_\text{KL}(P\parallel Q) = 0</math> اگر و تنها اگر <math>P = Q</math>.

اثبات: حالت گسسته را درنظر بگیرید. حکم بالا را می‌توان با استفاده از [[نابرابری ینسن|نامساوی ینسن]] و [[نامساوی جمع لگاریتم]] اثبات کرد. از آنجایی که لوگاریتم یک تابع محدب است داریم:<math display="block">\sum_i P(i) \log\frac{Q(i)}{P(i)} \le \log\sum_i P(i)\frac{Q(i)}{P(i)} = \log\sum_i Q(i) \le 0</math>نامساوی اول از ینسن نتیجه می‌شود و نامساوی دوم از تابع احتمالاتی بودن <math>Q</math>. همچنین از آنجایی که لوگاریتم اکیدا محدب است،‌ بنابر [[نابرابری ینسن]] تساوی زمانی رخ می‌دهد که<math display="block">\frac{Q(1)}{P(1)} = \frac{Q(2)}{P(2)} = \cdots = \frac{Q(n)}{P(n)}</math>و <math>\sum_i Q(i) = 1</math>. فرض کنید این نسبت برابر با <math>r</math> باشد. در این صورت:<math display="block">1 = \sum_i Q(i) = \sum_i r P(i) = r</math>پس تساوی زمانی رخ می‌دهد که <math>P = Q</math>.

* به‌طور کلی برای واگرایی کولبک-لیبلر کران بالایی وجود ندارد. با این حال، نشان داده شده است که اگر ''<math>P</math>'' و ''<math>Q</math>'' دو توزیع احتمال گسسته باشند که با توزیع یک مقدار گسسته ساخته شده‌اند، آن‌گاه حداکثر مقدار <math>D_\text{KL}(P\parallel Q)</math> به‌دست می‌آید.<ref>{{Cite journal|last=Bonnici|first=Vincenzo|date=2020-12-10|title=Kullback-Leibler divergence between quantum distributions, and its upper-bound|url=http://arxiv.org/abs/2008.05932|journal=arXiv:2008.05932 [quant-ph]}}</ref>
* انتروپی نسبی تقریباً مانند انتروپی شانون برای توزیع‌های مستقل [[جمعی]] است. اگر <math>P_1, P_2</math> [[متغیر تصادفی مستقل|توزیع‌های مستقلی]] باشند و <math>P(dx, dy) = P_1(dx)P_2(dy)</math> و به‌طور مشابه <math>Q(dx, dy) = Q_1(dx)Q_2(dy)</math> برای توزیع‌های مستقل <math>Q_1, Q_2</math> آنگاه<math display="block"> D_\text{KL}(P \parallel Q) = D_\text{KL}(P_1 \parallel Q_1) + D_\text{KL}(P_2 \parallel Q_2).</math>
* انتروپی نسبی <math> D_\text{KL}(P \parallel Q)</math> برای جفت توزیع‌های احتمالی <math>(P,Q)</math> [[محدب (ابهام زدايي)|محدب]] است. یعنی اگر <math>(P_1,Q_1)</math> و <math>(P_2,Q_2)</math> دو جفت تابع احتمال باشند آنگاه<math display="block">D_\text{KL}(\lambda P_1 + (1 - \lambda) P_2 \parallel \lambda Q_1 + (1 - \lambda) Q_2) \le 
\lambda D_\text{KL}(P_1 \parallel Q_1) + (1 - \lambda)D_\text{KL}(P_2 \parallel Q_2) \text{ for } 0 \le \lambda \le 1.</math>

== انگیزه ==
در تئوری اطلاعات، قضیه Kraft–McMillan بیان می‌کند که هر شمای کدگذاری قابل دیکد کردنی برای کد کردن یک پیام به‌طوریکه بتوان مقدار ''x<sub>i</sub>'' را از مجموعه تمامی مقادیر ممکن <math>X</math> به صورت مستقیم کدگشایی کند نیاز تا احتمال نمایش هر مقدار را به صورت توزیع احتمال <math>q(x_i) = 2^{-l_i}</math> در نظر گرفته شود که در آن ''l<sub>i</sub>''، طول کد برای ''x<sub>i</sub>'' در واحد بیت می‌باشد. بنابراین، معیار واگرایی کولبک لیبلر را می‌توان به عنوان امید مقدار طول پیام اضافی به ازای هر داده دانست که در صورتی که اگر از یک کد که برای توزیع <math>Q</math> بهینه است (توزیع ناصحیح) برای انتقال آن استفاده گردد، باید به صورت اضافی (نسبت به حالتی که از یک کد بهینه برای توزیع صحیح استفاده شود) مخابره گردد.{{وسط‌چین}}
:<math>
\begin{matrix}
D_{\mathrm{KL}}(P\|Q)
& = &-\sum_x p(x) \log q(x)& + & \sum_x p(x) \log p(x) \\[0.5em]
& =  & H(P,Q) & - & H(P)\, \!
\end{matrix}</math>
{{پایان وسط‌چین}}در اینجا <math>H(P,Q)</math> آنتروپی مشترک توزیعهای ''<math>P</math>'' و <math>Q</math> می‌باشد و <math>H(P)</math> نیز [[آنتروپی اطلاعات|آنتروپی]] توزیع <math>P</math> می‌باشد.

همچنین توجه داشته باشید که یک رابطه میان معیار واگرایی Kullback–Leibler و «تابع نرخ» در نظریه [[قضیه انحرافات بزرگ|انحراف بزرگ]] وجود دارد.<ref name="Sanov2">{{Cite journal|last=Sanov|first=I.N.|year=1957|title=On the probability of large deviations of random magnitudes|journal=Matem. Sbornik|volume=42|issue=84|pages=11–44}}</ref><ref name="Novak2">Novak S.Y. (2011), ''Extreme Value Methods with Applications to Finance'' ch. 14.5 ([[:en:Chapman & Hall|Chapman & Hall]]).</ref>

== رابطه با سایر کمیت‌ها در نظریه اطلاعات ==
بسیاری از کمیت‌های دیگر نظریه اطلاعات را می‌توان به عنوان کاربردهای انتروپی نسبی در موارد خاص تفسیر کرد.

=== اطلاعات متقابل ===
اطلاعات متقابل با تعریف<math display="block">\begin{align}
 \operatorname{I}(X; Y)
   &= D_\text{KL}(P(X, Y) \parallel P(X)P(Y)) \\[5pt]
   &= \operatorname{E}_X \{D_\text{KL}(P(Y \mid X) \parallel P(Y))\} \\[5pt]
   &= \operatorname{E}_Y \{D_\text{KL}(P(X \mid Y) \parallel P(X))\}
\end{align}</math>انتروپی نسبی ضرب <math>P(X)P(Y)</math> دو [[توزیع حاشیه‌ای|احتمال حاشیه‌ای]] [[توزیع احتمال توأم|توزیع توأم]] <math>P(X,Y)</math> است. به عبارت دیگر تعداد بیت های اضافی مورد انتظار که باید برای شناسایی <math>X</math> و <math>Y</math> ارسال شوند، اگر به جای توزیع توأم تنها با استفاده از توزیع حاشیه‌ایشان کدگذاری شده باشند.

=== انتروپی شنون ===
انتروپی شنون با تعریف برای توزیع با الفبای شمارا<math display="block">\begin{align}
 \Eta(X) &= \operatorname{E}\left[\operatorname{I}_X(x)\right]
        = \log(N) - D_\text{KL}\left(p_X(x) \parallel P_U(X)\right)
\end{align}</math>و توزیع پیوسته<math display="block">\lim_{N \rightarrow \infty} H_{N}(X) = \log(N) - \int p(x)\log\frac{p(x)}{m(x)}dx</math>برابر است با<math display="block">\log(N) - D_\text{KL}(p(x)||m(x))</math>

== جستارهای وابسته ==

* [[معیار اطلاعاتی آکائیکه|Akaike Information Criterion]]
* بیزی اطلاعات معیار
* Bregman واگرایی
* Cross-entropy
* [[انحراف معیار]] اطلاعات
* آنتروپی ارزش در معرض خطر
* آنتروپی قدرت نابرابری
* به دست آوردن اطلاعات در درخت‌های تصمیم‌گیری
* اطلاعات به دست آوردن نسبت
* اطلاعات تئوری و نظریه اندازه‌گیری
* جنسن–Shannon واگرایی
* کوانتومی آنتروپی نسبی
* جزایر Kullback و ریچارد Leibler

== منابع ==
<references group=""></references>

[[رده:آنتروپی اطلاعات]]
[[رده:نظریه اطلاعات]]
[[رده:هندسه اطلاعات]]
[[رده:ترمودینامیک]]