نمایش مبدأ برای یادگیری تفاوت زمانی

'''یادگیری تفاوت زمانی ''' {{به انگلیسی|Temporal difference learning}} یک روش پیش‌بینی است. این روش به صورت عمده برای حل مسائل [[یادگیری تقویتی]] مورد استفاده بود است. "روش تفاوت زمانی ترکیبی از ایده‌های [[مونت کارلو]] و [[برنامه‌ریزی پویا]] است.<ref name="RSutton-1998">{{cite book |author=Richard Sutton and Andrew Barto |title=Reinforcement Learning |publisher=MIT Press |year=1998 |url=http://www.cs.ualberta.ca/~sutton/book/the-book.html |isbn=0585024456 |accessdate=۱۰ دسامبر ۲۰۱۱ |archiveurl=https://web.archive.org/web/20090904160457/http://www.cs.ualberta.ca/~sutton/book/the-book.html |archivedate=۴ سپتامبر ۲۰۰۹ |dead-url=yes }}</ref> این روش مشابه [[روش مونت کارلو]] است چرا که یادگیری در آن با استفاده از نمونه برداری از محیط با توجه به یک یا چند ''سیاست خاص'' انجام می‌شود. روش تفاوت زمانی به این دلیل به تکنیک‌های برنامه‌ریزی پویا شباهت دارد که این روش تخمین کنونی را بر اساس تخمین‌های یادگیری شده (فرایندی که به خودراه اندازه معروف است) به دست می‌آورد. الگوریتم یادگیری تفاوت زمانی به مدل یاگیری تفاوت زمانی در حیوانات نیز مرتبط است.

به عنوان یک روش پیش‌بینی، یادگیری تفاوت زمانی این واقعیت را در نظر می‌گیرد که پیش‌بینی‌های آینده نیز معمولاً از جهاتی دارای همبستگی هستند. در روش‌های یادگیری مبتنی بر پیش‌بینی نظارتی، مأمور تنها از مقادیر دقیقاً مشاهده شده یاد می‌گیرد: یک پیش‌بینی انجام می‌شود، و زمانی که مشاهده ممکن باشد، پیش‌بینی به تطابق بهتری با مشاهده خواهد رسید. مطابق منبع یاد شده، <ref name="RSutton-1988">{{cite journal |author=Richard Sutton |title=Learning to predict by the methods of temporal differences |url=https://archive.org/details/sim_machine-learning_1988-08_3_1/page/9 |journal=Machine Learning |volume=3 |issue=1 |pages=9–44 |year=1988 |doi=10.1007/BF00115009}} (A revised version is available on [http://www.cs.ualberta.ca/~sutton/publications.html Richard Sutton's publication page] {{Webarchive|url=https://web.archive.org/web/20090904154110/http://www.cs.ualberta.ca/~sutton/publications.html |date=۴ سپتامبر ۲۰۰۹ }})</ref> ایده اساسی یادگیری تفاوت زمانی این است که پیش‌بینی‌ها با پیش‌بینی‌هایی دقیق تر دیگری از آینده تنظیم کنیم. همان گونه که از مثال زیر بر می‌آید (برگرفته از منبع <ref name="RSutton-1988"/>)، این رویه نوعی از فرایند خود راه اندازه است:

{{نقل قول بزرگ}}فرض کنید که می خواهید وضعیت هوای روز شنبه را پیش‌بینی کنید و مدلی دارید که هوای روز شنبه را با استفاده از وضعیت هوای داده شده برای تمام روزهای هفته، پیش‌بینی می‌کند. در شرایط عادی، باید تا شنبه صبر کنید تا بتوانید تمامی مدل‌های خود را تنظیم نمایید. با این وجود، زمانی که مثلاً جمعه است، می‌توانید ایده بسیار خوبی از این داشته باشید که هوای روز شنبه احتمالاً به چه صورتی خواهد بود و به همین صورت می‌توانید مثلاً مدل روز دوشنبه خود را قبل از این که شنبه برسد، تغییر دهید.{{پایان نقل قول بزرگ}}

به بیان ریاضی، هم در رویکرد استاندارد و هم در رویکرد تفاوت زمانی، تلاش ما بر این است که [[تابع هزینه]] را که مرتبط با خطاهای ما در پیش‌بینی یک یا چند [[متغیر تصادفی]] [E[z است، بهینه‌سازی نماییم. حال آن که در رویکرد استاندارد به گونه‌ای فرض می نماییم که E[z]=z (که z همان متغیر مشاهده شده‌است) و در رویکرد TD از یک مدل استفاده می نماییم. برای حالت خاص در یادگیری تقویتی، که کاربرد عمده روش‌های تفاوت زمانی است، z همان بازگشت کل و [E[z با استفاده از [[معادله بلمن]] بازگشت داده شده‌است.

ایده اصلی در رویکرد یادگیری تفاوت‌زمانی، یادگیری براساس تفاوت بین پیش‌بینی‌های پی‌درپی زمانی است و برای بروزرسانی نیازی به صبرکردن تا پایان مسیر نیست. به عبارت دیگر، هدف از یادگیری این است که پیش‌بینی کنونی یاد‌گیرنده برای الگوی فعلی ورودی، بیشتر با پیش‌بینی بعدی در مرحله بعدی مطابقت داشته باشد.<ref>میلاد وزان، یادگیری عمیق: اصول، مفاهیم و رویکردها، میعاد اندیشه، 1399</ref> 

== الگوریتم تفاوت زمانی در علوم عصبی ==

[[الگوریتم]] تفاوت زمانی در زمینه [[علوم عصبی]] نیز مورد توجه خاصی بوده‌است. پژوهشگران دریافته‌اند که نرخ ارسال الکتریکی [[نورون]]‌های پخش‌کننده [[دوپامین]] در [[ناحيه تگمنتوم شكمي]] و [[جسم سیاه]] را می‌توان به تابع خطای این الگوریتم نسبت داد <ref name="WSchultz-1997">{{cite journal |author=Schultz, W, Dayan, P & Montague, PR. |year=1997 |title=A neural substrate of prediction and reward |url=https://archive.org/details/sim_science_1997-03-14_275_5306/page/n61 |journal=Science |volume=275 |issue=5306 |pages=1593–1599 |doi=10.1126/science.275.5306.1593 |pmid=9054347}}</ref>. تابع خطا، میزان تفاوت میان پاسخ (reward) تخمین زده شده در هر حالت (state) داده شده یا زمان خاصی و پاسخ دقیقی که به دست آمده را نشان می‌دهد. هر چه قدر این تابع بزرگ تر باشد، تفاوت میان پاسخ به دست آمده و مورد نظر بیشتر بوده‌است. زمانی که این تابع با محرکی که پاسخ آینده را به صورت دقیق منعکس می‌کند، خطا می‌تواند برای نسبت دادن آن محرک به پاسخ آینده استفاده شود.

به نظر می‌رسد که سلول‌های [[دوپامین]] نیز به صورت مشابهی عمل می‌کنند. در یکی از آزمایش‌های انجام شده، اندازه‌گیری‌هایی از سلول‌های دوپامین در یک میمون در حال آموزش انجام شد تا بتوان یک محرک را با پاسخ (جایزه) مربوط به آن که آب میوه بود، مرتبط کنند <ref name="WSchultz-1998">{{cite journal |author=Schultz, W. |year=1998 |title=Predictive reward signal of dopamine neurons |journal=J Neurophysiology |volume=80 |issue=1 |pages=1–27}}</ref>. در ابتدا نرخ ارسال الکتریکی سلول‌های دوپامین زمانی که میمون با آب میوه مواجه می‌شد، افزایش یافت که نشان می‌دهد که تفاوتی در پاسخ‌های مورد نظر و واقعی وجود دارد. در طول زمان، این ارسال به سمت اولین محرک مطمئن برای پاسخ بازگشت. به محض این که میمون به صورت کامل آموزش دید، هیچ افزایشی در در نرخ ارسال در هنگام مواجه با یک پاسخ مورد انتظار نبود. در ادامه، نرخ ارسال الکتریکی برای سلول‌های دوپامین، زمانی که پاسخ مورد نظر دریافت نشد، به زیر سطح فعال شدن کاهش یافت. این یافته‌ها تا حد زیادی با [[تابع خطا]] در یادگیری تفاوت زمانی که در زمینه [[یادگیری تقویتی]] مطرح است، مرتبط شده‌است.

رابطه میان این مدل و کارکردهای بالقوه نورولوژیکی زمینه پژوهشی را به وجود آورده که هدف در استفاده از TD برای توضیح بسیاری از جنبه‌های پژوهش‌های رفتاری را دارد <ref name="PDayan-2001">{{cite journal |author=Dayan, P. |year=2001 |title=Motivated reinforcement learning |journal=Advances in Neural Information Processing Systems |volume=14 |pages=11–18 |publisher=MIT Press |url=http://books.nips.cc/papers/files/nips14/CS01.pdf |access-date=10 دسامبر 2011 |archive-date=25 مه 2012 |archive-url=https://web.archive.org/web/20120525163926/http://books.nips.cc/papers/files/nips14/CS01.pdf }}</ref>. این رابطه همچنین برای مطالعه شرایطی مانند اسکیزوفرنی و تبعات دستکاری‌های دارویی سطح دوپامین در یادگیری، مورد استفاده قرار گرفته‌است <ref name="ASmith-2006">{{cite journal |author=Smith, A., Li, M., Becker, S. and Kapur, S. |year=2006 |title=Dopamine, prediction error, and associative learning: a model-based account |journal=Network: Computation in Neural Systems |volume=17 |issue=1 |pages=61–84 |doi=10.1080/09548980500361624 |pmid=16613795}}</ref>.

== فرمول بندی ریاضی ==
فرض کنید <math> r_t </math> میزان [[تقویت]] در نقطه زمانی <math> ''t ''</math>. همچنین فرض کنید <math> \bar V_t </math> [[پیش بینی]] صحیحی باشد که معادل حاصل جمع کاهش یافته تمامی مقادیر تقویت در آینده است. این کاهش توسط توان‌هایی از عامل <math> \gamma </math> به گونه‌ای انجام می‌شود که در نقاط زمانی دورتر، مقدار تقویت اهمیت کمتری دارد:

<math> \bar V_t = \sum_{i=0}^{\infty} \gamma^i r_{t+i} </math>

که در آن <math> 0 \le \gamma < 1 </math>.

این فرمول می‌تواند توسط تغییر نقطه شروع اندیس i به مقدار صفر گسترش یابد:

:<math> \bar V_t = r_{t} + \sum_{i=1}^{\infty} \gamma^i r_{t+i} </math>

:<math> \bar V_t = r_{t} + \sum_{i=0}^{\infty} \gamma^{i+1} r_{t+i+1} </math>

:<math> \bar V_t = r_{t} + \gamma \sum_{i=0}^{\infty} \gamma^i r_{t+1+i} </math>

:<math> \bar V_t = r_{t} + \gamma \bar V_{t+1} </math>

بنابراین، مقدار تقویت تفاوت میان پیش‌بینی ایده‌آل و پیش‌بینی فعلی است:

:<math> r_{t} = \bar V_{t} - \gamma \bar V_{t+1} </math>

الگوریتم ''TD-Lambda'' یک الگوریتم یادگیری است که توسط [[Richard S. Sutton]] بر مبانی کارهای قبلی انجام شده توسط [[Arthur Samuel]] در یادگیری تفاوت زمانی ایجاد شده‌است<ref name="RSutton-1998"/>. کاربرد معروفی از این الگوریتم توسط [[Gerald Tesauro]] برای ایجاد برنامه [[TD-Gammon]] بوده‌است. در واقع، این برنامه یاد می‌گیرد که [[تخته نرد]] را در سطح بازیکنان برجسته انسانی بازی کند<ref name='CACM'>{{cite journal|title=Temporal Difference Learning and TD-Gammon|journal=Communications of the ACM|date=March 1995|first=Gerald|last=Tesauro|coauthors=|volume=38|issue=3|pages=|id=|url=http://www.research.ibm.com/massive/tdl.html|accessdate=2010-02-08|archive-date=۱۱ ژانویه ۲۰۱۳|archive-url=https://web.archive.org/web/20130111060444/http://www.research.ibm.com/massive/tdl.html|url-status=dead}}</ref>. پارامتر <math>\lambda</math> همان پارامتر فروپاشی نشانه‌ها است که در آن <math>0 \le \lambda \le 1</math> برقرار است. هر چه قدر این پارامتر بیشتر تنظیم شود نشانه‌ها بیشتر باقی می‌مانند که این معادل آن است که هر چه مقدار <math>\lambda</math> بیشتر باشد، نسبت‌های تأثیری بیشتری از پاسخ‌های قبلی بر وضعیت‌ها و اعمال آینده دور تأثیر می‌گذارند. اگر مقداردهی <math>\lambda = 1</math> انجام شود یک الگوریتم یادگیری موازی با الگوریتم‌های یادگیری تقویتی مونت کارلو ایجاد خواهد شد.

== پیش‌بینی در یادگیری تفاوت زمانی ==

هر دو روش [[الگوریتم مونت کارلو]] و یادگیری تفاوت زمانی از تجربه برای [[حل مسئله]] پیش‌بینی استفاده می‌کنند. با داشتن چند تجربه که یک سیاست <math> \pi </math> را در پیش دارند، هر دو روش تخمین <math> V </math> خود از مقدار <math> V(s_t) </math> را به دست می‌آورند. یک [[روش مونت کارلو]] ساده شامل تمامی ملاقات‌ها که برای محیط‌های ساکن مناسب است عبارت است از:

<math> V(s_t)= V(s_t)+\alpha[R_t-V(s_t)] </math>

که <math> R_t</math> در آن میزان بازگشت واقعی پس از زمان <math> t </math> و <math> \alpha</math> پارامتر اندازه قدم است. بر خلاف روش‌های مونت کارلو که عامل باید تا انتهای هر قسمت (episode) منتظر بماند تا میزان افزایش <math> V(s_t) </math> خود را محاسبه کند، در روش‌های تفاوت زمانی عامل تنها تا گام زمانی بعدی صبر می‌کند. در زمان <math> t+1 </math> عامل‌های تفاوت زمانی، بلافاصله مقدار مطلوب خود را شکل می‌دهند و با استفاده از پاداش مشاهده شده <math> r_{t+1} </math> مقدار <math> V(s_{t+1}) </math> خود را به هنگام رسانی می‌کنند. ساده‌ترین روش تفاوت زمانی که با عنوان <math>TD(0) </math> شناخته می‌شود، عبارت است از:

<math> V(s_t)= V(s_t)+\alpha[r_{t+1}+\gamma V(s_{t+1})-V(s_t)] </math>

== به دست آوردن سیاست ==

ساده‌ترین نوع الگوریتم تفاوت زمانی، (0)TD، به صورت کاملاً رویه‌ای عمل می‌کند. معادلات زیر نحوه محاسبه <math> V^{\pi}(s) </math> را نشان می‌دهند. همچنین سودوکد الگوریتم (0)TD به صورت زیر ترسیم شده‌است.

<math> V^{\pi}(s)= E_{\pi}[R_t|s_t=s] </math>

<math> =V^{\pi}(s)= E_{\pi}[\sum_{k=0}^{\infty} \gamma^k r_{t+k+1}|s_t=s] </math>

<math> =V^{\pi}(s)= E_{\pi}[r_{t+1}+ \sum_{k=0}^{\infty} \gamma^k r_{t+k+2}|s_t=s] </math>

<math> =V^{\pi}(s)= E_{\pi}[r_{t+1}+ \gamma V^{\pi}(s_{t+1}) |s_t=s] </math>

== مقایسه کلی با روش‌های دیگر یادگیری تقویتی ==

[[پرونده:Rl-unified-view.png|بندانگشتی|چپ|alt=تصویری کلی از روش‌های یادگیری تقویتی.|تصویری کلی از روش‌های یادگیری تقویتی''.]]

تمامی روش‌های [[یادگیری تقویتی]] دارای ایده‌ای یکسان هستند. اول، هدف تمام آن‌ها تخمین [[تابع ارزش]] است. دوم، تمامی آن‌ها با نگهداری مقادیر در عبور از حالت‌های مختلف ممکن یا واقعی عمل می‌کنند. سوم، تمامی آن‌ها یک راهبرد برای پیمایش کلی سیاست (GPI) دارند، به این معنی که آن‌ها یک تابع ارزش تقریبی و یک سیاست تقریبی را نگه می‌دارند و پیوسته هر کدام از آن‌ها را بر مبنای دیگری بهبود می‌بخشند.

دو بعد مهم در روش‌های یادگیری تقویتی در شکل روبرو مشاهده می‌شود. این ابعاد با نوع نگهداری که برای بهبود تابع ارزش استفاده شده‌است، مرتبط هستند. بعد عمودی نشان دهده این است که نگهداری آیا در نمونه هاست (بر اساس گذر از نمونه ها) یا نگهداری کامل است (بر اساس توزیع گذرهای ممکن). نگه داری‌های کامل نیازمند یک مدل هستند حال آن که نگه داری‌های نمونه‌ای می‌توانند بدون مدل نیز عمل کنند. بعد افقی به عمق این نگهداری‌ها، یعنی درجه bootstrapping، مرتبط است. سه گوشه از چهار گوشه اشاره شده از روش‌های مهم در تخمین ارزش‌ها هستند: [[برنامه‌ریزی پویا]]، یادگیری تفاوت زمانی و [[الگوریتم مونت کارلو]].

== جستارهای وابسته ==
* [[یادگیری ماشینی]]
* [[هوش مصنوعی]]
* یادگیری تفاوت زمانی
* [[یادگیری تقویتی]]
* [[کیو-یادگیری]]
* [[SARSA]]
* [[Rescorla-Wagner model]]
* [http://www.razorrobotics.com/adaptive_heuristic_critic.html Adaptive Heuristic Critic]
* [[PVLV]]

== یادداشت‌ها ==
{{پانویس}}

== منابع برای مطالعه بیشتر ==
* مدل‌های به دست آمده از زمان برای تقویت پائولوفی
{{cite journal |author=Sutton, R.S., Barto A.G. |year=1990 |title=Time Derivative Models of Pavlovian Reinforcement |journal=Learning and Computational Neuroscience: Foundations of Adaptive Networks |pages=497–537 |url=http://www.cs.ualberta.ca/~sutton/papers/sutton-barto-90.pdf |access-date=۱۰ دسامبر ۲۰۱۱ |archive-url=https://web.archive.org/web/20090619181617/http://www.cs.ualberta.ca/%7Esutton/papers/sutton-barto-90.pdf |archive-date=۱۹ ژوئن ۲۰۰۹ |dead-url=yes }}
* یادگیری تفاوت زمانی و TD-Gammon
{{cite journal |author=Gerald Tesauro |title=Temporal Difference Learning and TD-Gammon |journal=Communications of the ACM |year=March 1995 |volume=38 |issue=3 |url=http://www.research.ibm.com/massive/tdl.html |access-date=۱۰ دسامبر ۲۰۱۱ |archive-date=۱۱ ژانویه ۲۰۱۳ |archive-url=https://web.archive.org/web/20130111060444/http://www.research.ibm.com/massive/tdl.html |url-status=dead }}
* یادگیری تقویتی در بازی‌های صفحه ای
Imran Ghory. [http://www.cs.bris.ac.uk/Publications/Papers/2000100.pdf Reinforcement Learning in Board Games].
* روش‌هایی برای شبکه‌های پیچیده
S. P. Meyn, 2007. [https://web.archive.org/web/20100619011046/https://netfiles.uiuc.edu/meyn/www/spm_files/CTCN/CTCN.html Control Techniques for Complex Networks], Cambridge University Press, 2007. See final chapter, and appendix with abridged [https://web.archive.org/web/20121218173202/https://netfiles.uiuc.edu/meyn/www/spm_files/book.html Meyn & Tweedie].

== پیوند به بیرون ==
* یادگیری تقویتی، نوشته شده توسط حامد عطیان فر [https://web.archive.org/web/20110429001223/http://math.sharif.edu/%7Esystemtheory/s10.pdf]
* یادگیری تقویتی در وب سایت رویاک [https://web.archive.org/web/20111223031324/http://royak.ir/ai/116-reinforcement-learning.html]
* صفحه اسکولارپدیا برای یادگیری تفاوت زمانی
[http://scholarpedia.org/article/Temporal_Difference_Learning Scholarpedia Temporal difference Learning]
* گروه پژوهشی شبکه‌های تفاوت زمانی در دانشگاه آلبرتا
[https://web.archive.org/web/20120206050550/http://rlai.cs.ualberta.ca/TDNets/index.html TD-Networks Research Group]

[[رده:الگوریتم‌های یادگیری ماشین]]
[[رده:تفریق]]
[[رده:علوم محاسباتی اعصاب]]
[[رده:یادگیری تقویتی]]