نمایش مبدأ برای یادگیری تقویتی از بازخورد انسانی

{{یادگیری ماشین|Learning with humans}}

درحوزه [[یادگیری ماشین]]، '''یادگیری تقویتی از بازخورد انسانی''' ({{lang-en|Reinforcement learning from human feedback}}) {{اختصاری|RLHF}} تکنیکی برای [[مسئله کنترل هوش مصنوعی|همسو کردن]] یک [[عامل هوشمند]] با ترجیحات انسانی است. در [[یادگیری تقویتی]] کلاسیک، هدف غایی چنین عاملی، آموزش تابعی (که [[یادگیری تقویتی|خط‌مشی]]{{یادچپ|Policy}} نامیده می‌شود) است تا رفتار آن عامل را هدایت کند. این تابع یاد می‌گیرد که چگونه بر اساس عملکرد خود، بتواند پاداش دریافتی خود را از یک تابع پاداش بیرونی [[بهینه‌سازی|به حداکثر]] برساند.<ref>{{cite book|last1=|first1=|last2=|first2=|title=Artificial intelligence: a modern approach|date=2016|publisher=Pearson|location=|isbn=978-0-13-604259-4|pages=830–831|edition=}}</ref> ولی در مورد ترجیحات انسانی، تعریف دقیق تابع پاداشی که ترجیحات انسان را تقریب می‌زند، دشوار است. بنابراین، RLHF به دنبال آموزش مستقیم "مدل پاداش" از روی [[بازخورد]] انسانی است.<ref name=":1">{{یادکرد وب|کد زبان=en|تاریخ=2019-09-18|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/1909.08593|عنوان=Fine-Tuning Language Models from Human Preferences}}</ref> ابتدا مدل پاداش، مستقل از خط‌مشی در حال بهینه‌سازی، به شیوه‌ای [[یادگیری نظارت‌شده|نظارت‌شده]] آموزش داده می‌شود. بدین روش که بر اساس داده‌های رتبه‌بندی تهیه شده توسط [[داده‌های برچسب‌دار|نظرنویسان]] انسانی (برچسب‌گذار)، بتواند پیش‌بینی کند که آیا پاسخ داده شده به پرسش (ورودی) خوب (پاداش بالا) است یا بد (پاداش کم). سپس این مدل در یک [[بهینه‌سازی|الگوریتم بهینه‌سازی]]، مانند {{پم|بهینه‌سازی خط‌مشی پروگزیمال|Proximal_policy_optimization}}{{یادچپ|Proximal policy optimization}}، به عنوان یک تابع پاداش برای بهبود خط‌مشی عامل مورد استفاده قرار می‌گیرد.<ref name="huggingface2">{{cite web|last1=Lambert|first1=Nathan|last2=Castricato|first2=Louis|last3=von Werra|first3=Leandro|last4=Havrilla|first4=Alex|title=Illustrating Reinforcement Learning from Human Feedback (RLHF)|url=https://huggingface.co/blog/rlhf|website=huggingface.co|access-date=4 March 2023}}</ref>

RLHF در حوزه‌های مختلف یادگیری ماشین کاربرد دارد، همچون وظایف [[پردازش زبان‌های طبیعی|پردازش زبان طبیعی]] (مانند [[خلاصه‌سازی خودکار|خلاصه کردن متن]] و عامل‌های مکالمه‌کننده)، یا وظایف [[بینایی رایانه‌ای]] (مانند [[مدل متن به تصویر|مدل‌های متن به تصویر]] ، و توسعه ربات‌های بازی‌های ویدئویی. در حالی که RLHF یک روش بهبود عملکرد در آموزش مدل به منظور انطباق با ترجیحات انسانی است، ولی در نحوه جمع‌آوری داده‌های ترجیحات انسانی با چالش‌هایی نیز مواجه است. اگرچه RLHF برای بهبود عملکرد به مقادیر زیادی داده نیاز ندارد، با این حال تامین داده‌های ترجیحی با کیفیت بالا هنوز هم یک فرآیند گران به حساب می‌آید. علاوه بر این، اگر داده‌ها از یک [[نمونه‌گیری آماری|نمونه]] نماینده، به دقت جمع آوری نشده باشند، مدل به‌دست آمده ممکن است {{پم|سوگیری‌های|Algorithmic_bias}} ناخواسته‌ای را نشان دهد.
[[پرونده:RLHF_diagram.svg|بندانگشتی|350x350پیکسل| نمای کلی سطح بالا - یادگیری تقویتی از بازخورد انسانی]]

== پیشینه و انگیزه ==
بهینه‌سازی یک مدل بر اساس بازخورد انسانی زمانی مطلوب است که تعیین تکلیف دشوار باشد اما قضاوت آن آسان باشد.<ref name="openai2">{{cite web|title=Learning from human preferences|date=13 June 2017|last1=Amodei|first1=Dario|last2=Christiano|first2=Paul|last3=Ray|first3=Alex|url=https://openai.com/research/learning-from-human-preferences|website=openai.com|access-date=4 March 2023}}</ref> برای مثال، ممکن است در نظر داشته باشید که مدلی را آموزش دهید تا متن [[ایمنی هوش مصنوعی|ایمن]] تولید کند که همزمان هم مفید و هم بی‌ضرر (مثلاً بدون سوگیری، غیر سمی یا بدون مضر) باشد. درخواست از انسان برای ایجاد فهرستی از نمونه‌های بی‌ضرر و مضر به صورت دستی دشوار و وقت‌گیر خواهد بود. با این حال، انسان‌ها در ارزیابی و مقایسه سریع مضرات متن‌های مختلف تولید شده توسط هوش مصنوعی ماهر هستند. بنابراین، یک راهکار عملی این است که به مدل اجازه دهیم از این نوع بازخورد انسانی برای بهبود تولید متن خود استفاده کند.<ref>{{cite arXiv|last1=Zheng|first1=Rui|last2=Dou|first2=Shihan|last3=Gao|first3=Songyang|last4=Hua|first4=Yuan|last5=Shen|first5=Wei|last6=Wang|first6=Binghai|last7=Liu|first7=Yan|last8=Jin|first8=Senjie|last9=Liu|first9=Qin|last10=Zhou|first10=Yuhao|last11=Xiong|first11=Limao|last12=Chen|first12=Lu|last13=Xi|first13=Zhiheng|last14=Xu|first14=Nuo|last15=Lai|first15=Wenbin|last16=Zhu|first16=Minghao|last17=Chang|first17=Cheng|last18=Yin|first18=Zhangyue|last19=Weng|first19=Rongxiang|last20=Cheng|first20=Wensen|last21=Huang|first21=Haoran|last22=Sun|first22=Tianxiang|last23=Yan|first23=Hang|last24=Gui|first24=Tao|last25=Zhang|first25=Qi|last26=Qiu|first26=Xipeng|last27=Huang|first27=Xuanjing|title=Secrets of RLHF in Large Language Models Part I: PPO|date=2023|class=cs.CL|eprint=2307.04964}}</ref>

علی‌رغم مزایای واضح ادغام بازخورد انسانی در آموزش مدل‌ها، تلاش‌های اولیه با چالش‌های مهمی مواجه شدند. مشکل [[یادگیری تقویتی]] در بیشتر تلاش‌ها اول آن بود که محدود بودند و تعمیم آنها دشوار بود، و در انجام وظایف پیچیده‌تر به شکست منجر می‌شدند،<ref>{{Cite journal|last=|first=|last2=|first2=|last3=|first3=|date=|title=Training a Robot via Human Feedback: A Case Study|url=https://link.springer.com/chapter/10.1007/978-3-319-02675-6_46|journal=Social Robotics|series=Lecture Notes in Computer Science|language=en|publisher=Springer International Publishing|volume=8239|pages=460–470|doi=10.1007/978-3-319-02675-6_46|isbn=978-3-319-02674-9|access-date=}}</ref><ref>{{یادکرد وب|کد زبان=en|تاریخ=2012-08-05|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/1208.0984|عنوان=APRIL: Active Preference-learning based Reinforcement Learning}}</ref><ref>{{Cite journal|last=|first=|last2=|first2=|last3=|first3=|date=|title=A Bayesian Approach for Policy Learning from Trajectory Preference Queries|url=https://papers.nips.cc/paper_files/paper/2012/hash/16c222aa19898e5058938167c8ab6c57-Abstract.html|journal=Advances in Neural Information Processing Systems|language=en|publisher=Curran Associates, Inc.|volume=25|access-date=}}</ref><ref>{{Cite journal|last=|first=|last2=|first2=|last3=|first3=|last4=|first4=|date=2014-06-18|title=Programming by Feedback|url=https://proceedings.mlr.press/v32/schoenauer14.html|journal=Proceedings of the 31st International Conference on Machine Learning|language=en|publisher=PMLR|pages=1503–1511|access-date=}}</ref> و دوم این که در استفاده از توابع پاداش پراکنده (که فاقد اطلاعات خاص و ارتباط لازم با مقادیر زیادی از متن در یک زمان بودن) یا توابع پاداش با نویز بالا ( که به طور متناقض به خروجی‌های مشابه پاداش یکسان می‌دادند) با مشکلاتی مواجه بودند.<ref>{{یادکرد وب|کد زبان=en|تاریخ=2017-09-28|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/1709.10163|عنوان=Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces}}</ref><ref>{{یادکرد وب|کد زبان=en|تاریخ=2019-01-21|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/1701.06049|عنوان=Interactive Learning from Policy-Dependent Human Feedback}}</ref>

RLHF اولین روش موفق استفاده از بازخورد انسانی برای یادگیری تقویتی نبود، اما یکی از پرکاربردترین روش هاست. پایه و اساس RLHF در تلاش به منظور ایجاد یک الگوریتم عمومی برای یادگیری با استفاده از بازخورد انسانی معرفی شد.<ref name="huggingface2" /><ref name="openai2" /> الگوریتمی که امروزه استفاده می‌شود توسط [[اوپن‌ای‌آی]] در مقاله‌ای پیرامون بهبود جریان پیشنهاد متن، یا خلاصه‌سازی بر اساس بازخورد انسانی معرفی شد. و همزمان که در مقاله دیگری در رابطه با [[جی‌پی‌تی ۳]] (سلف [[چت‌جی‌پی‌تی]]) مورد استفاده قرار گرفت محبوبیت عمومی پیدا کرد.<ref name=":1" /><ref name="summarizationpaper2">{{cite journal|author=Nisan Stiennon|author2=Long Ouyang|author3=Jeffrey Wu|author4=Daniel Ziegler|author5=Ryan Lowe|author6=Chelsea Voss|author7=Alec Radford|author8=Dario Amodei|author9=Paul F. Christiano|date=2020|title=Learning to summarize with human feedback|url=https://proceedings.neurips.cc/paper/2020/hash/1f89885d556929e98d3ef9b86448f951-Abstract.html|journal=Advances in Neural Information Processing Systems|language=en|volume=33}}</ref><ref name="instructgptpaper">{{cite conference|last1=Ouyang|first1=Long|last2=Wu|first2=Jeffrey|last3=Jiang|first3=Xu|last4=Almeida|first4=Diogo|last5=Wainwright|first5=Carroll|last6=Mishkin|first6=Pamela|last7=Zhang|first7=Chong|last8=Agarwal|first8=Sandhini|last9=Slama|first9=Katarina|last10=Gray|first10=Alex|last11=Schulman|first11=John|last12=Hilton|first12=Jacob|last13=Kelton|first13=Fraser|last14=Miller|first14=Luke|last15=Simens|first15=Maddie|last16=Askell|first16=Amanda|last17=Welinder|first17=Peter|last18=Christiano|first18=Paul|last19=Leike|first19=Jan|last20=Lowe|first20=Ryan|title=Training language models to follow instructions with human feedback|conference=Thirty-Sixth Conference on Neural Information Processing Systems: NeurIPS 2022|date=31 October 2022|arxiv=2203.02155|url=https://openreview.net/forum?id=TG8KACxEON|language=en}}</ref> به‌علاوه، نشان داده شده است که RLHF [[بهینه‌سازی استوار|استواری]] عامل‌های RL و ظرفیت آنها برای [[یادگیری تقویتی|اکتشاف]] را بهبود می‌بخشد، که منجر به یک فرآیند بهینه‌سازی کاراتر در مدیریت [[عدم قطعیت]] و کاوش موثرتر محیط خود جهت به‌دست آوردن بالاترین پاداش می‌شود.<ref>{{cite arXiv|last1=Bai|first1=Yuntao|last2=Jones|first2=Andy|last3=Ndousse|first3=Kamal|last4=Askell|first4=Amanda|last5=Chen|first5=Anna|last6=DasSarma|first6=Nova|last7=Drain|first7=Dawn|last8=Fort|first8=Stanislav|last9=Ganguli|first9=Deep|last10=Henighan|first10=Tom|last11=Joseph|first11=Nicholas|last12=Kadavath|first12=Saurav|last13=Kernion|first13=Jackson|last14=Conerly|first14=Tom|last15=El-Showk|first15=Sheer|last16=Elhage|first16=Nelson|last17=Hatfield-Dodds|first17=Zac|last18=Hernandez|first18=Danny|last19=Hume|first19=Tristan|last20=Johnston|first20=Scott|last21=Kravec|first21=Shauna|last22=Lovitt|first22=Liane|last23=Nanda|first23=Neel|last24=Olsson|first24=Catherine|last25=Amodei|first25=Dario|last26=Brown|first26=Tom|last27=Clark|first27=Jack|last28=McCandlish|first28=Sam|last29=Olah|first29=Chris|last30=Mann|first30=Ben|last31=Kaplan|first31=Jared|title=Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback|date=2022|eprint=2204.05862|class=cs.CL}}</ref>

== جمع آوری بازخوردهای انسانی ==
بازخورد انسانی معمولاً با جمع‌آوری پاسخ انسان‌ها به درخواست رتبه‌بندی رفتارهای خروجی عامل انجام می‌شود. <ref name="instructgptpaper" /><ref name="ars">{{Cite web|last=|first=|title=OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results|url=https://arstechnica.com/information-technology/2022/12/openai-invites-everyone-to-test-new-ai-powered-chatbot-with-amusing-results/|website=|accessdate=|language=en-us|date=2022-12-01|publisher=Ars Technica}}</ref><ref>{{Cite web|last=|first=|title=Getting stakeholder engagement right in responsible AI|url=https://venturebeat.com/ai/getting-stakeholder-engagement-right-in-responsible-ai/|website=|accessdate=|date=2023-02-05|publisher=VentureBeat|language=en}}</ref> از این رتبه‌بندی‌ها برای امتیاز دادن به خروجی‌ها استفاده می‌شود. برای مثال، [[رده‌بندی الو|سیستم رده‌بندی الو]]، که الگوریتمی است برای محاسبه سطح مهارت نسبی بازیکنان در یک بازی است و به نتیجه همان بازی بستگی دارد. با وجودی که رتبه‌بندی خروجی‌ها رایج‌ترین شکل بازخورد است، تحقیقات اخیر انواع دیگری از بازخورد مانند بازخورد عددی، بازخورد زبان طبیعی، و درخواست برای ویرایش مستقیم خروجی مدل را بررسی کرده‌اند.<ref>{{یادکرد وب|کد زبان=en|تاریخ=2023-05-01|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/2305.00955|عنوان=Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation}}</ref>

یکی از انگیزه‌های اولیه استفاده از RLHF این بود که به مقادیر نسبتاً کمی از داده مقایسه‌ای برای مؤثر بودن نیاز دارد.<ref name="openai2" /> نشان داده شده که حجم کوچکی از داده‌ها می‌تواند منجر به نتایج قابل مقایسه با مقدار زیادی از داده شود. علاوه بر این، افزایش مقدار داده اثر کمتری  دارد نسبت به همان میزان افزایش در اندازه مدل پاداش.<ref name="summarizationpaper2" /> با این وجود در مواردی که گروه برچسب‌گذار [[نمونه‌گیری آماری|نماینده]] یکدستی از داده‌ها نباشد، حجم وسیع‌تر و متنوع‌تر داده‌ها می‌تواند برای اجتناب از سوگیری حیاتی باشد.<ref name="instructgptpaper" /> 

در هنگام بهره‌گیری از RLHF از طریق {{پم|مقایسه زوجی|Pairwise_comparison_(psychology)}} تحت [[مدل بردلی-تری|مدل بردلی-تری-لوس]] (یا مدل [[انتخاب گسسته|پلاکت-لوس]] برای مقایسه‌های K-wise بیش از دو مقایسه)، [[برآورد درست‌نمایی بیشینه]]{{یادچپ|Maximum Likelihood Estimator (MLE)}} توابع پاداش خطی، تنها زمانی [[سری همگرا|همگرا]] می‌شود که داده‌های مقایسه‌ای توسط یک {{پم|مدل خطی|Linear_model}} خوش‌تعریف، به خوبی تولید شوند. این بدان معناست که، تحت شرایط خاص، اگر یک مدل آموزش در انتخاب بین یک (یا گروهی از) جفت گزینه‌های پیش رو، تصمیمی را بگیرد که به ترجیح انسان‌ها نزدیک‌تر است، لزوماً در پیش‌بینی ترجیحات آینده بهبود می‌یابد. انتظار بهبود در پاسخ‌ها تا زمانی برقرار است که مقایسه‌هایی که مدل از آنها می‌آموزد مبتنی بر یک قانون منسجم و ساده (غیر پیچیده) باشد.<ref name="xiejiang">{{cite journal|last1=Xie|first1=Tengyang|last2=Jiang|first2=Nan|last3=Wang|first3=Huan|last4=Xiong|first4=Caiming|last5=Bai|first5=Yu|date=2021|title=Policy Finetuning: Bridging Sample-Efficient Offline and Online Reinforcement Learning|url=https://proceedings.neurips.cc/paper/2021/hash/e61eaa38aed621dd776d0e67cfeee366-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=34|pages=27395–27407|arxiv=2106.04895|access-date=10 March 2024}}</ref><ref name="pacchiano">{{Cite journal|last1=Pacchiano|first1=Aldo|last2=Saha|first2=Aadirupa|last3=Lee|first3=Jonathan|date=2023-03-03|title=Dueling RL: Reinforcement Learning with Trajectory Preferences|url=https://proceedings.mlr.press/v206/saha23a.html|journal=Proceedings of the 26th International Conference on Artificial Intelligence and Statistics|language=en|publisher=PMLR|pages=6263–6289|arxiv=2111.04850}}</ref>

تا اینجا با دو مدل جمع‌آوری داده آشنایی داریم. در روش جمع‌آوری داده غیربرخط، مدل در تعامل با یک مجموعه داده ایستا آموزش می‌بیند و به صورت دسته‌ای خط‌مشی خود را به‌روزرسانی می‌کند. در روش برخط، مدل به طور مستقیم با محیط پویا در تعامل است و خط‌مشی خود را بلافاصله به‌روزرسانی می‌کند. هر دو روش از نظر ریاضی مورد مطالعه قرار گرفت و به این نتیجه منتهی شد که اجرای RLHF تحت مدل‌های بازخوردی مختلف مرزهای پیچیدگی یکسانی دارد.<ref name="xiejiang" /><ref name="zhujordan">{{Cite journal|last1=Zhu|first1=Banghua|last2=Jordan|first2=Michael|last3=Jiao|first3=Jiantao|date=2023-07-03|title=Principled Reinforcement Learning with Human Feedback from Pairwise or K-wise Comparisons|url=https://proceedings.mlr.press/v202/zhu23f.html|journal=Proceedings of the 40th International Conference on Machine Learning|language=en|publisher=PMLR|pages=43037–43067|arxiv=2301.11270}}</ref>

در مرحله آموزش خط‌مشی با استفاده از روش جمع‌آوری داده غیربرخط، استفاده از یک MLE بدبینانه دارای یک [[بازه اطمینان|کران اطمینان]] پایین به عنوان تخمین پاداش، مؤثرتر خواهد بود. علاوه بر این، در صورت امکان، نشان داده شده است که استفاده مستقیم از مقایسه‌های K-wise [[کارآیی (آمار)|به طور مجانبی]] کارآمدتر از تبدیل آنها به مقایسه‌های زوجی برای اهداف پیش‌بینی است.<ref name="instructgptpaper" /><ref name="zhujordan" /><ref>{{cite journal|last1=Li|first1=Zihao|last2=Yang|first2=Zhuoran|last3=Wang|first3=Mengdi|date=20 June 2023|title=Reinforcement learning with Human Feedback: Learning Dynamic Choices via Pessimism|url=https://openreview.net/forum?id=gxM2AUFMsK&referrer=%5Bthe%20profile%20of%20Zhuoran%20Yang%5D(%2Fprofile%3Fid%3D~Zhuoran_Yang1)|journal=ILHF Workshop ICML 2023|language=en|arxiv=2305.18438|access-date=10 March 2024}}</ref> 

در روش برخط، که بازخورد انسانی از طریق مقایسه‌های زوجی تحت مدل بردلی-تری-لوس جمع‌آوری می‌شود و هدف ما به حداقل رساندن پشیمانی الگوریتم (تفاوت عملکرد در مقایسه با عامل بهینه) است، نشان داده شده که، استفاده از یک MLE خوش بینانه با یک [[بازه اطمینان|کران اطمینان]] بالا به عنوان تخمین پاداش، می‌تواند به طراحی الگوریتم‌های کارآمد منتهی شود. به این معنی که به داده‌های آموزشی نسبتا کمی نیاز داریم. یک چالش کلیدی در RLHF هنگام یادگیری از طریق مقایسه‌های زوجی (یا دوئل)، مشکل ماهیت [[خاصیت مارکوف|غیر مارکوفی]] خط‌مشی بهینه‌سازی است. برخلاف سناریوهای ساده‌تر که در آن استراتژی بهینه نیاز به خاطر سپردن [[خاصیت بی‌حافظگی|اقدامات گذشته]] ندارد، در RLHF، غالباً بهترین روش عملیاتی به رویدادها و تصمیم‌های قبلی بستگی دارد و استراتژی را وابسته به حافظه می‌کند.<ref name="pacchiano" />

== کاربرد ==
RLHF در حوزه‌های مختلف [[پردازش زبان‌های طبیعی|پردازش زبان طبیعی]] (NLP)، مانند عامل‌های مکالمه‌کننده، خلاصه‌سازی متن و درک زبان طبیعی به کار گرفته شده است.<ref name="summarizationpaper2" /><ref>{{cite arXiv|last1=Ouyang|first1=Long|last2=Wu|first2=Jeff|last3=Jiang|first3=Xu|last4=Almeida|first4=Diogo|last5=Wainwright|first5=Carroll L.|last6=Mishkin|first6=Pamela|last7=Zhang|first7=Chong|last8=Agarwal|first8=Sandhini|last9=Slama|first9=Katarina|last10=Ray|first10=Alex|last11=Schulman|first11=John|last12=Hilton|first12=Jacob|last13=Kelton|first13=Fraser|last14=Miller|first14=Luke|last15=Simens|first15=Maddie|last16=Askell|first16=Amanda|last17=Welinder|first17=Peter|last18=Christiano|first18=Paul|last19=Leike|first19=Jan|last20=Lowe|first20=Ryan|title=Training language models to follow instructions with human feedback|date=2022|class=cs.CL|eprint=2203.02155}}</ref> در [[یادگیری تقویتی]] مرسوم عامل‌ها از اقدامات خود بر اساس یک "عملکرد پاداش" از پیش تعریف شده یاد می‌گیرند. استفاده از چنین روشی برای کاربردهای NLP دشوار خواهد بود از این جهت که تعریف یا اندازه‌گیری پاداش‌ها دشوار است. به ویژه زمانی که با وظایف پیچیده‌ای سروکار داریم که در بر گیرنده اولویت‌ها، ترجیحات و ارزش‌های انسانی است. RLHF می‌تواند به‌وسیلهٔ دریافت کردن پیشاپیش ترجیحات و اعمال آن در مدل پاداش، مدل‌های NLP (به‌ویژه [[مدل زبانی|مدل‌های زبانی]]) را طوری هدایت کند که پاسخ‌هایی منطبق بر ترجیحات انسان ارائه کند. این روش به مدلی منتهی می‌شود که قادر به ایجاد پاسخ‌های مرتبط‌تر و حذف پرس‌و‌جوهای نامناسب یا نامربوط است.<ref>{{یادکرد وب|عنوان=Can AI really be protected from text-based attacks?|نشانی=https://techcrunch.com/2023/02/24/can-language-models-really-be-protected-from-text-based-attacks/|وبگاه=TechCrunch|تاریخ=2023-02-24|بازبینی=|کد زبان=en-US|نام=|نام خانوادگی=}}</ref> برخی از نمونه‌های قابل‌توجه از مدل‌های زبان آموزش‌دیده با RLHF عبارتند از [[چت‌جی‌پی‌تی]] (و [[جی‌پی‌تی ۳|InstructGPT]] سلف آن) از شرکت [[اوپن‌ای‌آی]]،<ref>{{یادکرد وب|عنوان=OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results|نشانی=https://arstechnica.com/information-technology/2022/12/openai-invites-everyone-to-test-new-ai-powered-chatbot-with-amusing-results/|وبگاه=Ars Technica|تاریخ=2022-12-01|بازبینی=|کد زبان=en-us|نام=|نام خانوادگی=}}</ref><ref>{{یادکرد وب|عنوان=How OpenAI is trying to make ChatGPT safer and less biased|نشانی=https://www.technologyreview.com/2023/02/21/1068893/how-openai-is-trying-to-make-chatgpt-safer-and-less-biased/|وبگاه=MIT Technology Review|بازبینی=|کد زبان=en}}</ref><ref>{{یادکرد وب|عنوان=ChatGPT is OpenAI’s latest fix for GPT-3. It’s slick but still spews nonsense|نشانی=https://www.technologyreview.com/2022/11/30/1063878/openai-still-fixing-gpt3-ai-large-language-model/|وبگاه=MIT Technology Review|بازبینی=|کد زبان=en|تاریخ=2022-11-30}}</ref> اسپارو{{یادچپ|Sparrow}} (گنجشک) از شرکت [[دیپ‌مایند]]،<ref>{{یادکرد وب|عنوان=Why DeepMind isn’t deploying its new AI chatbot — and what it means for responsible AI|نشانی=https://venturebeat.com/ai/why-deepmind-isnt-deploying-its-new-ai-chatbot/|وبگاه=VentureBeat|تاریخ=2022-09-23|بازبینی=|کد زبان=en-US|نام=|نام خانوادگی=}}</ref><ref>{{یادکرد وب|عنوان=Building safer dialogue agents|نشانی=https://deepmind.google/discover/blog/building-safer-dialogue-agents/|وبگاه=Google DeepMind|تاریخ=2022-09-22|بازبینی=|کد زبان=en}}</ref> [[جمینای (مدل زبانی)|جمینای]] شرکت [[گوگل]]،<ref>{{یادکرد وب|عنوان=Introducing Gemini: our largest and most capable AI model|نشانی=https://blog.google/technology/ai/google-gemini-ai/|وبگاه=Google|تاریخ=2023-12-06|بازبینی=|کد زبان=en-us}}</ref> و کلود از شرکت [[آنتروپیک]] هستند.<ref>{{یادکرد وب|عنوان=What to Know About Claude 2, Anthropic's Rival to ChatGPT|نشانی=https://time.com/6295523/claude-2-anthropic-chatgpt/|وبگاه=TIME|تاریخ=2023-07-18|بازبینی=|کد زبان=en}}</ref>

در بینایی کامپیوتر، RLHF برای همسو کردن [[مدل متن به تصویر|مدل‌های متن به تصویر]] نیز استفاده شده است. مطالعاتی که با موفقیت از RLHF برای این هدف استفاده کردند، اشاره کرده‌اند که استفاده از [[واگرایی کولبک-لیبلر|منظم‌سازی KL]] در RLHF، که با هدف جلوگیری از دور شدن بیش از حد خط‌مشی آموخته‌شده از مدل ناهمسو بکارگرفته شد، منجر به کاهش [[بیش‌برازش]] در طول آموزش مدل پاداش شد و به پایداری کل پروسه کمک کرد. خروجی‌های تصویر نهایی مدل‌های آموزش‌دیده با تنظیم KL به طور قابل توجهی کیفیت بالاتری از مدل‌های بدون آن بودند.<ref>{{Cite journal|last=|first=|last2=|first2=|last3=|first3=|last4=|first4=|last5=|first5=|last6=|first6=|last7=|first7=|last8=|first8=|last9=|first9=|date=2023-11-02|title=DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models|url=https://openreview.net/forum?id=8OTPepXzeh&referrer=%5Bthe%20profile%20of%20Moonkyung%20Ryu%5D(/profile?id=~Moonkyung_Ryu1)|journal=|language=en}}</ref><ref>{{یادکرد وب|کد زبان=en|تاریخ=2023-12-28|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/2304.05977|عنوان=ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation}}</ref> روش‌های دیگر سعی کردند بازخورد را از طریق آموزش مستقیم‌تر - بر اساس به حداکثر رساندن پاداش بدون استفاده از یادگیری تقویتی - ترکیب کنند، اما پذیرفتند که رویکرد مبتنی بر RLHF عملکرد بهتری خواهد داشت. به‌علاوه، RLHF امکان تولید نمونه برخط را در طول به‌روزرسانی‌ها به محققان می‌داد. همین ویژگی باعث دور نگه داشته شدن [[بیش‌برازش]] تابع پاداش می‌شد. 

RLHF در ابتدا در زمینه‌های دیگر مانند توسعه ربات‌های بازی‌های ویدئویی و وظایف رباتیک شبیه‌سازی شده استفاده شد. به عنوان مثال، اوپن‌ای‌آی و دیپ‌مایند عامل‌هایی را برای انجام بازی‌های [[آتاری]] بر اساس ترجیحات انسانی آموزش دادند. در آموزش کلاسیک چنین ربات‌هایی مبتنی بر روش RL، تابع پاداش به عملکرد عامل در بازی مرتبط می‌شد، که معمولاً از معیارهایی مانند امتیاز درون بازی استفاده می‌کردند. ولی در RLHF، یک انسان به طور مداوم با دو کلیپ متفاوت از رفتار عامل در بازی مواجه می‌شود و باید تصمیم بگیرد که کدام یک بهتر ''به نظر می‌رسد''. این رویکرد می‌تواند به عامل‌ها بیاموزد که در سطح بالاتر و بدون دسترسی به امتیاز خود عمل کنند. در واقع، نشان داده شد که گاهی RLHF می‌تواند به عملکرد برتر نسبت به RL با معیارهای امتیاز منجر شود. زیرا ترجیحات انسان می‌تواند حاوی اطلاعات مفیدتری نسبت به معیارهای مبتنی بر عملکرد باشد.<ref name="openai">{{Cite web|title=Learning from human preferences|date=2017-06-13|last=|first=|last2=|first2=|last3=|first3=|url=https://openai.com/research/learning-from-human-preferences|website=|accessdate=|publisher=Openai|language=en}}</ref><ref>{{یادکرد وب|عنوان=Learning through human feedback|نشانی=https://deepmind.google/discover/blog/learning-through-human-feedback/|وبگاه=Google DeepMind|تاریخ=2017-06-12|بازبینی=|کد زبان=en}}</ref> این عامل‌های آموزش دیده با RLHF در بسیاری از محیط‌های آزمایش‌شده به عملکرد قوی دست یافتند که اغلب از عملکرد انسان پیشی می‌گرفتند.<ref>{{Cite journal|last=|first=|last2=|first2=|last3=|first3=|last4=|first4=|last5=|first5=|last6=|first6=|date=2017|title=Deep Reinforcement Learning from Human Preferences|url=https://papers.nips.cc/paper/2017/hash/d5e2c0adad503c91f91df240d0cd4e49-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=30}}</ref>

== آموزش ==
در RLHF، دو مدل به طور مستقل آموزش داده می‌شوند: یک مدل پاداش و یک مدل خط‌مشی از طریق [[یادگیری تقویتی]] {{اختصاری|RL}}. مدل پاداش، بر اساس بازخورد انسانی یاد می‌گیرد که تعیین کند چه رفتاری مطلوب است. مدل پاداش در همین حین، خط‌مشی را به گونه‌ای هدایت می‌کند که اقدامات عامل را تعیین کند. هر دو مدل معمولاً با استفاده از یک [[مدل زبانی]] [[مدل خودهمبسته|خودهمبسته]] پیش‌آموزش‌دیده مقداردهی اولیه می‌شوند. سپس این مدل به شیوه‌ای [[یادگیری نظارت‌شده|نظارت‌شده]] بر روی مجموعه داده‌های نسبتاً کوچکی از جفت پرسش و پاسخ‌هایی که توسط برچسب‌گذار‌‌های انسانی نوشته شده، آموزش داده می‌شود. یک مزیت برای مدل پاداش این است که با یک مدل از پیش آموزش‌دیده شروع به کار می‌کند، زیرا این مدل با درک زبان انسان ترجیحات انسانی به سرعت دریافت کرده ودر نتیجه روند آموزش را تسریع می‌کند.<ref name="summarizationpaper">{{Cite journal|last=Nisan Stiennon|last2=Long Ouyang|last3=Jeffrey Wu|last4=Daniel Ziegler|last5=Ryan Lowe|last6=Chelsea Voss|last7=Alec Radford|last8=Dario Amodei|last9=Paul F. Christiano|date=2020|title=Learning to summarize with human feedback|url=https://proceedings.neurips.cc/paper/2020/hash/1f89885d556929e98d3ef9b86448f951-Abstract.html|journal=Advances in Neural Information Processing Systems|language=en|volume=33}}</ref>

سپس مدل پاداش با جایگزینی لایه انتهایی مدل قبلی، با یک سر [[تحلیل رگرسیون|رگرسیون]] با داده تصادفی، آموزش داده می‌شود.با این کار، مدل را از وظیفه اولیه [[دسته‌بندی آماری|دسته‌بندی]] خود بر روی دانشنامه‌اش، تغییر میدهیم به طوری که خروجی آن یک عدد است که مطابق با امتیاز هر پرسش و پاسخ معین تغییر می‌دهد. این مدل بر روی داده‌های مقایسه‌ای ترجیحات انسانی، که قبلاً از مدل نظارت‌شده جمع‌آوری شده بود آموزش داده می‌شود. در این مقاله، مدل برای [[بهینه‌سازی|به حداقل رساندن]] تابع تلفات [[آنتروپی متقاطع]] زیر آموزش داده شده است، که آن را تشویق می‌کند تا پیش‌بینی‌هایی نزدیک‌تر به رتبه‌بندی‌های واقعی انسان انجام دهد:

<math>\mathcal{L}(\theta)=-\frac{1}{K\choose 2}E_{(x,y_w,y_l)}[\log(\sigma(r_\theta(x,y_w)-r_\theta(x,y_l)))]</math>

که <math>K</math> تعداد پاسخ‌هایی است که برچسب‌گذاران رتبه‌بندی کرده‌اند، <math>r_\theta(x,y)</math> خروجی مدل پاداش برای پرسش <math>x</math> و تکمیل پرسش <math>y</math> است، <math>y_w</math> تکمیل پرسش ترجیح داده شده از مجموعه <math>y_l</math> است، <math>\sigma(x)</math> نشان دهنده [[تابع سیگموئید]] و <math>E[X]</math> نشان دهنده [[امید ریاضی|مقدار مورد انتظار]] است. این تابع تلفات اساساً تفاوت بین پیش‌بینی‌های مدل پاداش و تصمیم‌های گرفته شده توسط انسان را اندازه‌گیری می‌کند. هدف این است که حدس‌های مدل را تا حد امکان به ترجیحات انسان‌ها نزدیک کنیم و اختلاف اندازه‌گیری شده توسط این معادله را به حداقل برسانیم. در حالت‌های مقایسه‌ای فقط زوجی، عامل <math>1/{\tbinom K2}</math> حذف می‌شود.<ref name="summarizationpaper">{{Cite journal|last=Nisan Stiennon|last2=Long Ouyang|last3=Jeffrey Wu|last4=Daniel Ziegler|last5=Ryan Lowe|last6=Chelsea Voss|last7=Alec Radford|last8=Dario Amodei|last9=Paul F. Christiano|date=2020|title=Learning to summarize with human feedback|url=https://proceedings.neurips.cc/paper/2020/hash/1f89885d556929e98d3ef9b86448f951-Abstract.html|journal=Advances in Neural Information Processing Systems|language=en|volume=33}}</ref> در باقی موارد، همه مقایسه‌های <math>{\tbinom K2}</math> مربوط به یک پرسش، برای آموزش، تحت یک [[یادگیری ماشین برخط|دسته]] واحد استفاده می‌شود. پس از آموزش، خروجی‌های مدل نرمال می‌شوند.<ref name="summarizationpaper" />

بسیار شبیه به مدل پاداش، خط‌مشی بازخورد انسانی نیز بر روی یک مدل از پیش آموزش دیده [[تنظیم دقیق (یادگیری ماشین)|تنظیم دقیق]] شده است. هدف از مرحله تنظیم دقیق، انطباق مدل موجود و غیرهمسو (که در ابتدا به روش نظارت‌شده آموزش دیده) با هدف همسویی بهتر با ترجیحات انسان است. که این امر با تنظیم پارامترهای آن بر اساس پاداش‌های حاصل از بازخورد انسان انجام می‌پذیرد. با استفاده از RL بر روی جفت‌های پرسش و پاسخ، خروجی مدل پاداش را می‌توان پاداشی در نظر گرفت که باید به حداکثر برسد.<ref name="summarizationpaper">{{Cite journal|last=Nisan Stiennon|last2=Long Ouyang|last3=Jeffrey Wu|last4=Daniel Ziegler|last5=Ryan Lowe|last6=Chelsea Voss|last7=Alec Radford|last8=Dario Amodei|last9=Paul F. Christiano|date=2020|title=Learning to summarize with human feedback|url=https://proceedings.neurips.cc/paper/2020/hash/1f89885d556929e98d3ef9b86448f951-Abstract.html|journal=Advances in Neural Information Processing Systems|language=en|volume=33}}</ref> محیط، خط‌مشی را با اعلان‌های تصادفی از مجموعه داده مواجه می‌کند و انتظار پاسخ به آن‌ها دارد. با این کار سناریوهای دنیای واقعی را شبیه‌سازی می‌کند که در آن عامل باید اعلان‌های متنوع را درک کند و پاسخ‌های مناسب ایجاد کند. با نمایش خط‌مشی RL آموخته شده با پارامترها <math>\phi</math> مانند <math>\pi_\phi^\text{RL}</math> ، می‌توانیم تابع هدف زیر را تعریف کنیم:

<math>\text{objective}(\phi)=E_{(x,y)\sim D_{\pi_\phi^\text{RL}}}\left[r_\theta(x,y)-\beta\log\left(\frac{\pi^\text{RL}_\phi(y|x)}{\pi^\text{SFT}(y|x)}\right)\right]</math>

که <math>D_{\pi_\phi^\text{RL}}</math> [[توزیع احتمال|توزیع]] آموزشی است که ما نمونه‌ها را از آن می‌گیریم و <math>\pi^\text{SFT}</math> مدل قبلی آموزش‌دیده و ناهمسو است. ثابت <math>\beta</math> برای تنظیم شدت مجازات KL استفاده می‌شود. این جریمه برای هر کدام از [[تحلیل واژگانی|نشانه‌ها]]، بین خروجی‌های خط‌مشی و خروجی‌های مدل ناهمسو اعمال می‌شود. هدف آن اجتناب از تنظیم بیش از حد خط‌مشی است، و تضمین می‌کند که فرآیند آموزش، مدل را بر روی داده‌های آموزشی جدید [[بیش‌برازش|بیش از حد متخصص]] نمی‌کند.<ref name="summarizationpaper">{{Cite journal|last=Nisan Stiennon|last2=Long Ouyang|last3=Jeffrey Wu|last4=Daniel Ziegler|last5=Ryan Lowe|last6=Chelsea Voss|last7=Alec Radford|last8=Dario Amodei|last9=Paul F. Christiano|date=2020|title=Learning to summarize with human feedback|url=https://proceedings.neurips.cc/paper/2020/hash/1f89885d556929e98d3ef9b86448f951-Abstract.html|journal=Advances in Neural Information Processing Systems|language=en|volume=33}}</ref> بخش KL با جریمه کردن [[واگرایی کولبک-لیبلر|واگرایی KL]] (اندازه‌گیری فاصله آماری بین توزیع‌ها) بین مدل تنظیم دقیق شده و مدل نظارت‌شده اولیه کار می‌کند. با انتخاب <math>\beta</math> مناسب، آموزش می‌تواند یادگیری از داده‌های جدید را متعادل کند و در عین حال اطلاعات مفید مدل اولیه را حفظ کند و با اجتناب از [[بیش‌برازش]]، با داده‌های جدید تعمیم یابد. جدای از جلوگیری از تولید خروجی‌های بسیار متفاوت در مدل جدید در مقایسه با خروجی‌های مدل اولیه، انگیزه دوم از گنجاندن اصطلاح KL این است که به خطی مشی اجازه می‌دهد با ایجاد آنتروپی{{یادچپ|Statistical entropy}} مدل را تشویق می‌کند، محیط بزرگتری را مورد بررسی قرار دهد، که می‌تواند از فروریزش مدل بر روی یک واحد [[مد (آمار)|مد (حالت)]] جلوگیری کند.<ref name="summarizationpaper" />

به عبارت ساده‌تر، تابع هدف، میزان بهبود همسویی پاسخ‌های خط‌مشی را با بازخورد انسانی محاسبه می‌کند. خط‌مشی به هر درخواست یک پاسخ تولید می‌کند و هر پاسخ نیز بر اساس میزان مطابقت با دو معیار دیگر، اول ترجیحات انسانی (که توسط مدل پاداش اندازه‌گیری می‌شود) و دوم شباهت به پاسخ‌هایی است که مدل به طور طبیعی ایجاد می‌کند، ارزیابی می‌شود. هدف، ایجاد تعادل بین بهبود همسویی با ترجیحات انسانی است، در حالی که اطمینان حاصل می‌شود که پاسخ‌های مدل متنوع باقی می‌مانند و از آنچه در طول آموزش اولیه آموخته است فاصله زیادی نمی‌گیرد. این به مدل کمک می‌کند تا نه تنها پاسخ‌هایی تولید کند که که افراد مفید یا قابل قبول می‌دانند، بلکه درک گسترده‌ای را حفظ کند و از پاسخ‌های بیش از حد محدود یا تکراری اجتناب کند.

معمولاً یک بخش دوم به تابع هدف اضافه می‌شود که به خط‌مشی اجازه می‌دهد تا گرادیان‌های پیش‌آموزش را در خود جای دهد. این بخش باعث می‌شود که مدل توانایی درک زبان اولیه خود را از دست ندهد، در حالی که وظیفه اصلی خود (تکمیل متن) را انجام می‌دهد، با گنجاندن پیش‌آموزش و بر اساس بازخورد انسانی، وظایف جدید را نیز بیاموزد. تابع هدف نهایی به صورت زیر نوشته می‌شود:

<math>\text{objective}(\phi)=E_{(x,y)\sim D_{\pi_\phi^\text{RL}}}\left[r_\theta(x,y)-\beta\log\left(\frac{\pi^\text{RL}_\phi(y|x)}{\pi^\text{SFT}(y|x)}\right)\right]+\gamma E_{x\sim D_\text{pretrain}}[\log(\pi_\phi^\text{RL}(x))]</math>

که <math>\gamma</math> میزان اثرگذاری بخش دوم را کنترل می‌کند و <math>D_\text{pretrain}</math> توزیع متن اصلی قبل از آموزش است. در ادامه این تابع هدف می‌تواند مستقیماً برای آموزش خط‌مشی با استفاده از الگوریتم بهینه‌سازی خط‌مشی پروگزیمال استفاده شود.<ref name="summarizationpaper" />

در مجموع، این تابع هدف، با ترکیب هدف همسویی با استفاده از بازخورد انسانی، و همچنین حفظ درک زبان اصلی مدل، روشی را برای تنظیم خط‌مشی RL، تعریف می‌کند.

== محدودیت‌ها ==
RLHF در بخش‌های جمع‌آوری بازخورد انسانی، یادگیری مدل پاداش و بهینه‌سازی خط‌مشی با چالش‌های جدی روبرو.<ref>{{Cite journal|last=|first=|last2=|first2=|last3=|first3=|last4=|first4=|last5=|first5=|last6=|first6=|last7=|first7=|last8=|first8=|last9=|first9=|date=2023-09-18|title=Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback|url=https://openreview.net/forum?id=bx24KpJ4Eb|journal=Transactions on Machine Learning Research|language=en|issn=2835-8856}}</ref> از نظر جمع‌آوری داده‌ها، مقیاس‌پذیری و هزینه بازخورد انسانی در مقایسه با یادگیری بدون نظارت می‌تواند زمان‌بر و گران باشد. کیفیت و انسجام آن نیز ممکن است بسته به وظیفه، رابط، و ترجیحات و سوگیری‌های افراد مختلف متفاوت باشد.<ref>{{Cite journal|last=|date=2023-01-25|title=Thoughts on the impact of RLHF research|url=https://www.alignmentforum.org/posts/vwu4kegAEZTBtpT6p/thoughts-on-the-impact-of-rlhf-research|journal=|language=en|publisher=alignmentforum.org}}</ref>

اثربخشی RLHF به کیفیت بازخورد انسان بستگی دارد. به عنوان مثال، اگر بازخورد فاقد بی‌طرفی، ناسازگار یا نادرست باشد، ممکن است {{پم|سوگیرانه|Algorithmic_bias}} شود و گروه‌های خاصی را بر گروه‌های دیگر ترجیح دهد.<ref name="huggingface">{{Cite web|last=|first=|last2=|first2=|last3=|first3=|last4=|first4=|title=Illustrating Reinforcement Learning from Human Feedback (RLHF)|url=https://huggingface.co/blog/rlhf|website=huggingface.co|accessdate=|date=2022-12-09|language=en}}</ref> در جایی که مدل به جای یادگیری {{پم|تعمیم‌یافته|Generalization_(learning)}} نمونه‌های بازخورد خاصی را حفظ می‌کند، خطر [[بیش‌برازش]] وجود دارد. برای مثال، بازخورد به‌دست آمده از یک جمعیت خاص ممکن است مدل را به یادگیری ویژگی‌ها یا نویز، همراه با همسویی متفق با آن گروه سوق دهد. همسویی بیش از حد، با بازخورد خاصی که دریافت می‌کند (یعنی سوگیری در آن) می‌تواند منجر به عملکرد ضعیف مدل در زمینه‌های جدید یا زمانی که توسط گروه‌های مختلف استفاده می‌شود، شود. یک تابع پاداش واحد نمی‌تواند همیشه نظرات گروه‌های مختلف مردم را نشان دهد. حتی با وجود یک نمونه نماینده، دیدگاه‌ها و ترجیحات متضاد ممکن است منجر به این شود که مدل پاداش به نفع نظر اکثریت باشد و به طور بالقوه به گروه‌های دارای نمایندگی کمتر آسیب برساند.<ref>{{یادکرد وب|کد زبان=en|تاریخ=2023-07-27|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/2307.15217|عنوان=Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback}}</ref>

در برخی موارد، همانطور که در [[یادگیری تقویتی]] معمولی امکان‌پذیر است، ممکن است خطر یادگیری مدل برای دستکاری فرآیند بازخورد یا {{پم|بازی دادن سیستم|Gaming_the_system}} برای دستیابی به پاداش‌های بالاتر به جای بهبود واقعی عملکرد آن وجود داشته باشد.<ref>{{یادکرد وب|عنوان=Assimilating Human Feedback from Autonomous Vehicle Interaction in Reinforcement Learning Models|نشانی=http://dx.doi.org/10.21203/rs.3.rs-3405901/v1|وبگاه=dx.doi.org|تاریخ=2023-10-13|بازبینی=|نام=|نام خانوادگی=|نام۲=|نام خانوادگی۲=|کد زبان=en}}</ref> در مورد RLHF، یک مدل ممکن است یاد بگیرد که از این واقعیت استفاده کند که برای آنچه به طور مثبت ارزیابی می‌شود و نه لزوماً برای آنچه واقعا خوب است، پاداش می‌گیرد، که می‌تواند منجر به یادگیری برای دنباله‌روی و دست‌آموز شدن بشود. برای مثال، مدل‌ها ممکن است یاد بگیرند که اعتماد ظاهری، حتی اگر نادرست باشد، پاداش‌های بیشتری را به همراه دارد. چنین رفتاری، اگر کنترل نشود، نه تنها مشوق است، بلکه به دلیل پتانسیل مدل برای گمراه کردن، می‌تواند باعث ایجاد مشکلات قابل توجهی در اجرایی شدن بشود. مطالعات نشان داده‌اند که انسان‌ها در شناسایی اشتباهات در خروجی‌های LLM در کارهای پیچیده مهارت ندارند. بنابراین، مدل‌هایی که یاد می‌گیرند متنی با صدایی مطمئن و در عین حال نادرست تولید کنند، می‌توانند منجر به مشکلات مهمی در هنگام پیاده سازی شوند.<ref>{{یادکرد وب|کد زبان=en|تاریخ=2023-09-11|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/2307.15217|عنوان=Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback}}</ref>

== گزینه‌های جایگزین ==

=== بهینه سازی ترجیح مستقیم{{یادچپ|Direct Preference Optimization}} ===
در زمینه یادگیری ترجیحات انسانی، جایگزینی برای RLHF به نام بهینه سازی ترجیح مستقیم {{اختصاری|DPO}} پیشنهاد شده است. درست مشابه RLHF، با استفاده از داده‌های ترجیحی تولید شده توسط انسان با هدف [[مسئله کنترل هوش مصنوعی|همسو کردن]]، به [[مدل زبانی بزرگ]] از پیش آموزش‌دیده اعمال می‌شود. با این حال، برخلاف RLHF، که ابتدا یک مدل واسط جداگانه را آموزش می‌دهند تا بفهمد نتایج خوب چگونه باید به نظر برسند و سپس آموزش مدل اصلی برای دستیابی به آن نتایج، در روش پیشنهادی DPO، با تنظیم مستقیم مدل اصلی بر اساس ترجیحات افراد، فرآیند را ساده می‌کنند. این روش برای تعریف "[[تابع هزینه|هزینه]] ترجیح" به عنوان تابعی از خط‌مشی، مستقیماً [[تغییر متغیر|متغیرها را تغییر می‌دهد]]، و از این هزینه برای [[تنظیم دقیق (یادگیری ماشین)|تنظیم دقیق]] مدل استفاده می‌کند. این کار به مدل کمک می‌کند ترجیحات انسانی را بدون نیاز به مراحل جداگانه درک و اولویت‌بندی کند. اساساً، این رویکرد مستقیماً تصمیمات مدل را بر اساس بازخورد مثبت یا منفی انسان شکل می‌دهد.

DPO برای پیاده سازی و آموزش ساده‌تر از RLHF است و نشان داده شده است که نتایج قابل مقایسه و گاهی بهتر را ایجاد می‌کند.<ref>{{یادکرد وب|کد زبان=en|تاریخ=2023-05-29|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/2305.18290|عنوان=Direct Preference Optimization: Your Language Model is Secretly a Reward Model}}</ref> با این وجود، نشان داده شده است که RLHF در برخی از مجموعه داده‌ها، به عنوان مثال، در معیارهایی که سعی در اندازه‌گیری درستی دارند، DPO را پشت سر می‌گذارد. بنابراین، انتخاب روش ممکن است بسته به ویژگی‌های داده‌های ترجیحی انسان و ماهیت کار متفاوت باشد.<ref>{{یادکرد وب|تاریخ=2023-11-16|وبگاه=Arxiv|نشانی=https://arxiv.org/abs/2311.09528|عنوان=HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM|کد زبان=en}}</ref>

== مشاهدات بیشتر ==

* {{پم|انسان در حلقه|Human-in-the-loop}}
* {{پم|انتخاب بر اساس پاداش|Reward-based_selection}}

== یادداشت‌ها ==
{{notelist|3}}

== منابع ==
{{پانویس|چپ‌چین=بله}}

{{رایانش تشخیص‌پذیر}}
{{داده‌های کتابخانه‌ای}}

[[رده:هوش مصنوعی]]
[[رده:مدل‌سازی زبان]]
[[رده:یادگیری ماشین]]
[[رده:یادگیری تقویتی]]