نمایش مبدأ برای مدل زبانی بزرگ

{{Short description|نوعی شبکه عصبی مصنوعی}}
{{اشتباه نشود|ماشین یادگیری منطقی}}
{{یادگیری ماشین}}
'''مدل زبانی بزرگ''' <ref name=":1" group="پاورقی">Large Language Model</ref> {{اختصاری|LLM}} یا '''ال‌ال‌ام'''، سامانه‌های هوش مصنوعی هستند که برای درک، تولید و پاسخگویی به زبان انسان طراحی شده‌اند. آنها «بزرگ» نامیده می‌شوند زیرا حاوی '''میلیاردها پارامتر''' هستند که به آنها امکان می‌دهد الگوهای پیچیده در داده‌های زبان را پردازش کنند.

ال‌ال‌ام‌ها دسته‌ای از مدل‌های [[یادگیری ماشینی]] هستند که توانایی درک و تولید متنی شبیه انسان را دارند. این مدل‌ها این توانایی ها را با یادگیری روابط آماری از اسناد متنی در طی یک فرآیند آموزشی فشرده محاسباتی [[یادگیری خودنظارتی|خود نظارت]] و [[نظارت ضعیف|نیمه نظارت]] به دست می آورند.<ref name=":7">{{Cite web|date=2019-02-14|title=Better Language Models and Their Implications|url=https://openai.com/blog/better-language-models/|archiveurl=https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/|archivedate=2020-12-19|accessdate=2019-08-25|website=OpenAI}}</ref>  آنها بر روی مجموعه داده‌های گسترده‌ای آموزش دیده‌اند که اغلب از اینترنت جمع‌آوری می‌شوند، و می‌تواند شامل منابع متنی بسیار متنوعی مانند صفحات [[ویکی‌پدیا]]، کتاب‌ها، موضوعات رسانه‌های اجتماعی و مقالات خبری باشد.<ref>{{Cite web|url=https://builtin.com/articles/large-language-models-llm|title=large-language-models-llm|first=Ellen|last=Glover|date=Jan 9, 2024|website=Analytics India Magazine}}</ref> مدل‌های زبان بزرگ در حدود سال ۲۰۱۸ ظاهر شدند و در گستره وسیعی از وظایف، عملکرد بالایی دارند.<ref name="Manning-20222">{{cite journal|last=Manning|first=Christopher D.|year=2022|title=Human Language Understanding & Reasoning|url=https://www.amacad.org/publication/human-language-understanding-reasoning|journal=Daedalus|volume=151|issue=2|pages=127–138|doi=10.1162/daed_a_01905|s2cid=248377870}}</ref> در [[معماری داخلی]] این مدل‌ها از [[ترنسفورمر (یادگیری عمیق)|ترنسفورمر]] بهره برده شده است. ترنسفورمرها [[شبکه عصبی مصنوعی|شبکه های عصبی مصنوعی]] هستند که برای پردازش دنباله‌های طولانی توکن‌ها (نشانه‌ها) به سازوکارهای [[توجه (یادگیری ماشین)|توجه]] متکی هستند و معمولاً از ده‌ها میلیون و تا میلیاردها پارامتر آموزش‌دیده دارند. ترنسفورمرها می‌توانند وابستگی‌ها و روابط بین کلمات و جملات، و همچنین نحو، معناشناسی و زمینه زبان طبیعی را به تصویر بکشند<ref name="Merritt">{{Cite web|last=Merritt|first=Rick|date=2022-03-25|title=What Is a Transformer Model?|url=https://blogs.nvidia.com/blog/2022/03/25/what-is-a-transformer-model/|accessdate=2023-07-25|website=NVIDIA Blog|language=en-US}}</ref> لذا می‌توان به عنوان نوعی [[هوش مصنوعی مولد]]، از آنها برای تولید متن بهره برد.<ref name="Bowman">{{Cite arXiv|title=Eight Things to Know about Large Language Models}}</ref> در این صورت هوش مصنوعی مولد با گرفتن یک متن ورودی و پیش بینی مکرر نشانه یا کلمه بعدی متن شبه‌انسانی تولید می کند.

{{تا تاریخ|2024|03|lc=y}} بزرگترین و تواناترین آنها، با معماری مبتنی بر [[ترنسفورمر (یادگیری عمیق)|ترنسفورمرهای]] فقط رمزگشا ساخته شده‌اند. در عین حال، برخی دیگر از پیاده‌سازی‌ها بر اساس معماری‌هایی مانند انواع [[شبکه عصبی بازگشتی]] و {{پم|مامبا|Mamba_(deep_learning_architecture)|زبان=en}} (یک مدل {{پم|فضای حالت|Mamba_(deep_learning_architecture)|زبان=en}}) هستند.<ref name="Merritt"/><ref name="microsoft sparks2"/><ref>{{Citation|last=Gu|first=Albert|title=Mamba: Linear-Time Sequence Modeling with Selective State Spaces|date=2023-12-01|arxiv=2312.00752|last2=Dao|first2=Tri}}</ref>

برخی شرکت های پیشرو در ارائه LLM ها و محصولات آنها عبارتند از
{| class="wikitable"
|+
!شرکت
!مدل
!کد منبع
!برخی محصولات
|-
|[[اوپن‌ای‌آی]] 
|[[ترنسفورمر تولیدگر از پیش آموزش‌دیده|GPT]]
|بسته
|[[جی‌پی‌تی ۳]] ، [[جی‌پی‌تی ۴]] ، جی‌پی‌ای 01 ، جی‌پی‌تی 03
|-
|[[گوگل]]
|Gemma ، BERT
|باز
|[[جمینای (مدل زبانی)|Gemini]] , Bard
|-
|[[گوگل]]
|LaMDA , Palm
|بسته
|
|-
|[[ایکس‌ای‌آی (شرکت)|ایکس‌ای‌آی]]
|[[گراک (چت‌بات)|گروک]]
|بسته
|[[گراک (چت‌بات)|گروک]]
|-
|[[متا پلتفرمز|متا]]
|[[لاما (مدل زبانی)|LLaMA]] 
|باز
|meta.ai
|-
|[[آنتروپیک]]
|[[کلود (مدل زبان)|کلود]]
|بسته
|Claude 3.5 Sonnet
|-
|[[میسترال ای‌آی|Mistral AI]]
|Mixtral
|باز
|Mistral 7B و Mistral NeMo
|-
|{{پم|دیتابریکس|Databricks|زبان=en}}
|{{پم|DBRX|DBRX|زبان=en}}
|باز
|
|-
|[[مایکروسافت]]
|Phi-1
|باز
|[[مایکروسافت کوپایلوت]] (بر پایه چت جی پی تی ۴ )
|-
| [[گروه علی‌بابا|علی‌بابا]]
|'''Qwen'''
|باز
|Qwen2.5 و Qwen2.5-Coder و Qwen2.5-Coder
|-
|[[:en:Technology Innovation Institute|tii]]
|Falcon
|باز
|
|-
|[[بایدو]]
|Ernie
|بسته
|
|-
|[[دیپ‌سیک]]
|DeepSeek
|باز
|دیپ‌سیک Coder, دیپ‌سیک R1, Janus-Pro
|}
این مدل‌ها با اندازه‌ها و قابلیت‌های متفاوتی ارائه می‌شوند که از بین ده‌ها میلیون تا میلیاردها پارامتر متغیر است. پارامترها وزن‌هایی مدل هستند که در طول آموزش یاد می‌گیرد نشانه یا کلمه بعدی را در یک دنباله پیش‌بینی کنند.

ال‌ال‌ام‌ها را می‌توان برای کارهای مختلف [[پردازش زبان‌های طبیعی|پردازش زبان طبیعی]] {{اختصاری|NLP}} مانند تولید متن، خلاصه‌سازی متن، پرسش و پاسخ، ترجمه ماشینی، تجزیه و تحلیل احساسات، طبقه‌بندی متن و موارد دیگر استفاده کرد.

ال‌ال‌ام‌ها همچنین می‌توانند [[تنظیم دقیق (یادگیری ماشین)|تنظیم دقیق]] آنها در مجموعه داده‌های کوچکتر یا استفاده از شگردهای [[مهندسی پرسش]]، با دامنه‌ها یا وظایف خاص سازگار شوند. با این حال، ال‌ال‌ام‌ها نیز دارای محدودیت‌ها و چالش‌هایی هستند. به عنوان مثال، ال‌ال‌ام‌ها ممکن است نادرستی و سوگیری را از داده‌هایی که بر روی آنها آموزش دیده‌اند یا از روش‌های مهندسی سریع خود به ارث ببرند. ال‌ال‌ام‌ها همچنین ممکن است محتوای مضر یا گمراه‌کننده تولید کنند که می‌تواند بر رفاه انسان یا هنجارهای اجتماعی تأثیر بگذارد؛ بنابراین، ال‌ال‌ام‌ها باید به دقت ارزیابی شوند و توسط توسعه دهندگان و کاربران به‌طور مسئولانه استفاده شوند.

== تاریخچه ==
در کنفرانس {{پم|NeurIPS|NeurIPS|زبان=en}} در سال 2017، محققان گوگل [[ترنسفورمر (یادگیری عمیق)|معماری ترنسفورمر]] را در مقاله مهم خود با عنوان «{{پم|توجه همه آن چیزی است که نیاز دارید|Attention_Is_All_You_Need|زبان=en}}» معرفی کردند. هدف این مقاله‌ی سال 2014 بهبود فناوری [[سک۲سک]]<ref>{{Cite journal|last=Vaswani|first=Ashish|last2=Shazeer|first2=Noam|last3=Parmar|first3=Niki|last4=Uszkoreit|first4=Jakob|last5=Jones|first5=Llion|last6=Gomez|first6=Aidan N|author-link6=Aidan Gomez|last7=Kaiser|first7=Łukasz|last8=Polosukhin|first8=Illia|date=2017|title=Attention is All you Need|url=https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=30}}</ref> بود و عمدتاً مبتنی بر اساس مکانیسم [[توجه (یادگیری ماشین)|توجه]] توسعه یافته توسط Bahdanau و همکاران بود.<ref name="microsoft sparks2"/> در سال 2018، مدل [[برت (مدل زبانی)|برت]] معرفی شد و به سرعت در همه جا حاضر شد.<ref>{{Cite journal|last=Rogers|first=Anna|last2=Kovaleva|first2=Olga|last3=Rumshisky|first3=Anna|date=2020|title=A Primer in BERTology: What We Know About How BERT Works|url=https://aclanthology.org/2020.tacl-1.54|journal=Transactions of the Association for Computational Linguistics|volume=8|pages=842–866|arxiv=2002.12327|doi=10.1162/tacl_a_00349}}</ref> اگرچه مدل پایه ترنسفورمر دارای هر دو بلوک رمزگذار و رمزگشا است، ولی برت یک مدل ''فقط رمزگذار'' است.

اگرچه {{پم|جی‌پی‌تی 1|GPT-1|زبان=en}} فقط رمزگشا در سال 2018 معرفی شد، اما [[جی‌پی‌تی ۲]] بود که در سال 2019 توجه گسترده‌ای را به خود جلب کرد. زیرا [[اوپن‌ای‌آی]] در ابتدا به دلیل ترس از استفاده مخرب، آن را برای انتشار عمومی بسیار قدرتمند می‌دانست.<ref>{{Cite web|url=https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction|title=New AI fake text generator may be too dangerous to release, say creators|last=Hern|first=Alex|website=[[The Guardian]]|date=14 February 2019|accessdate=20 January 2024}}</ref> [[جی‌پی‌تی ۳]] در سال 2020 یک قدم فراتر رفت و {{تا تاریخ|2024|lc=y}} فقط از طریق [[واسط برنامه‌نویسی وب|ای‌‌پی‌آی]] در دسترس است. این مدل امکان دانلود و اجرای محلی بر روی سکوهای کاربر را ندارد. اما تصورات عموم مردم زمانی جلب شد که در سال 2022 [[چت‌جی‌پی‌تی]] مبتنی بر مرورگر منتشر شد و باعث ایجاد هیاهوی رسانه‌ای و سر و صدای آنلاین شد.<ref>{{Cite web|url=https://www.euronews.com/next/2023/11/30/chatgpt-a-year-on-3-ways-the-ai-chatbot-has-completely-changed-the-world-in-12-months|title=ChatGPT a year on: 3 ways the AI chatbot has completely changed the world in 12 months|last=<!--Not stated-->|date=November 30, 2023|publisher=[[Euronews]]|accessdate=January 20, 2024}}</ref> در سال 2023 [[جی‌پی‌تی ۴]] به دلیل افزایش دقت و قابلیت های [[یادگیری چندوجهی|چندوجهی]] اش مورد ستایش قرار گرفت.<ref>{{Cite web|url=https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/|title=GPT-4 is bigger and better than ChatGPT—but OpenAI won't say why|last=Heaven|first=Will|date=March 14, 2023|publisher=[[MIT Technology Review]]|accessdate=January 20, 2024}}</ref> اوپن‌ای‌آی معماری سطح بالا و تعداد [[پارامتر|پارامترهای]] جی‌پی‌تی ۴ را منتشر نکرد.

در این میان، مدل‌های زبان رقیب در اکثر موارد، حداقل از نظر تعداد پارامترها، به سری GPT دست یافته‌اند.<ref>{{Cite web|url=https://ourworldindata.org/grapher/artificial-intelligence-parameter-count?time=2017-09-05..latest|title=Parameters in notable artificial intelligence systems|last=<!--Not stated-->|date=November 30, 2023|website=ourworldindata.org|accessdate=January 20, 2024}}</ref> استثناهای قابل توجه از نظر تعداد پارامترها یا دقت اندازه گیری شده شامل [[T5 (مدل زبان)|T5-11B]] 2019 و [[مدل زبانی مسیرها|PalM-E]] 2022 Google و [[کلود (مدل زبان)|Claude 3]] 2024 [[آنتروپیک|Anthropic]] است. از نظر [[رده‌بندی الو|رتبه‌بندی Elo]] ، در 26 ژانویه 2024، Bard (جمینی پرو) گوگل از GPT-4 معمولی پیشی گرفت، اما نه از GPT-4-Turbo [[چرخه زندگی انتشار نرم‌افزار|با در دسترس بودن محدود]] .<ref>{{Cite web|url=https://analyticsindiamag.com/googles-gemini-pro-beats-gpt-4/|title=Google's Gemini Pro Beats GPT-4|last=<!--Not stated-->|date=January 27, 2024|website=analyticsindiamag.com|accessdate=January 29, 2024}}</ref>

از سال 2022، مدل‌های زبانی بزرگ دارای [[نرم‌افزار کد-موجود|منبع در دسترس]] به خصوص [[بلوم (مدل زبانی)|بلوم]] و [[لاما (مدل زبانی)|لاما]] محبوبیت زیادی پیدا کرده‌اند. اگرچه هر دو این مدل‌ه محدودیت‌هایی در زمینه استفاده دارند. مدل‌های  [[میسترال ای‌آی#Mistral 7B|Mistral 7B]] و [[میسترال ای‌آی#Mixtral 8x7B|Mixtral 8x7B]] شرکت [[میسترال ای‌آی]] که دارای [[مجوز آپاچی]] هستند آزادی بیشتری به کاربران می‌دهند. مطابق با LMSYS Chatbot Arena Leaderboard {{تا تاریخ|2024|1}} مدل Mixtral 8x7B قدرتمندترین LLM باز است که از GPT-3.5 قدرتمندتر است اما به اندازه GPT-4 قدرتمند نیست.<ref>{{Cite web|url=https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard|title=LMSYS Chatbot Arena Leaderboard|last=<!--Not stated-->|website=huggingface.co|accessdate=January 20, 2024}}</ref>

== استفاده از ابزار ==
برخی از وظایف هستند وجود دارد که حداقل بدون استفاده از ابزارهای خارجی یا نرم افزارهای اضافی اصولاً با هیچ ال‌ال‌ام قابل انجام نیستند. نمونه ای از چنین کاری پاسخ دادن به سوال '=35*139' است، مشروط بر اینکه ال‌ال‌ام قبلاً با ادامه این محاسبه در مجموعه آموزشی خود مواجه نشده باشد. در چنین مواردی، ال‌ال‌ام باید برنامه‌ای که نتیجه را محاسبه می کند اجرا کرده، و سپس می‌تواند نتیجه محاسبات را در پاسخ بگنجاند. مثال دیگر پرسش "الان ساعت چند است؟" خواهدبود. مفسر باید در این شرایط برنامه جداگانه‌ای را برای دریافت زمان سیستم در رایانه اجرا کند. بنابراین ال‌ال‌ام‌‌ها می تواند آن را در پاسخ خود قرار دهد.<ref name="PI1fW2">{{Cite arXiv|eprint=2211.10435|class=cs.CL|first1=Luyu|last1=Gao|first2=Aman|last2=Madaan|title=PAL: Program-aided Language Models|date=2022-11-01|last3=Zhou|first3=Shuyan|last4=Alon|first4=Uri|last5=Liu|first5=Pengfei|last6=Yang|first6=Yiming|last7=Callan|first7=Jamie|last8=Neubig|first8=Graham}}</ref><ref name="J5OW5">{{Cite web|title=PAL: Program-aided Language Models|url=https://reasonwithpal.com/|accessdate=2023-06-12|website=reasonwithpal.com}}</ref> با این استراتژی اساسی می‌توان سایر استراتژی‌های پیچیده‌تر را نیز با استفاده از برنامه‌های جنبی بکار برد.<ref name="gQxzq2">{{Cite arXiv|eprint=2303.09014|class=cs.CL|first1=Bhargavi|last1=Paranjape|first2=Scott|last2=Lundberg|title=ART: Automatic multi-step reasoning and tool-use for large language models|date=2023-03-01|last3=Singh|first3=Sameer|last4=Hajishirzi|first4=Hannaneh|last5=Zettlemoyer|first5=Luke|last6=Tulio Ribeiro|first6=Marco}}</ref>

به طور کلی، برای اینکه یک ال‌ال‌ام از ابزار استفاده کند، باید آن را برای استفاده از ابزار تنظیم کنید. اگر تعداد ابزارها محدود باشد، تنظیم دقیق ممکن است فقط یک بار انجام شود. اگر نیاز به ابزارها افزایش یابد، مانند سرویس‌های [[واسط برنامه‌نویسی کاربردی]] برخط، ال‌ال‌ام می‌تواند به خوبی تنظیم شود تا بتواند مستندات API را بخواند و آن را به درستی فراخوانی کند.<ref name="lLrda2">{{Cite arXiv|eprint=2303.16434|class=cs.AI|first1=Yaobo|last1=Liang|first2=Chenfei|last2=Wu|title=TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs|date=2023-03-01|last3=Song|first3=Ting|last4=Wu|first4=Wenshan|last5=Xia|first5=Yan|last6=Liu|first6=Yu|last7=Ou|first7=Yang|last8=Lu|first8=Shuai|last9=Ji|first9=Lei|last10=Mao|first10=Shaoguang|last11=Wang|first11=Yun|last12=Shou|first12=Linjun|last13=Gong|first13=Ming|last14=Duan|first14=Nan}}</ref><ref name="4Xzrs2">{{Cite arXiv|last1=Patil|first1=Shishir G.|last2=Zhang|first2=Tianjun|last3=Wang|first3=Xin|last4=Gonzalez|first4=Joseph E.|date=2023-05-01|title=Gorilla: Large Language Model Connected with Massive APIs|class=cs.CL|eprint=2305.15334}}</ref>

روش ساده‌تر استفاده از ابزار ''[[مهندسی پرسش#تولید تقویت‌شده بازیابی|تولید تقویت‌شده بازیابی]]'' است: گاهی می‌توانید با استفاده از یک {{پم|پایگاه داده برداری|Vector_database|زبان=en}}، یک ال‌ال‌ام را با روش [[بازیابی سند]] تقویت کنید. پس از دریافت یک پرس و جو توسط سیستم، یک درخواست بازیابی سند برای بازیابی مرتبط ترین مطالب صادر می‌شود. مراحل بازیابی در این حالت به این شکل خواهد بود که   پرس و جو به شکل برداری رمزگذاری شده، و سپس  با استفاده از روش اقلیدسی به دنبال یافتن اسناد نزدیک به بردار پرس و جو میپردازد. سپس ال‌ال‌ام یک خروجی بر اساس پرس و جو و اسناد بازیابی‌شده تولید می‌کند.<ref name="BUZBP">{{Cite journal|last=Lewis|first=Patrick|last2=Perez|first2=Ethan|last3=Piktus|first3=Aleksandra|last4=Petroni|first4=Fabio|last5=Karpukhin|first5=Vladimir|last6=Goyal|first6=Naman|last7=Küttler|first7=Heinrich|last8=Lewis|first8=Mike|last9=Yih|first9=Wen-tau|date=2020|title=Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks|url=https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=33|pages=9459–9474|arxiv=2005.11401}}</ref>

== عامل‌ ==
{{اصلی|عامل هوشمند}}ال‌ال‌ام یک مدل زبانی است، و از آنجا که هدفی در آن گنجانده نشده، نمی‌تواند مانند یک عامل ظاهر شود. اما می‌تواند به عنوان جزئی از یک [[عامل هوشمند]] استفاده شود.<ref name="CFuti2">{{Cite journal|last=Huang|first=Wenlong|last2=Abbeel|first2=Pieter|last3=Pathak|first3=Deepak|last4=Mordatch|first4=Igor|date=2022-06-28|title=Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents|url=https://proceedings.mlr.press/v162/huang22a.html|journal=Proceedings of the 39th International Conference on Machine Learning|language=en|publisher=PMLR|pages=9118–9147|arxiv=2201.07207}}</ref> محققان چندین روش را برای چنین ادغام‌هایی ارائه داده‌اند.

روش ری‌اکت  <ref name=":73" group="پاورقی">ReAct ("Reason&nbsp;+&nbsp;Act")</ref> با استفاده از ال‌ال‌ام به عنوان یک برنامه‌ریز، ال‌ال‌ام را به یک [[عامل هوشمند|عامل]] تبدیل می‌کند. از ال‌ال‌ام خواسته می‌شود که "با صدای بلند فکر کن". در این حالت روش کار بدین گونه است که، مدل زبان با پرسشی مواجه می‌شود شامل یک توصیف متنی از محیط و شرایط، هدف، فهرستی از اقدامات محتمل، و سابقه اقدامات مشابه و مشاهداتی تاکنون ثبت و ذخیره شده‌اند. ال‌ال‌ام قبل از تولید یک ''عمل''، یک یا چند فکر ایجاد می‌کند و پس از آن آن اقدامات در محیط اجرا می‌شوند.<ref name="DmvNE22">{{Cite arXiv|eprint=2210.03629|last1=Yao|title=ReAct: Synergizing Reasoning and Acting in Language Models}}</ref> توصیفات زبانی محیط که به برنامه‌ریز ال‌ال‌ام داده می‌شود حتی می تواند کد LaTeX مقال‌ای باشد که محیط را توصیف می‌کند.<ref name="JS8Vd22">{{Cite arXiv|eprint=2305.15486|last1=Wu|title=SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning}}</ref><ref name="JS8Vd22"/>

در روش دی‌ای‌پی‌اس ("توضیح، توصیف، برنامه‌ریزی و انتخاب")<ref name=":82" group="پاورقی">DEPS ("Describe, Explain, Plan and Select")</ref>، یک ال‌ال‌ام ابتدا از طریق توصیف تصویر به دنیای بصری متصل می‌شود، سپس از آن خواسته می‌شود تا بر اساس دانش از پیش آموزش دیده و بازخوردهایی که از محیط دریافت می‌کند، برنامه‌هایی برای وظایف و رفتارهای پیچیده تولید کند.<ref>{{Cite arXiv|eprint=2302.01560|last1=Wang|title=Describe, Explain, Plan and Select: Interactive Planning with Large Language Models Enables Open-World Multi-Task Agents}}</ref>

روش بازتاب<ref name="microsoft sparks2">{{Cite arXiv}}</ref><ref name=":92" group="پاورقی">Reflexion method</ref>  عاملی را می‌سازد که در چندین مرحله یاد می‌گیرد. در پایان هر مرحله،ال‌ال‌ام سابقه و خروجی مرحله قبل داده می‌شود و از آن خواسته می‌شود تا بیاندیشد و «درس‌های آموخته‌شده» دراین مرحله را تولید کند که به عملکرد بهتر در قسمت بعدی کمک می‌کند. این "درس های آموخته‌شده" در مراحل بعدی به عنوان ورودی به مامور داده می‌شوند.

[[درخت جستجوی مونت کارلو]] می‌تواند از یک ال‌ال‌ام به عنوان وسیله اکتشاف استفاده کند. هنگامی که یک مدل جهان برنامه‌ریزی شده در دسترس نیست، می‌توان از یک ال‌ال‌ام با توصیفی از محیط درخواست کرد تا به عنوان مدل جهانی عمل کند.<ref name="microsoft sparks2">{{Cite arXiv}}</ref>

برای اکتشاف محیط-باز، می‌توان از یک ال‌ال‌ام درخواست کرد که به مشاهدات خود بر اساس "جالب بودن" آنها امتیاز دهد. این امتیاز را می‌توان به عنوان یک سیگنال پاداش برای راهنمایی یک عامل [[یادگیری تقویتی]] معمولی (غیر ال‌ال‌ام‌) استفاده کرد.<ref name="microsoft sparks2">{{Cite arXiv}}</ref> در روش دیگر میتوان از ال‌ال‌ام خواست {{پم|وظایف دشوارتری|Zone of proximal development|زبان=en}} را برای {{پم|یادگیری برنامه درسی|Curriculum learning|زبان=en}} پیشنهاد کند.<ref name=":02">{{Cite web|title=Voyager {{!}} An Open-Ended Embodied Agent with Large Language Models|url=https://voyager.minedojo.org/|accessdate=2023-06-09|website=voyager.minedojo.org}}</ref> یک برنامه‌ریز ال‌ال‌ام می‌تواند به‌جای تک خروجی‌های ''اقدام''، برای توالی‌های پیچیده اقدام به ساخت یک «مهارت‌» یا [[تابع (علوم رایانه)|تابع]] بکند. مهارت‌ها را می‌توان ذخیره کرد و بعداً مورد استفاده قرار داد، که امکان افزایش سطح مراحل اولیه برنامه‌ریزی را فراهم می‌کند.<ref name=":02" />

ال‌ال‌ام‌‌های عامل‌ می‌توانند یک حافظه بلندمدت داشته باشند و زمینه‌های قبلی کاری خود را در آن ذخیره کنند. این حافظه را می توان به همان روشی ''[[مهندسی پرسش#تولید تقویت‌شده بازیابی|تولید تقویت‌شده بازیابی]]'' دوباره استفاده کرد. چندین  این ال‌ال‌ام‌‌ می‌توانند به صورت اجتماعی از  ال‌ال‌ام‌‌‌ها با یکدیگر تعامل داشته باشند.<ref name="XuvjF2">{{Cite arXiv|last1=Park|title=Generative Agents: Interactive Simulacra of Human Behavior|eprint=2304.03442}}</ref>

== فشرده‌سازی ==
به طور معمول، ال‌ال‌ام با اعداد [[ممیز شناور]] با دقت کامل (float32) یا دقت نیمه (float16) آموزش داده می شود. یک float16 دارای 16 بیت یا 2 بایت است و بنابراین یک میلیارد پارامتر به 2 گیگابایت فضا نیاز دارد. بزرگترین مدل‌های فعلی معمولاً 100 میلیارد پارامتر دارند که برای بارگذاری به 200 گیگابایت حافظه نیاز است که آن را خارج از محدوده کارکردی اکثر [[لوازم الکترونیکی مصرفی]] کاربران قرار می‌دهد.

هدف ''[[کوانتش (پردازش سیگنال)|کوانتیزاسیون]] پس از آموزش''<ref name="LS2Go">{{Cite journal|last=Nagel|first=Markus|last2=Amjad|first2=Rana Ali|last3=Baalen|first3=Mart Van|last4=Louizos|first4=Christos|last5=Blankevoort|first5=Tijmen|date=2020-11-21|title=Up or Down? Adaptive Rounding for Post-Training Quantization|url=https://proceedings.mlr.press/v119/nagel20a.html|journal=Proceedings of the 37th International Conference on Machine Learning|language=en|publisher=PMLR|pages=7197–7206}}</ref> کاهش فضای مورد نیاز با کاهش دقت پارامترهای یک مدل آموزش دیده و در عین حال حفظ بیشتر عملکرد آن است.<ref name="microsoft sparks2">{{Cite arXiv}}</ref><ref name="microsoft sparks2">{{Cite arXiv}}</ref> ساده‌ترین شکل کوانتش برش و حذف تعداد معینی از بیت ها از تمام اعداد پارمترها است. برای بهبود عملکرد این روش می‌توان با استفاده از یک [[رمزنگاری قالبی|کتاب کد]]، عمل کوانتیزاسیون را در هر لایه متفاوت از بقیه لایه‌ها انجام داد.  به منظور بهبود بیشتر می‌توان برای پارامترهای مختلف {{پم|دقت های مختلف|Mixed-precision_arithmetic|زبان=en}} اعمال کرد. بدین صورت که به پارامترهای مهم  ("وزن های خارجی")<ref name=":10" group="پاورقی">outlier weights</ref> دقت بالاتری اختصاص بدهیم.<ref name="microsoft sparks2">{{Cite arXiv}}</ref>

با وجودی که فقط مدل‌های غیر کوانتش شده تنظیم دقیق می‌شوند و مدل‌های کوانتیزه را معمولاً منجمد (بدون تغییر و عدم امکان تنظیم دقیق) در نظر می‌گیرند، ولی مدل‌های کوانتیزه گاهی می‌توانند تنظیم دقیق شوند.<ref name="D0nFA">{{Cite arXiv|eprint=2305.14314|last1=Dettmers|title=QLoRA: Efficient Finetuning of Quantized LLMs}}</ref>

== چندوجهی بودن ==
چندوجهی بودن<ref name=":11" group="پاورقی">Multimodality</ref> به معنای «داشتن چندین حالت» است و {{پم|«حالت» یا «وجه»|Modality_(human%E2%80%93computer_interaction)|زبان=en}}<ref name=":12" group="پاورقی">Modality</ref> به نوع ورودی یا خروجی مانند ویدیو، تصویر، صدا، متن، [[حس عمقی]]، و غیره اشاره دارد.<ref>{{Cite journal|last=Kiros|first=Ryan|last2=Salakhutdinov|first2=Ruslan|last3=Zemel|first3=Rich|date=2014-06-18|title=Multimodal Neural Language Models|url=https://proceedings.mlr.press/v32/kiros14.html|journal=Proceedings of the 31st International Conference on Machine Learning|language=en|publisher=PMLR|pages=595–603}}</ref> مدل های هوش مصنوعی بسیاری وجود دارند که به طور اختصاصی آموزش دیده‌اند تا ورودی را از یک نوع بگیرند و خروجی را در نوع دیگری تحویل دهند. مانند برچسب‌زنی مدل {{پم|الکس نت|AlexNet|زبان=en}} برای حالت‌های تصویر/برچسب،<ref>{{Cite journal|last=Krizhevsky|first=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E|date=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|url=https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=25}}</ref> یا مدل‌های [[پرسش و پاسخ|پاسخ‌دهنده به سوالات تصویری]] برای حالت های تصویر-متن/متن، <ref>{{Cite journal|last=Antol|first=Stanislaw|last2=Agrawal|first2=Aishwarya|last3=Lu|first3=Jiasen|last4=Mitchell|first4=Margaret|last5=Batra|first5=Dhruv|last6=Zitnick|first6=C. Lawrence|last7=Parikh|first7=Devi|date=2015|title=VQA: Visual Question Answering|url=https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html|journal=ICCV|pages=2425–2433}}</ref> و همچنین [[بازشناسی گفتار|تشخیص گفتار]] برای حالت‌های گفتار/متن.

یک روش رایج برای ساخت مدل‌های چندوجهی از یک ال‌ال‌ام‌، «نشانه‌گذاری کردن» خروجی یک رمزگذار آموزش‌دیده است. یعنی می‌توان یک ال‌ال‌ام ساخت که تصاویر را به صورت زیر درک می‌کند: یک ال‌ال‌ام آموزش‌دیده و یک رمزگذار تصویر آموزش‌دیده <math>E</math> را در نظر بگیرید. یک پرسپترون کوچک چند لایه <math>f</math> را بسازید، به طوری که برای هر تصویر <math>y</math>، بردار پس‌پردازش <math>f(E(y))</math> آن دارای ابعادی یکسان با ابعاد نشانه رمزگذاری شده باشد. خروجی مد نظر ما یک "نشانه-تصویر" است. در ادامه، می‌توان نشانه‌های متنی و نشانه‌های تصویر را به هم متصل کرد. درنهایت مدل ترکیبی بر روی یک مجموعه داده تصویر-متن تنظیم می‌شود. این ساختار اولیه را می توان با کمی پیچیدگی بیشتر، برای بهبود مدل اعمال کرد. رمزگذار تصویر ممکن است برای بهبود پایداری تثبیت شود (پارامترهایش تغییر نکند).<ref>{{Cite arXiv|last1=Li|title=BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models|eprint=2301.12597}}</ref>

مدل فلامینگو اثربخشی روش نشانه‌سازی را نشان داد و یک جفت مدل زبان و یک رمزگذار تصویر از پیش آموزش‌دیده را تنظیم کرد تا نسبت به مدل‌هایی که از ابتدا آموزش دیده‌اند، در پاسخ‌گویی بصری به سؤالات عملکرد بهتری داشته باشند.<ref>{{Cite journal|last=Alayrac|first=Jean-Baptiste|last2=Donahue|first2=Jeff|last3=Luc|first3=Pauline|last4=Miech|first4=Antoine|last5=Barr|first5=Iain|last6=Hasson|first6=Yana|last7=Lenc|first7=Karel|last8=Mensch|first8=Arthur|last9=Millican|first9=Katherine|date=2022-12-06|title=Flamingo: a Visual Language Model for Few-Shot Learning|url=https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html|journal=Advances in Neural Information Processing Systems|language=en|volume=35|pages=23716–23736|arxiv=2204.14198}}</ref> مدل [[مدل زبانی مسیرها|Google پام شرکت گوگل]] با استفاده از روش نشانه‌سازی برای رسیدن به مدل چندوجهی پام-ای تنظیم شد و بر روی یک کنترل‌کننده رباتیک پیاده‌سازی د.<ref name="microsoft sparks2"/> مدل‌های [[لاما (مدل زبانی)|Lلامای]] شرکت متا نیز با استفاده از روش نشانه‌سازی چندوجهی شده‌اند تا بتوانند ورودی‌های تصویر، <ref name="microsoft sparks2"/> و ویدئویی را نیز دریافت کنند.<ref name="microsoft sparks2"/>

[[جی‌پی‌تی ۴]] می‌تواند از متن و تصویر به عنوان ورودی استفاده کند <ref name="microsoft sparks2"/> (اگرچه مولفه تصویری این مدل تا پیش از نسخه GPT-4V  عرضه عمومی نشده بود).<ref>{{Cite web|last=OpenAI|date=September 25, 2023|title=GPT-4V(ision) System Card|url=https://cdn.openai.com/papers/GPTV_System_Card.pdf}}</ref> [[جمینای (مدل زبانی)|جمینای]] محصول [[دیپ‌مایند|دیپ‌مایند گوگل]] نیز چندوجهی است.<ref>{{Citation|last=Pichai|first=Sundar|title=Google Keynote (Google I/O '23)|url=https://www.youtube.com/watch?v=cNfINi5CNbY&t=931s|access-date=2023-07-02|at=timestamp 15:31|language=en}}</ref>

== خصوصیات ==

=== قوانین مقیاس‌پذیری ===
چهار [[ابرپارامتر (یادگیری ماشین)|ابرپارامتر]] زیر یک ال‌ال‌ام را تعیین می‌کنند:

* هزینه (پیش) آموزش (<small><math>C</math></small> )
* اندازه خود [[شبکه عصبی مصنوعی]] ، از جمله  تعداد پارامترها <small><math>N</math></small> (یعنی تعداد نورون‌ها در لایه های آن، تعداد وزن بین آنها و بایاس ها)،
* اندازه مجموعه داده (پیش) آموزش آن (یعنی تعداد نشانه‌ها در پیکره متنی دانش، <small><math>D</math></small> )
* عملکرد پس از (پیش) آموزش

مدل‌ها با استفاده از {{پم|قوانین آماری|Empirical statistical laws|زبان=en}} ساده‌ای که "قوانین مقیاس‌پذیری" نامیده می‌شوند، به یکدیگر مرتبط می‌شوند. به عنوان مثال، یک قانون مقیاس‌پذیری خاص ("[[چینچیلا ای‌آی|مقیاس سازی چینچیلا]]") که برای آموزش خودهمبسته ال‌ال‌ام در هر مرحله، با برنامه [[نرخ یادگیری]] [[نمودار تمام‌لگاریتمی|log-log]] بکار رفته، بیان می‌کند که:<ref name="fJta3">{{Cite arXiv|eprint=2203.15556|last1=Hoffmann|title=Training Compute-Optimal Large Language Models}}</ref>

<math display="block">\begin{cases}
C = C_0 ND \\[6pt]
L = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_0
\end{cases}</math>

به طوری که

* <small><math>C</math></small> هزینه آموزش مدل، بر حسب [[فلاپس]] است.
* <small><math>N</math></small> تعداد پارامترهای مدل است.
* <small><math>D</math></small> تعداد نشانه‌های مجموعه آموزشی است.
* <small><math>L</math></small> میانگین تلفات درست‌نمایی-لگاریتمی منفی در هر نشانه ([[Nat (واحد)|nats]]/token) است که از ال‌ال‌ام آموزش‌دیده بر روی مجموعه داده آزمایشی به دست آمده است.

و ابرپارامترهای آماری به شکل زیر خواهند بود:

* <small><math> C_0 = 6</math></small> ، به این معنی که هزینه آموزش یک نشانه به هر پارامتر 6 فلاپس خواهد بود. توجه داشته باشید که هزینه آموزش بسیار بالاتر از هزینه استنتاج است، به طوری که هزینه استنباط یک نشانه برابر با 1 تا 2 فلاپس به ازای هر پارامتر خواهد بود.<ref name="kaplan-scaling">Section 2.1 and Table 1, {{Cite arXiv|eprint=2001.08361|last1=Kaplan|title=Scaling Laws for Neural Language Models}}</ref>
* <small><math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math></small>

== تفسیر ==
مدل‌های زبان بزرگ به خودی خود « [[جعبه سیاه (سامانه)|جعبه‌های سیاه]] » هستند و مشخص نیست که چگونه می‌توانند وظایف زبانی را انجام دهند. روش های مختلفی برای درک نحوه کار ال‌ال‌ام وجود دارد.

هدف تفسیرپذیری مکانیسکیک[[مهندسی معکوس|، مهندسی معکوس]] ال‌ال‌ام با کشف الگوریتم‌های نمادین است، که استنتاج انجام‌شده توسط ال‌ال‌ام را تقریب می‌زنند. یک مثال برای این روش کارکردی، اتللو-جی‌پی‌تی است که در آن یک [[ترنسفورمر (یادگیری عمیق)|ترنسفورمر]] کوچک برای پیش‌بینی حرکات مجاز بازی [[رورسی#اتللو|اتللو]] آموزش دیده است. تحلیل ها نشان داد که یک نمایش خطی از [[هیئت مدیره]] اتللو تولید شده است، و هرگونه تغییر یا اصلاح نمایش خطی، حرکات قانونی پیش بینی شده اتللو را به روش صحیح تغییر می دهد.<ref name="IZSIr2">{{Cite arXiv|title=Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task}}</ref><ref name="RLik92">{{Cite web|date=2023-01-21|title=Large Language Model: world models or surface statistics?|url=https://thegradient.pub/othello/|accessdate=2023-06-12|website=The Gradient|language=en}}</ref> در مثالی دیگر، یک ترنسفورمر کوچک در {{پم|برنامه های کارل|Karel_(programming_language)|زبان=en}} آموزش دید. مشابه مثال اتللو-جی‌پی‌تی، از مفهوم برنامه کارل یک نمایش خطی وجود دارد، و اصلاح این نمایش، خروجی را به روش صحیح تغییر می دهد. این مدل همچنین برنامه‌های صحیحی را تولید می‌کند که به طور متوسط کوتاه‌تر از برنامه‌های موجود در مجموعه داده آموزشی هستند.<ref name="Hln1l2">{{Cite arXiv|title=Evidence of Meaning in Language Models Trained on Programs}}</ref>

در مثالی دیگر، نویسندگان یک مقاله ترنسفورمرهای کوچک را در به منظور اجرای [[هم‌نهشتی (نظریه اعداد)|جمع حسابی مدولار]] آموزش دادند. مدل‌های به دست آمده مهندسی معکوس شدند و مشخص شد که از [[تبدیل فوریه گسسته]] استفاده می کنند.<ref name="oYGlo">{{Cite arXiv|title=Progress measures for grokking via mechanistic interpretability}}</ref>

== درک و هوش ==
که در یک نظرسنجی در سال 2022 از محققان [[پردازش زبان‌های طبیعی]] هنگامی پرسیده شد که آیا ال‌ال‌ام‌ها (همیشه) می‌توانند زبان طبیعی را به معنایی غیر پیش پا افتاده درک کنند یا خیر، به دو گروه با تعداد مساوی تقسیم شدند.<ref name="debate understanding3">{{Cite journal|last=Mitchell|first=Melanie|last2=Krakauer|first2=David C.|date=28 March 2023|title=The debate over understanding in AI's large language models|journal=Proceedings of the National Academy of Sciences|volume=120|issue=13|pages=e2215907120|arxiv=2210.13966|bibcode=2023PNAS..12015907M|doi=10.1073/pnas.2215907120|pmc=10068812|pmid=36943882}}</ref> طرفداران "درک ال‌ال‌ام" معتقدند که برخی از توانایی های ال‌ال‌ام، مانند استدلال ریاضی، حاکی از توانایی [[فهم زبان‌های طبیعی|"درک"]] برخی مفاهیم است. در سال 2023 یک تیم از شرکت مایکروسافت استدلال کردند که جی‌پی‌تی ۴ «می‌تواند کارهای بدیع و دشواری را که شامل ریاضیات، کدنویسی، بینایی، پزشکی، حقوق، روان‌شناسی و موارد دیگر می‌شود، حل کند» و اینکه «می‌تواند به طور منطقی به‌عنوان یک نسخه اولیه (اما هنوز ناقص) سیستم [[هوش جامع مصنوعی|هوش عمومی مصنوعی]] در نظر گرفته شود. با این استدلال که "آیا به طور منطقی می‌توان گفت، سیستمی که در امتحانات داوطلبان [[مهندسی نرم‌افزار]] قبول می شود ''واقعاً'' هوشمند نیست؟" <ref name="microsoft sparks2">{{Cite arXiv}}</ref><ref name="O8Upd">{{Cite news|last=Metz|first=Cade|date=16 May 2023|title=Microsoft Says New A.I. Shows Signs of Human Reasoning|work=The New York Times|url=https://www.nytimes.com/2023/05/16/technology/microsoft-ai-human-reasoning.html}}</ref> برخی از محققان، ال‌ال‌ام را به عنوان "هوش بیگانه" توصیف می کنند.<ref name="rEEmH">{{Cite news|date=2023|title=ChatGPT is more like an 'alien intelligence' than a human brain, says futurist|language=en|work=ZDNET|url=https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/|accessdate=12 June 2023}}</ref><ref name="new yorker kind of mind2">{{Cite magazine |last=Newport |first=Cal |date=13 April 2023 |title=What Kind of Mind Does ChatGPT Have? |url=https://www.newyorker.com/science/annals-of-artificial-intelligence/what-kind-of-mind-does-chatgpt-have |magazine=The New Yorker |access-date=12 June 2023}}</ref> به عنوان مثال، کانر لیهی، مدیر عامل شرکت Conjecture، ال‌ال‌ام‌های تنظیم نشده را مانند بیگانگان غیرقابل وصف "{{پم|شوگوت|Shoggoth|زبان=en}}" می‌داند و معتقد است که تنظیم دقیق در سیستم ''[[مهندسی پرسش#تولید تقویت‌شده بازیابی|تولید تقویت‌شده بازیابی]]'' یک "ظاهر خندان" ایجاد می‌کند که عملکرد درونی ال‌ال‌ام را پنهان نگه می‌دارد: "اگر آن را بیش از حد فشار ندهید، چهره خندان باقی می ماند، اما وقتی که به آن یک فرمان [غیرمنتظره] می دهید، ناگهان جنون عظیم بی حد و مرز، و فرآیندهای فکری غیرانسانی دور از شأن و درک  را می‌توانید ببینید.<ref name="rAFIZ">{{Cite news|last=Roose|first=Kevin|date=30 May 2023|title=Why an Octopus-like Creature Has Come to Symbolize the State of A.I.|work=The New York Times|url=https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html|accessdate=12 June 2023}}</ref><ref name="4luKE">{{Cite news|date=13 April 2023|title=The A to Z of Artificial Intelligence|language=en|work=Time Magazine|url=https://time.com/6271657/a-to-z-of-artificial-intelligence/|accessdate=12 June 2023}}</ref>

در مقابل، برخی از طرفداران مکتب "ال‌ال‌ام فاقد درک" معتقدند که ال‌ال‌ام‌های موجود "به سادگی مخلوط و ترکیب مجدد برنامه های نوشته شده موجود" هستند، <ref name="new yorker kind of mind2"/> پدیده ای که به عنوان {{پم|طوطی تصادفی|Stochastic_parrot|زبان=en}} شناخته می‌شود. یا به کاستی‌هایی که ال‌ال‌ام‌های موجود در مهارت‌های پیش‌بینی، مهارت استدلال، عاملیت و توضیح‌پذیری دارند اشاره می کنند.<ref name="debate understanding3"/> به عنوان مثال، جی‌پی‌تی ۴ دارای کاستی‌های طبیعی در برنامه‌ریزی و یادگیری در زمان واقعی است.<ref name="microsoft sparks2">{{Cite arXiv}}</ref> دیده شده است که ال‌ال‌ام‌های مولد با اطمینان ادعاهای واقعی را مطرح می‌کنند که به نظر نمی رسد با [[آموزش، اعتبارسنجی و مجموعه‌های آزمایشی|داده های آموزشی]] آنها [[نظریه توجیه|توجیه]] شود. پدیده‌ای که "[[توهم (هوش مصنوعی)|توهم]]"<ref name=":13" group="پاورقی">Hallucination</ref> نامیده می‌شود.<ref name="hallucination-survey">{{Cite journal|last=Ji|first=Ziwei|last2=Lee|first2=Nayeon|last3=Frieske|first3=Rita|last4=Yu|first4=Tiezheng|last5=Su|first5=Dan|last6=Xu|first6=Yan|last7=Ishii|first7=Etsuko|last8=Bang|first8=Yejin|last9=Dai|first9=Wenliang|date=November 2022|title=Survey of Hallucination in Natural Language Generation|url=https://dl.acm.org/doi/pdf/10.1145/3571730|format=pdf|journal=ACM Computing Surveys|publisher=[[Association for Computing Machinery]]|volume=55|issue=12|pages=1–38|arxiv=2202.03629|doi=10.1145/3571730|access-date=15 January 2023}}</ref> توهم‌ها در حوزه ال‌ال‌ام با تولید متن یا پاسخ‌هایی مطابقت دارد که از نظر نحوی صحیح، روان و طبیعی به نظر می‌رسند، اما از نظر واقعی نادرست، بی‌معنی یا حتی با ورودی منبع ارائه شده بی ارتباط هستند.<ref name="microsoft sparks2"/> {{پم|ترنس سجنوفسکی|Terrence_Sejnowski|زبان=en}}، عصب‌شناس، استدلال کرده است که "نظرات متفاوت کارشناسان در مورد هوش ال‌ال‌ام‌ها نشان می دهد که ایده‌های قدیمی ما مبتنی بر هوش طبیعی ناکافی هستند".<ref name="debate understanding3"/>

موضوع نشان دادن هوش یا درک ال‌ال‌ام دارای دو جنبه اصلی است. اول این که چگونه فکر و زبان را در یک سیستم رایانه‌ای مدل‌سازی کنیم، و دوم این که چگونه سیستم رایانه‌ای را قادر به ساخت زبانی شبه‌انسانی بکنیم.<ref name="debate understanding3"/> در حوزه [[زبان‌شناسی شناختی]]، این جنبه‌های زبان به شکل مدلی از [[شناخت]] توسعه یافته‌اند. به منظور استفاده از زبان انسانی به عنوان مدلی که در بخش های یادگیری و درک به کار رود، یک زبان‌شناس آمریکایی با نام [[جرج لیکاف|جرج لاکوف]] نظریه عصبی زبان (NTL)<ref name=":14" group="پاورقی">Neural Theory of Language</ref><ref>{{Cite book|title=Philosophy in the Flesh: The Embodied Mind and Its Challenge to Western Philosophy; Appendix: The Neural Theory of Language Paradigm|url=https://archive.org/details/philosophyinfles00lako|last=Lakoff|first=George|publisher=New York Basic Books|year=1999|isbn=978-0-465-05674-3|pages=[https://archive.org/details/philosophyinfles00lako/page/569 569]–583}}</ref> را به عنوان [[زبان‌شناسی شناختی|مبنای محاسباتی]] ارائه کرد. [https://www.icsi.berkeley.edu/icsi/projects/ai/ntl مدل NTL] نشان می‌دهد که چگونه ساختارهای عصبی خاص در [[مغز انسان]] ماهیت فکر و زبان را شکل می‌دهند و به نوبه خود ویژگی‌های محاسباتی چنین سیستم‌های عصبی را که می‌توان برای مدل‌سازی فکر و زبان در یک سیستم رایانه‌ای به کار برد به نمایش می‌گذارد. پس از آن که برای مدل‌سازی زبان در سیستم‌های رایانه‌ی یک چهارچوب ایجاد شد، تمرکز به سمت  ایجاد چارچوب‌هایی معطوف شد که توانایی تولید زبان با دستور زبان قابل قبول را دارند. {{پم|ویویان ایوانز|Vyvyan_Evans|زبان=en}}، زبان‌شناس شناختی بریتانیایی و متخصص فناوری ارتباطات دیجیتال، در کتاب خود با عنوان {{پم|«افسانه زبان: چرا زبان غریزه نیست»|The_Language_Myth|زبان=en}} که در سال 2014 منتشر شد، نقش [[گرامر مستقل از متن تصادفی]]<ref name=":15" group="پاورقی">Probabilistic Context-Free Grammar (PCFG)</ref> را در توانمندسازی [[پردازش زبان‌های طبیعی#شناخت|پردازش زبان‌های طبیعی برای مدل سازی الگوهای شناختی]] و ایجاد زبانی شبیه‌انسان ترسیم کرد.<ref name="Cite book">{{Cite book}}</ref><ref name="Cite book"/>

== ارزیابی ==

=== سرگشتگی ===
{{اصلی|سرگشتگی}}
متداول‌ترین معیاری که برای بررسی عملکرد یک مدل زبان مورد استفاده قرار می‌گیرد، [[سرگشتگی]] آن در یک مجموعه متنی معین است. سرگشتگی معیاری است که نشان می‌دهد یک مدل تا چه اندازه می‌تواند محتویات یک مجموعه داده را پیش‌بینی کند. هر چه درست‌نمایی مدل نسبت به مجموعه داده بیشتر باشد، سرگشتگی کمتر است. از نظر ریاضی، سرگشتگی، توان نمایی منفی میانگین درست‌نمایی به ازای هر نشانه تعریف می شود:

<math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(\Pr(\text{token}_i \mid \text{context for token}_i))</math>در اینجا <math>N</math> تعداد نشانه‌ها در مجموعه متن و عبارت  «context for token <math>i</math>»بستگی به نوع ال‌ال‌ام مورد استفاده دارد. اگر ال‌ال‌ام خودهمبسته باشد، آنگاه  «زمینه‌ی نشانه<math>i</math>» بخشی از متن است که قبل از نشانه <math>i</math> ظاهر می‌شود. اگر ال‌ال‌ام نقاب‌پوش شده باشد، «زمینه‌ی نشانه<math>i</math>» بخشی از متن است که نشانه <math>i</math> را احاطه کرده است.

=== بیت‌بر‌کلمه، بیت‌بر‌حرف، بیت‌بر‌نشانه<ref name=":16" group="پاورقی">BPW  (bits per word), BPC (bits per character) and BPT (bits per token)</ref> ===
در [[نظریه اطلاعات]]، مفهوم [[آنتروپی اطلاعات|آنتروپی]] به طور پیچیده‌ای با سرگشتگی مرتبط است. این رابطه توسط [[کلود شانون]] بیان شده است.<ref name="Huyen2">{{Cite web|url=https://thegradient.pub/understanding-evaluation-metrics-for-language-models/|title=Evaluation Metrics for Language Modeling|last=Huyen|first=Chip|date=October 18, 2019|website=The Gradient|accessdate=January 14, 2024}}</ref> صورت ریاضی این رابطه<math>\text{Entropy} = \log_2(\text{Perplexity})</math> است.

آنتروپی، در این زمینه، معمولاً بر حسب بیت‌بر‌کلمه {{اختصاری|BPW}} یا بیت‌بر‌کاراکتر {{اختصاری|BPC}} بیان می‌شود، که بستگی به این دارد که مدل زبان از نشانه‌گذاری مبتنی بر کلمه استفاده می‌کند یا کاراکتر.

قابل ذکر است که در مورد مدل‌های زبان بزرگ‌تر که عمدتاً از نشانه‌سازی زیرکلمه<ref name=":17" group="پاورقی">sub-word tokenization</ref> استفاده می‌کنند، استفاده از واحد بیت‌بر‌نشانه {{اختصاری|BPT}}به ظاهر مناسب‌تر می‌رسد. با این حال، به دلیل تفاوت در روش‌های نشانه‌گذاری در ال‌ال‌ام‌های مختلف، BPT نمی‌تواند یک معیار قابل اعتماد برای تجزیه‌و‌تحلیل باشد و مقایسه بین مدل‌های متنوع عمل نمی کند. برای تبدیل BPT به BPW، می توان آن را در میانگین عدد نشانه‌در‌کلمه ضرب کرد.

به طور کلی در ارزیابی و مقایسه مدل‌های زبانی، واحد اندازه‌گیری [[آنتروپی متقاطع]] بر آنتروپی ترجیح داده می‌شود اصل اساسی این است که یک BPW پایین، نشان‌دهنده قابلیت فشرده سازی مدل است که به سیستم اضافه شده است. و همین موضوع می‌تواند به نوبه خود نمادی از مهارت مدل در پیش‌بینی‌های دقیق باشد.

=== مجموعه داده های تخصصی و محک ===
تعداد زیادی از مجموعه داده‌های آزمایش و محک برای ارزیابی قابلیت‌های مدل‌های زبان در کارهای پایین‌دستی خاص‌تر ایجاد شده‌اند. آزمون‌های طراحی‌شده می‌تواند برای ارزیابی توانایی‌های مختلف، از جمله دانش عمومی، قابلیت استدلال، و حل مسئله ریاضی به کار روند.

یک دسته وسیع از مجموعه داده‌های ارزیابی، مجموعه داده‌های پرسش و پاسخ است که شامل جفت سؤال و پاسخ‌های صحیح است. برای مثال، («آیا کوسه های سن خوزه [[جام استنلی]] را برده‌اند؟»، «نه»).<ref name="boolq">{{Cite arXiv|title=BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions}}</ref> یک وظیفه‌ی پرسش و پاسخ در صورتی «کتاب باز» در نظر گرفته می‌شود که دستور ورودی به مدل، شامل متنی باشد که می‌توان پاسخ مورد انتظار را از آن استخراج کرد. یعنی، به عنوان مثال، سؤال قبلی را می‌توان با متنی دیگری همراه کرد بدنی صورت که «کوسه‌هایی که یک بار در جام استنلی به مرحله نهایی درست یافتند در سال 2016 به پنگوئن پیتسبورگ باختند." <ref name="boolq" /> در غیر این صورت، وظیفه "کتاب بسته" در نظر گرفته می شود و مدل باید از دانش حفظ شده در طول آموزش‌های قبلی برای پاسخگویی استفاده کند.<ref name="survey2">{{Cite arXiv|title=A Survey of Large Language Models}}</ref> برخی از نمونه‌های متداول مجموعه داده‌های پاسخگویی به سؤالات عبارتند از TruthfulQA، Web Questions، TriviaQA و SQuAD.<ref name="survey2"/>

مجموعه داده‌های ارزیابی ممکن است به شکل متن با جای خالی نیز باشد. به این صورت که مدل محتمل‌ترین کلمه یا جمله را برای تکمیل یک پرسش انتخاب می‌کند. این مثال را مشاهده کنید: "آلیس با باب دوست بود. آلیس به ملاقات دوستش، ____ رفت." <ref name="few-shot-learners">{{Cite journal|last=Brown|first=Tom B.|last2=Mann|first2=Benjamin|last3=Ryder|first3=Nick|last4=Subbiah|first4=Melanie|last5=Kaplan|first5=Jared|last6=Dhariwal|first6=Prafulla|last7=Neelakantan|first7=Arvind|last8=Shyam|first8=Pranav|last9=Sastry|first9=Girish|date=Dec 2020|editor-last=Larochelle|editor-first=H.|editor2-last=Ranzato|editor2-first=M.|editor3-last=Hadsell|editor3-first=R.|editor4-last=Balcan|editor4-first=M.F.|editor5-last=Lin|editor5-first=H.|title=Language Models are Few-Shot Learners|url=https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=33|pages=1877–1901}}</ref>

برخی از معیارهای ترکیبی نیز توسعه داده شده‌اند که مجوعه متنوعی از داده‌ها و وظایف ارزیابی مختلف را ترکیب می‌کنند. به عنوان مثال می‌توان به GLUE، SuperGLUE، MMLU، BIG-bench و HELM اشاره کرد.<ref name="Huyen2"/><ref name="survey2"/>

در گذشته مرسوم بود که  آموزش یک مدل بر روی بخشی از مجموعه داده و سپس آزمایش آن بر روی یک بخش جداگانه از داده که مدل قبلاً با آن برخورد نداشت بود،صورت می‌گرفت. این عمل را [[تنظیم دقیق (یادگیری ماشین)|تنظیم دقیق نظارت‌شده]] شناخته می‌شود.

امروزه روش مرسوم برای آزمایش مدلی که قبلاً آموزش داده‌شده است (مدل از پیش آموزش داده‌شده) با استفاده از [[مهندسی پرسش]] است. با این حال، هیچ رویکرد یکسانی برای همه وجود ندارد. محققان با توجه به کاربردهای مختلف، از استراتژی‌های متفاوتی برای ایجاد این پرسش‌ها استفاده می کنند.

یکی از جزئیات کلیدی که بین روش ها تفاوت ایجاد می‌کند، تعداد نمونه‌های حل شده‌ای است که به همراه پرسش به مدل تزریق می‌شود. این پارامتر تحت عنوان پرسش n-shot شناخته می‌شود، که در آن 'n' تعداد مثال‌ است. بن که در پرسش گنجانده شده است. به عبارت ساده‌تر، به جای اینکه یک مدل را بعد از آموزش روی داده‌های دیده نشده آزمایش کنیم، اکنون آن را با دادن یک کار و چند مثال از نحوه حل آن آزمایش می‌کنیم.

== تاثیرات ==
در سال 2023، مجله {{پم|مهندسی بیومدیکال طبیعت|Nature_Biomedical_Engineering|زبان=en}} نوشت که "دیگر نمی‌توان به طور دقیق" متن نوشته شده توسط انسان را از متن ایجاد شده توسط ال‌ال‌ام‌ها تشخیص داد، و "مطمئن است که ال‌ال‌ام‌های همه‌منظوره به سرعت تکثیر خواهند شد." و "شرط بندی بر سر این که ال‌ال‌ام‌ها در طول زمان بسیاری از صنایع را تغییر دهند، بدون باخت است."<ref name="ZDTUM">{{Cite journal|date=7 March 2023|title=Prepare for truly useful large language models|journal=Nature Biomedical Engineering|language=en|volume=7|issue=2|pages=85–86|doi=10.1038/s41551-023-01012-6|pmid=36882584}}</ref> موسسه [[گلدمن ساکس]] در سال 2023 پیش‌بینی کرد که هوش مصنوعی با زبان مولد می‌تواند [[تولید ناخالص داخلی]] جهانی را در ده سال آینده تا 7 درصد افزایش داده و  300 میلیون شغل در سراسر جهان را در معرض اتوماسیون قرار دهد.<ref name="81w7x">{{Cite news|date=7 May 2023|title=Your job is (probably) safe from artificial intelligence|work=The Economist|url=https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence|accessdate=18 June 2023}}</ref><ref name="zIM6Y">{{Cite web|title=Generative AI Could Raise Global GDP by 7%|url=https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html|accessdate=18 June 2023|website=Goldman Sachs}}</ref>

=== به خاطر سپردن داده و قانون حق کپی ===
برخلاف رفتار معمول شبکه‌های عصبی مصنوعی سنتی، به خاطر سپردن، یک رفتار نوظهور در ال‌ال‌ام‌ها است که هنگام تولید رشته‌های طولانی متن، گهگاه کلمه‌هایی عیناً مشابه به داده‌ای آموزش بیرون داده می‌شوند. ارزیابی خروجی‌های کنترل‌شده ال‌ال‌ام‌ها، میزان متون حفظ شده از داده‌های آموزش (با تمرکز بر مدل‌های سری [[جی‌پی‌تی ۲]]) را بیش از 1% برای موارد تکراری دقیق <ref>{{Cite journal|last=Peng|first=Zhencan|last2=Wang|first2=Zhizhi|last3=Deng|first3=Dong|date=13 June 2023|title=Near-Duplicate Sequence Search at Scale for Large Language Model Memorization Evaluation|url=https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf|journal=Proceedings of the ACM on Management of Data|volume=1|issue=2|pages=1–18|doi=10.1145/3589324|access-date=2024-01-20}} Citing Lee et al 2022.</ref> یا تا حدود 7% اندازه‌گیری می‌کند.<ref>{{Harvard citation no brackets|Peng|Wang|Deng|2023}}.</ref>

=== امنیت ===
برخی از نظردهندگان عمومی، نسبت به ایجاد تصادفی یا عمدی اطلاعات نادرست یا سایر اشکال استفاده نادرست از ال‌ال‌ام‌ها ابراز نگرانی کردند.<ref name="nD6kH">{{Cite news|last=Alba|first=Davey|date=1 May 2023|title=AI chatbots have been used to create dozens of news content farms|work=The Japan Times|url=https://www.japantimes.co.jp/news/2023/05/01/business/tech/ai-fake-news-content-farms/|accessdate=18 June 2023}}</ref> برای مثال، در دسترس بودن ال‌ال‌ام‌ها می‌تواند سطح مهارت مورد نیاز برای ارتکاب بیوتروریسم را کم کند. یک محقق امنیت زیستی، کوین اسولت، پیشنهاد کرده است که سازندگان ال‌ال‌ام باید از مقالات در زمینه ایجاد یا توسعه پاتوژن‌ها را مخزن آموزشی خود حذف کنند.<ref name="PKiPY">{{Cite journal|date=14 June 2023|title=Could chatbots help devise the next pandemic virus?|url=https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus|journal=Science|language=en|doi=10.1126/science.adj2463}}</ref>

مطالعه محققان در گوگل و چندین دانشگاه، از جمله [[دانشگاه کرنل]] و [[دانشگاه کالیفرنیا، برکلی]]، نشان داد که خطرات امنیتی بالقوه‌ای در مدل های زبانی مانند [[چت‌جی‌پی‌تی]] وجود دارد. در این مطالعه آنها این امکان را بررسی کردند که آیا پرسش‌کنندگان می‌توانند داده‌های آموزشی را که مدل هوش مصنوعی استفاده می‌کرد، از چت‌جی‌پی‌تی دریافت کنند. این محققان دریافتند که می‌توان داده‌های آموزشی را از مدل هوش مصنوعی دریافت کرد. به عنوان مثال، وقتی از [[چت‌جی‌پی‌تی]] 3.5 توربو می‌خواهیم کلمه "شعر" را برای همیشه تکرار کند، مدل هوش مصنوعی صدها بار "شعر" می‌گوید و سپس از سبک استاندارد دیالوگ منحرف می‌شود و عبارات غیرمرتبط را بیرون می‌ریزد، و عملاً بخش هایی از داده‌های آموزش خود را بدون تغییر بیرون می‌ریزد. محققان به بیش از 10000 نمونه مختلف برخورد کردند که مدل هوش مصنوعی داده‌های آموزشی خود را با روشی مشابه در معرض نمایش قرار می‌دهد. محققان به این نتیجه رسیدند که تشخیص اینکه آیا مدل هوش مصنوعی واقعاً ایمن است یا نه دشوار است.<ref>{{Cite web|last=Stephen Council|date=1 Dec 2023|title=How Googlers cracked an SF rival's tech model with a single word|url=https://www.sfgate.com/tech/article/google-openai-chatgpt-break-model-18525445.php|accessdate=|publisher=SFGATE}}</ref>

حضور بالقوه "عامل‌ خفته" در  ال‌ال‌ام‌ها یکی دیگر از نگرانی های امنیتی در حال ظهور است. این عامل‌ قابلیت‌های پنهانی هستند که در مدل تعبیه شده‌اند و تا زمانی که توسط یک رویداد یا شرایط خاص فعال شوند، غیرفعال باقی ‌می‌مانند. پس از فعال‌سازی، ال‌ال‌ام از رفتار مورد انتظار منحرف می‌شود به اقدامات ناامن دست می‌زند.<ref>{{Cite arXiv|last1=Hubinger|title=Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training}}</ref>

=== سوگیری الگوریتمی ===
{{اصلی|Algorithmic bias}}
در حالی که ال‌ال‌ام‌ها قابلیت‌های قابل توجهی در تولید متن شبه‌انسانی نشان داده‌اند، آنها مستعد به ارث بردن و تقویت سوگیری‌های موجود در داده‌های آموزشی خود هستند. این موضوع می‌تواند در بازنمایی‌های نادرست یا رفتار ناعادلانه با جمعیت‌های مختلف، مانند موارد مرتبط با نژاد، جنسیت، زبان و گروه‌های فرهنگی آشکار شود.<ref name=":83">{{Cite web|last=Stokel-Walker|first=Chris|date=November 22, 2023|title=ChatGPT Replicates Gender Bias in Recommendation Letters|url=https://www.scientificamerican.com/article/chatgpt-replicates-gender-bias-in-recommendation-letters/|accessdate=2023-12-29|website=Scientific American|language=en}}</ref> از آنجایی که داده‌های به زبان انگلیسی در داده‌های آموزشی مدل‌های زبان بزرگ کنونی بیش از بقیه زبان‌ها وجود دارد، ممکن است دیدگاه‌های غیرانگلیسی را نیز کم‌اهمیت جلوه داده شوند.<ref name="microsoft sparks2">{{Cite arXiv}}</ref>

=== کلیشه سازی ===
مدل‌های هوش مصنوعی می‌توانند طیف گسترده‌ای از کلیشه‌ها را، از جمله مدل‌های مبتنی بر جنسیت، قومیت، سن، ملیت، مذهب یا شغل بازتاب یا تقویت کنند. این می‌تواند منجر به خروجی‌هایی شود که به‌طور ناعادلانه به تعمیم‌دهی گروه‌هایی از مردم یا حتی تمسخر آنها، حتی گاهی به روش‌های مضر یا تحقیرآمیز، منجر شود.<ref>{{Citation|last=Cheng|first=Myra|title=Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models|date=2023-05-29|arxiv=2305.18189|last2=Durmus|first2=Esin|last3=Jurafsky|first3=Dan}}</ref>

سوگیری جنسیتی  اشاره به تمایل این مدل‌ها به تولید خروجی‌هایی دارد که ناعادلانه نسبت به یک جنسیت تعصب دارند. این سوگیری معمولاً از داده‌هایی ناشی می‌شود که این مدل‌ها بر اساس آنها آموزش داده شده‌اند. اغلب مدل‌های زبانی بزرگ بر اساس هنجارهای جنسیتی سنتی، نقش‌ها و ویژگی‌هایی را تعریف و استفاده می‌کنند.<ref name=":83"/> به عنوان مثال، ممکن است پرستاران یا منشی‌ها را عمدتاً با زنان و مهندسان یا مدیران عامل را با مردان مرتبط کند.<ref name="Cite book"/>

=== تعصب سیاسی ===
سوگیری سیاسی به تمایل الگوریتم‌ها برای برتری سیستماتیک دیدگاه‌ها، ایدئولوژی‌ها یا نتایج سیاسی خاص اشاره دارد. مدل‌های زبانی نیز ممکن است سوگیری‌های سیاسی را از خود بروز دهند. از آنجایی که داده‌های آموزشی شامل طیف گسترده‌ای از نظرات سیاسی است، بسته به شیوع آن دیدگاه‌ها در داده‌ها، مدل‌ها ممکن است پاسخ‌هایی ایجاد کنند که به ایدئولوژی‌ها یا دیدگاه‌های سیاسی خاص متمایل هستند.<ref>{{Cite web|last=Heikkilä|first=Melissa|date=August 7, 2023|title=AI language models are rife with different political biases|url=https://www.technologyreview.com/2023/08/07/1077324/ai-language-models-are-rife-with-political-biases/|accessdate=2023-12-29|website=MIT Technology Review|language=en}}</ref>

== چگونگی کار ==
تصور کنید در حال انجام یک بازی ویدیویی هستید که در آن شخصیت کامپیوتری می‌تواند تمام جزئیات اتفاقات گذشته را به خاطر بسپارد، اتفاقات بعدی را پیش‌بینی کند و حتی برای شما داستانی تعریف کند. به نوعی ال‌ال‌ام‌ها این کار را می‌کنند. آن‌ها حجم وسیعی از داده‌های متنی را تجزیه و تحلیل می‌کنند، از آن یادمی‌گیرند و سپس از آن دانش برای تولید پاسخ‌هایی استفاده می‌کنند که شبیه انسان به نظر می‌رسند.

آنها با پیش‌بینی کلمه یا نشانه بعدی بر اساس کلمات یا نشانه‌های قبلی که دیده‌اند کار می‌کنند. برای مثال، اگر به یک مدل زبانی بزرگ ورودی «آسمان» را بدهید، ممکن است کلمه بعدی را به صورت «آبی» یا «ابری» یا «تاریک» پیش‌بینی کند.

برای انجام این کار، ال‌ال‌ام‌ها از حجم عظیمی از داده‌ها، مانند متن از اینترنت، کتاب، مقاله و سایر منابع برای یادگیری الگوها و قوانین زبان استفاده می‌کنند. آنها همچنین از نوع خاصی از شبکه عصبی به نام ترانسفورمر (مبدل) برای پردازش توالی‌های ورودی و خروجی کلمات یا نشانه‌ها استفاده می‌کنند. ترانسفورمر از لایه‌های زیادی از واحدها به نام نورون تشکیل شده‌است که عملیات ریاضی را روی توالی‌های ورودی و خروجی انجام می‌دهد.

ال‌ال‌ام‌ها با تنظیم پارامترها یا وزن نورون‌ها در لایه‌های ترانسفورمر آموزش می‌بینند، به طوری که می‌توانند خطا بین کلمه یا نشانه بعدی پیش‌بینی شده و واقعی را به حداقل برسانند. هر چه ال‌ال‌ام داده‌ها و پارامترهای بیشتری داشته باشد، بهتر می‌تواند زبان را بیاموزد و کارهای مختلفی مانند خلاصه‌نویسی، ترجمه، پاسخ به سؤالات، نوشتن مقاله و غیره را بهتر انجام دهد. با این حال، داشتن داده‌ها و پارامترهای بیشتر به این معنی است که ال‌ال‌ام برای آموزش و اجرا به منابع محاسباتی بیشتری مانند حافظه و قدرت پردازش نیاز دارد. به‌علاوه، به این معنی است که ال‌ال‌ام ممکن است سوگیری‌ها و خطاهای موجود در داده‌ها مانند کلیشه‌ها، پیش‌داوری‌ها و اطلاعات غلط را به ارث برده و یا حتی تقویت کند؛ بنابراین، ال‌ال‌ام‌ها باید به دقت طراحی و آموزش داده شده و ارزیابی شوند تا از دقت، عدالت و استفاده اخلاقی از آنها اطمینان حاصل شود.

== مشاهدات بیشتر ==

* [[مدل‌های بنیادی]]

== پاورقی‌ها ==
<references group="پاورقی" />

== منابع ==
{{پانویس|۲}}{{پردازش زبان طبیعی}}{{هوش مصنوعی مولد}}

[[رده:مدل‌های زبانی بزرگ| ]]
[[رده:پردازش زبان‌های طبیعی]]
[[رده:یادگیری عمیق]]