نمایش مبدأ برای برت (مدل زبانی)

{{short description|سری مدل‌های زبانی توسعه‌یافته توسط گوگل ای‌آی}} {{Infobox software | name = بازنمایی‌های رمزگذار دوسویه از ترنسفورمر (BERT) | logo = | screenshot = | screenshot size = | caption = | author = [[گوگل ای‌آی]] | developer = | released = October 31, 2018 | latest release version = | latest release date = March 11, 2020 | repo = {{URL|https://github.com/google-research/bert}} | programming language = | operating system = | replaces = | replaced_by = | genre = {{ indented plainlist | 
* [[مدل زبانی بزرگ]] 
* [[ترنسفورمر (یادگیری عمیق)]] 
* [[مدل‌های بنیادی]] 
}} | license = [[Apache 2.0]] | website = |نام=بازنمایی‌های رمزگذار دوسویه از ترنسفورمر}}
'''بازنمایی‌های رمزگذار دوسویه از ترنسفورمر{{یادچپ|Bidirectional Encoder Representations from Transformers (BERT)}}''' {{اختصاری|BERT}} یک [[مدل زبانی]] است که در اکتبر ۲۰۱۸ توسط پژوهشگران [[گوگل|Google]] معرفی شد.<ref name=":0">{{Cite arXiv|last1=Devlin|first1=Jacob|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|date=11 October 2018|eprint=1810.04805v2|class=cs.CL}}</ref><ref>{{Cite web |date=2 November 2018 |title=Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing |url=http://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html |access-date=2019-11-27 |website=Google AI Blog |language=en}}</ref> این مدل برای نمایش متن به‌صورت یک توالی از بردارها از [[یادگیری خودنظارتی]] استفاده می‌کند. و در این روش از معماری [[ترنسفورمر (یادگیری عمیق)#رمزگذار|ترنسفورمر فقط رمزگذار]]'''{{یادچپ|encoder-only transformer}}''' استفاده می‌کند. بهره گیری به عنوان نمونه‌ای اولیه از یک [[مدل زبانی بزرگ]]، و همچنین بهبود چشمگیر عملکرد آن نسبت به مدل‌های دیگر آنرا دارای اهمیت کرده است. {{As of|2020}}، برت به‌عنوان یک خط‌مبنای فراگیر در آزمایش‌های [[پردازش زبان‌های طبیعی]] مطرح است.<ref name=":4">{{Cite journal|last1=Rogers|first1=Anna|last2=Kovaleva|first2=Olga|last3=Rumshisky|first3=Anna|date=2020|title=A Primer in BERTology: What We Know About How BERT Works|url=https://aclanthology.org/2020.tacl-1.54|journal=Transactions of the Association for Computational Linguistics|volume=8|pages=842–866|doi=10.1162/tacl_a_00349|arxiv=2002.12327|s2cid=211532403}}</ref>
برت با استفاده از دو تکنیک 1. [[برت (مدل زبانی)#پیش‌بینی توکن پوشیده|پیش‌بینی توکن پوشیده]]'''{{یادچپ|masked token prediction}}''' و 2. پیش‌بینی جمله بعدی آموزش داده می‌شود. مشابه [[ال‌مو]] و [[جی‌پی‌تی ۲]]، برت در طول فرایند آموزش و در بطن خود، [[فضای نهفته|نمایش‌های درونی]] و وابسته به متن را از روی توکن‌ها فرا می‌گیرد.<ref name=":5">{{Citation |last=Ethayarajh |first=Kawin |title=How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings |date=2019-09-01 |arxiv=1909.00512}}</ref> این مدل در بسیاری از وظایف [[پردازش زبان‌های طبیعی|پردازش زبان طبیعی]]، مانند [[هم‌مرجع#تشخیص هم‌مرجع|تشخیص و رفع ابهام هم‌مرجع]]'''{{یادچپ|coreference resolution}}''' و رفع ابهام [[چندمعنایی]]'''{{یادچپ|polysemy resolution}}'''، کاربرد پیدا کرده‌است.<ref>{{Cite web |last=Anderson |first=Dawn |date=2019-11-05 |title=A deep dive into BERT: How BERT launched a rocket into natural language understanding |url=https://searchengineland.com/a-deep-dive-into-bert-how-bert-launched-a-rocket-into-natural-language-understanding-324522 |access-date=2024-08-06 |website=Search Engine Land |language=en}}</ref> این مدل گامی تکاملی نسبت به [[ال‌مو]] محسوب می‌شود و به پیدایش حوزه‌ای موسوم به «برتولوژی»'''{{یادچپ|BERTology}}''' انجامید که می‌کوشد فرابگیرد برت دقیقاً چه چیزهایی را یاد گرفته است.<ref name=":4" />

برت در ابتدا برای زبان انگلیسی و در دو اندازه مدل، یعنی برت <sub>پایه</sub> (BERT<sub>BASE</sub>) با ۱۱۰ میلیون پارامتر و برت <sub>بزرگ</sub> (BERT<sub>LARGE</sub>) با ۳۴۰ میلیون پارامتر پیاده‌سازی شد. هر دوی آن‌ها بر پایه [[BookCorpus|پیکره کتاب تورنتو]]'''{{یادچپ|BookCorpus}}''' <ref> name="bookcorpus"{{cite arXiv|last1=Zhu|first1=Yukun|last2=Kiros|first2=Ryan|last3=Zemel|first3=Rich|last4=Salakhutdinov|first4=Ruslan|last5=Urtasun|first5=Raquel|last6=Torralba|first6=Antonio|last7=Fidler|first7=Sanja|date=2015|title=Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books|pages=19–27|class=cs.CV|eprint=1506.06724}}</ref> (با ۸۰۰ میلیون واژه) و [[ویکی‌پدیای انگلیسی]] (با ۲٬۵۰۰ میلیون واژه) آموزش دیده‌اند. وزن‌های آموزش‌داده‌شده نیز در [[گیت‌هاب]] منتشر شدند.<ref name=":3">{{cite web |title=BERT |url=https://github.com/google-research/bert |access-date=28 March 2023 |website=GitHub}}</ref> در ۱۱ مارس ۲۰۲۰، ۲۴ مدل کوچک‌تر نیز منتشر شدند که مدل BERT<sub>TINY</sub> با ۴ میلیون پارامتر کوچک‌ترین آن‌ها بود.<ref name=":3" />

== معماری ==
[[File:BERT_embeddings_01.png|thumb|330x330px|نمای کلی از برت. ابتدا متن ورودی به یک توالی از توکن‌ها تبدیل و سپس توکن‌های ویژه اختیاری اضافه می‌شوند. در ادامه یک رمزگذار ترنسفورمر بر روی آن اعمال می‌گردد. حالت‌های پنهان لایه نهایی می‌توانند به‌عنوان بردارهای واژگانِ وابسته به زمینه متن به کار گرفته شوند. در معماری فقط-رمزگذار، توجه به‌صورت همه‌به‌همه انجام می‌شود.]] برت یک معماری «[[ترنسفورمر (یادگیری عمیق)#رمزگذار|ترنسفورمر فقط رمزگذار]]» است. در دید کلی، برت از چهار ماژول تشکیل شده‌است:

* توکن‌ساز: این ماژول یک متن انگلیسی را به یک توالی از اعداد صحیح (توکن‌ها) تبدیل می‌کند.
* [[دگرنمایی واژه|دگرنمایی]]'''{{یادچپ|Embedding}}''': این ماژول، توکن‌های گسسته را به فضایی با ابعاد کمتر (با بردارهای حقیقی) [[نگاشت خطی|می‌نگارد]] و نشان‌دهنده مرحله تبدیل انواع توکن‌های گسسته به یک فضای اقلیدسی با بعد کمتر است.
* رمزگذار: پشته‌ای از بلوک‌های [[ترنسفورمر (یادگیری عمیق)|ترنسفورمر]] دارای [[توجه (یادگیری ماشین)|خود-آگاهی]]'''{{یادچپ|self-attention}}''' است اما بدون پوشانندگی علّی (causal masking).
* سر وظیفه'''{{یادچپ|Task head}}''': این ماژول، بردارهای نمایشِ نهایی را دوباره به توکن‌های [[یک داغ]]'''{{یادچپ|one-hot encoded tokens}}''' نگاشت می‌کند و خروجی آن یک پیش‌بینی از توزیع احتمال بر روی انواع توکن‌ها است. از این منظر می‌توان آن را یک رمزگشا یا «لایه واگشایی»'''{{یادچپ|un-embedding layer}}''' در نظر گرفت.

گرچه سر وظیفه برای پیش‌آموزش'''{{یادچپ|pre-training}}''' لازم است، اما غالباً در وظایف به اصطلاح «پایین‌دستی»'''{{یادچپ|downstream tasks}}''' مانند [[پرسش و پاسخ]] یا [[عقیده کاوی]] به کار نمی‌آید. در این کاربردها، سر وظیفه حذف می‌شود و یک ماژولِ جدید که برای آن وظیفه مناسب است اضافه شده و سپس تنظیم‌‌دقیق بر روی مدل انجام می‌شود. به این ترتیب، بردارِ نمایش پنهان مدل به طور مستقیم وارد ماژول جدید شده و یک [[یادگیری انتقالی]] با کاراییِ نمونه‌ای بالا'''{{یادچپ|sample-efficient}}''' به دست می‌آید.<ref name=":0" /><ref>{{Citation |last1=Zhang |first1=Tianyi |title=Revisiting Few-sample BERT Fine-tuning |date=2021-03-11 |arxiv=2006.05987 |last2=Wu |first2=Felix |last3=Katiyar |first3=Arzoo |last4=Weinberger |first4=Kilian Q. |last5=Artzi |first5=Yoav}}</ref>. امروزه با دیتاست‌های به نسبت کوچک روی وظایف دلخواه پردازش زبان‌های طبیعی هم می‌توان به نتایج خوب با دقت‌های بالایی رسید و به صورت محاسباتی هم هزینه کمتری دارند چراکه قبلا برت روی داده‌های زیادی آموزش داده شده است.<ref>{{cite web|last1=Horev|first1=Rani|title=BERT Explained: State of the art language model for NLP|url=https://towardsdatascience.com/bert-explained-state-of-the-art-language-model-for-nlp-f8b21a9b6270|website=Towards Data Science|access-date=27 September 2021|date=2018}}</ref>
=== دگرنمایی واژه === 
این بخش، دگرنمایی واژه به‌کاررفته در BERT<sub>BASE</sub> را توصیف می‌کند. مدل BERT<sub>LARGE</sub>، مشابه همین است اما اندازه بزرگ‌تری دارد.

ماژول توکن‌ساز برت، [[WordPiece|وُردپیس]] است که یک راهکار زیرواژگانی همچون [[کدگذاری جفت بایت]] محسوب می‌شود. اندازه واژگان آن ۳۰٬۰۰۰ است و هر توکنی که در واژگان آن وجود نداشته باشد، با توکن <code>[UNK]</code> («ناشناس») جایگزین می‌شود.
[[File:BERT_input_embeddings.png|thumb|284x284px|سه نوع توکارسازی استفاده‌شده در BERT: نوع توکن، جایگاه، و نوع قطعه.]] لایه اول، لایه دگرنمایی واژه'''{{یادچپ|embedding layer}}''' است که از سه بخش تشکیل شده‌است: دگرنمایی نوع توکن، دگرنمایی جایگاه (موقعیت) و دگرنمایی نوع قطعه متن.

* نوع توکن'''{{یادچپ|embedding layer}}''': این ماژول یک لایه دگرنمایی استاندارد است که بر اساس نوع توکن، یک بردار [[یک داغ]] را به یک بردار چگال'''{{یادچپ|dense vector}}''' (فشرده) تبدیل می‌کند.
* جایگاه'''{{یادچپ|Position}}''': دگرنمایی‌های جایگاه بر اساس جایگاه توکن در توالی عمل می‌کنند. برت از دگرنمایی جایگاه مطلق استفاده می‌کند'''{{یادچپ|absolute position embeddings}}'''. در این روش هر جایگاه در توالی به یک بردار حقیقی نگاشت می‌شود. هر بعد از این بردار یک [[موج سینوسی]] است که جایگاه توکن در توالی را به عنوان ورودی دریافت می‌کند.

* نوع قطعه '''{{یادچپ|Segment type}}''': با استفاده از یک مخزن واژگان صرفاً ۰ یا ۱، این لایه یک بردار چگال تولید می‌کند و عملاً نمایشی از تعلق توکن به بخش اول یا دوم متن ورودی است. به‌عبارت دیگر، توکن‌هایی که پس از توکن ویژه <code>[SEP]</code> قرار گرفته‌اند همگی از نوع ۱ هستند و توکن‌های پیش از آن از نوع ۰.

این سه بردار دگرنمایی با هم جمع می‌شوند تا نمایش اولیه توکن بورت تابعی از این سه دسته اطلاعات شکل بگیرد. پس از مرحله دگرنمایی، نمایش برداری با استفاده از عملیات [[نرمال‌سازی (یادگیری ماشین)#نرمال‌سازی لایه|LayerNorm]]<sup>[<nowiki/>[[:en:Normalization_(machine_learning)#Layer_normalization|en]]]</sup> نرمال‌سازی می‌شود و یک بردار ۷۶۸-بعدی برای هر توکن ورودی بدست می‌آید. سپس، بردارهای نمایش از ۱۲ بلوک رمزگذارِ ترنسفورمر عبور می‌کنند و در انتها، با یک لایه تبدیل خطی ساده'''{{یادچپ|affine transformation layer}}''' به فضای واژگانی ۳۰٬۰۰۰-بعدی بازگشایی می‌شوند.

=== خانواده ساختار === 
پشته رمزگذار برت دو پارامتر آزاد دارد: <math>L</math> (تعداد لایه‌ها) و <math>H</math> ('''اندازه پنهان'''). همیشه تعداد سرهای [[توجه (یادگیری ماشین)|توجه خود]] برابر <math>H/64</math> است و اندازه لایه میانیِ [[شبکه عصبی پیشخور|شبکه پیش‌خور]]'''{{یادچپ|feed-forward}}''' یا فیلتر همواره <math>4H</math> در نظر گرفته می‌شود. با تغییر این دو عدد، می‌توان کل خانواده مدل‌های برت را به دست آورد.<ref>{{Citation |last1=Turc |first1=Iulia |title=Well-Read Students Learn Better: On the Importance of Pre-training Compact Models |date=2019-09-25 |arxiv=1908.08962 |last2=Chang |first2=Ming-Wei |last3=Lee |first3=Kenton |last4=Toutanova |first4=Kristina}}</ref>

برای برت:

* «'''اندازه پیش‌خور'''» و «'''اندازه فیلتر'''» هم‌معنا هستند و هر دو اشاره به شمار ابعاد در لایه میانیِ شبکه پیش‌خور دارند.
* «'''اندازه پنهان'''» و «'''اندازه دگرنمایی'''» نیز هم‌معنا هستند و هر دو اشاره به تعداد اعداد حقیقی مورد استفاده برای نمایش یک توکن دارند.

نمایش پشته رمزگذار را به‌شکل L/H می‌نویسند. به‌عنوان نمونه، BERT<sub>BASE</sub> به صورت 12L/768H نوشته می‌شود، BERT<sub>LARGE</sub> به‌شکل 24L/1024H، و BERT<sub>TINY</sub> نیز با 2L/128H نشان داده می‌شود.

== آموزش == 

=== پیش‌آموزش === 
پیش‌آموزش برت به‌صورت هم‌زمان روی دو وظیفه انجام شده است.<ref>{{Cite web |title=Summary of the models — transformers 3.4.0 documentation |url=https://huggingface.co/transformers/v3.4.0/model_summary.html |access-date=2023-02-16 |website=huggingface.co}}</ref>

==== مدل‌سازی زبانیِ پوشیده'''{{یادچپ|Masked language modeling}}''' ==== 
[[File:BERT_masked_language_modelling_task.png|thumb|وظیفه مدل‌سازی زبانیِ پوشیده (masked language modeling)]] در مدل‌سازی زبانیِ پوشیده، ۱۵٪ از توکن‌ها به‌صورت تصادفی برای وظیفه پیش‌بینی-توکن-پوشیده انتخاب می‌شدند و هدف آموزش این بود که توکن پوشیده‌شده را بر اساس زمینه متن اطراف آن پیش‌بینی کند. با جزئیات بیشتر می توان این طور بیان کرد:

* با احتمال ۸۰٪ توکن انتخابی با <code>[MASK]</code> جایگزین می‌شود.
* با احتمال ۱۰٪ توکن انتخابی با یک واژه تصادفی جایگزین می‌شود.
* با احتمال ۱۰٪ هیچ تغییری اعمال نمی‌شود.

دلیل این که همه توکن‌های انتخابی پوشیده نمی‌شوند، جلوگیری از مشکل جابه‌جایی توزیع'''{{یادچپ|dataset shift}}''' است. این مشکل زمانی پدید می‌آید که توزیع داده‌های ورودی در مرحله آموزش به‌طور چشمگیری با توزیع داده‌ها در مرحله استنتاج'''{{یادچپ|inference}}''' متفاوت باشد. یک مدل برت آموزش‌دیده را می‌توان برای نمایش واژگان (مشابه [[Word2vec|Word2Vec]]) استفاده کرد، بدین ترتیب این مدل به جای فعالیت بر روی یک توکن <code>[MASK]</code> شده، می‌تواند بر روی کل جمله اعمال می‌شود.<ref>{{Citation |last1=Tay |first1=Yi |title=UL2: Unifying Language Learning Paradigms |date=2023-02-28 |arxiv=2205.05131 |last2=Dehghani |first2=Mostafa |last3=Tran |first3=Vinh Q. |last4=Garcia |first4=Xavier |last5=Wei |first5=Jason |last6=Wang |first6=Xuezhi |last7=Chung |first7=Hyung Won |last8=Shakeri |first8=Siamak |last9=Bahri |first9=Dara}}</ref>
برای نمونه، جمله «سگ من بامزه است» در نظر بگیرید. ابتدا به توکن‌های «سگ<sub>1</sub> من<sub>2</sub> بامزه<sub>3</sub> است<sub>4</sub>» تقسیم می‌شود. سپس به‌طور تصادفی یکی از توکن‌های جمله انتخاب می‌گردد. فرض کنید توکن سوم «بامزه<sub>3</sub>» برگزیده شود. در مرحله بعد سه احتمال وجود دارد:

* با احتمال ۸۰٪ توکن انتخابی پوشیده می‌شود و نتیجه «سگ<sub>1</sub> من<sub>2</sub> <code>[MASK]</code> است<sub>4</sub>» خواهد بود.
* با احتمال ۱۰٪ توکن انتخابی با یک توکن تصادفی مثل «خوشحال» جایگزین می‌شود، یعنی «سگ<sub>1</sub> من<sub>2</sub> خوشحال<sub>3</sub> است<sub>4</sub>».
* با احتمال ۱۰٪ تغییری ایجاد نمی‌شود و جمله به همان صورت «سگ<sub>1</sub> من<sub>2</sub> بامزه<sub>3</sub> است<sub>4</sub>» باقی می‌ماند.

پس از پردازش متن ورودی، بردار خروجیِ چهارم مدل به لایه رمزگشای آن ارسال می‌شود که یک توزیع احتمالی را در فضای واژگان ۳۰٬۰۰۰-بعدی‌اش خروجی می‌دهد.

==== پیش‌بینی جمله بعدی'''{{یادچپ|Next sentence prediction}}''' ==== 
[[File:BERT_next_sequence_prediction_task.png|thumb|وظیفه پیش‌بینی جمله بعدی]] 
با داشتن دو قطعه متن قبل و بعد، مدل پیش‌بینی می‌کند که آیا این دو قطعه در مجموعه داده به‌صورت پشت‌سرهم ظاهر شده‌اند یا نه و در نتیجه یکی از برچسب‌های <code>[IsNext]</code> یا <code>[NotNext]</code> را خروجی می‌دهد. قطعه اول با توکن ویژه <code>[CLS]</code> (مخفف "classify") آغاز می‌شود و این دو قطعه با توکن ویژه <code>[SEP]</code> (مخفف "separate") از هم جدا می‌شوند. پس از پردازش این دو قطعه، بردار خروجیِ مرتبه ۱ (برداری که مربوط به <code>[CLS]</code> است) به یک شبکه عصبی جداگانه داده می‌شود تا طبقه‌بندی دودویی به‌صورت <code>[IsNext]</code> یا <code>[NotNext]</code> انجام شود.

برای مثال، اگر ورودی به‌صورت «<code>[CLS]</code> سگ من بامزه است <code>[SEP]</code> او بازی کردن را دوست دارد» باشد، مدل باید توکن <code>[IsNext]</code> را خروجی دهد.

اگر ورودی به‌صورت «<code>[CLS]</code> سگ من بامزه است <code>[SEP]</code> آهنربا چگونه کار می‌کند» باشد، مدل باید توکن <code>[NotNext]</code> را خروجی دهد.

=== تنظیم‌‌دقیق ===
{{Gallery |title=تنظیم‌‌دقیق وظایف برای برت<ref name="zhangetal2024" /> |align=center |File:BERT on sentiment classification.svg|طبقه‌بندی معنایی|File:BERT on sentence classification.svg|طبقه‌بندی جمله|File:BERT on multiple-choice question-answering.svg|پاسخ‌دهی به سوالات چندجوابی|File:BERT on tagging.svg|[[برچسب‌گذاری جزء کلام]] }}

برت به عنوان مدلی پیش‌آموزش‌دیده، برای کاربری‌های گوناگون در [[پردازش زبان‌های طبیعی|پردازش زبان طبیعی]] طراحی شده است. بدین صورت که پس از پیش‌آموزش، می‌توان مدل برت را با منابع کمتر و روی مجموعه‌داده‌های کوچک‌تر [[تنظیم دقیق (یادگیری ماشین)|تنظیم‌‌دقیق]] کرد تا عملکردش را روی وظایف خاصی مانند [[Textual entailment|استنباط زبان طبیعی]]، [[دسته‌بندی اسناد|دسته‌بندی متن]]، و همچنین وظایف تولیدیِ مبتنی بر توالی به توالی مانند [[پرسش و پاسخ]] یا تولید پاسخ مکالمه‌ای بهینه کند.<ref name="zhangetal2024">{{Cite book |last1=Zhang |first1=Aston |title=Dive into deep learning |last2=Lipton |first2=Zachary |last3=Li |first3=Mu |last4=Smola |first4=Alexander J. |date=2024 |publisher=Cambridge University Press |isbn=978-1-009-38943-3 |location=Cambridge New York Port Melbourne New Delhi Singapore |chapter=11.9. Large-Scale Pretraining with Transformers |chapter-url=https://d2l.ai/chapter_attention-mechanisms-and-transformers/large-pretraining-transformers.html}}</ref>

مقاله اولیه برت نتایجی را منتشر کرد که نشان می‌داد با مقدار کمی از تنظیم‌‌دقیق (برای مدل BERT<sub>LARGE</sub>، به میزان ۱ ساعت بر روی ۱ [[واحد پردازشی تنسور|تی‌پی‌یو ابری]]) به آن این امکان را می‌دهد که در شماری از وظایف [[فهم زبان‌های طبیعی|درک زبان طبیعی]] جزو [[بهترین فناوری روز|بهترین‌ها]] باشد:<ref name=":0" />

* مخزن داده GLUE ([[General Language Understanding Evaluation|ارزیابی درک زبان عمومی]]) شامل ۹ وظیفه که مجموعه‌ای از دیتاست‌هایی است که در پردازش زبان‌های طبیعی به عنوان وظایف معروف به کار می‌روند.
* مخزن داده SQuAD (مجموعه داده سوال و پاسخ [[دانشگاه استنفورد]]) نسخه ۱٫۱ و ۲٫۰؛<ref>{{Cite arXiv |eprint=1606.05250 |class=cs.CL |first1=Pranav |last1=Rajpurkar |first2=Jian |last2=Zhang |title=SQuAD: 100,000+ Questions for Machine Comprehension of Text |date=2016-10-10 |last3=Lopyrev |first3=Konstantin |last4=Liang |first4=Percy}}</ref>
* مخزن داده SWAG (موقعیت‌های با تولید جملات تهاجمی) که موقعیت‌هایی از پردازش زبان‌های طبیعی است که یک سازنده متخاصم آنها را درست کرده است.<ref>{{Cite arXiv |eprint=1808.05326 |class=cs.CL |first1=Rowan |last1=Zellers |first2=Yonatan |last2=Bisk |title=SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference |date=2018-08-15 |last3=Schwartz |first3=Roy |last4=Choi |first4=Yejin}}</ref>

در مقاله اصلی، همه پارامترهای برت تنظیم‌‌دقیق می‌شدند و توصیه شده بود که برای کاربردهای پایین‌دستی که متن را طبقه‌بندی می‌کنند، خروجی توکن در ورودیِ <code>[CLS]</code> وارد یک لایه خطی-سافت‌مکس شود تا برچسب‌ها تولید شوند.<ref name=":0" />

در کد منبع اولیه، لایه خطی نهایی «pooler layer» نام‌گذاری شده بود که شباهت زیادی با [[Pooling layer|global pooling]] در بینایی ماشین داشت. هرچند عملاً همه توکن‌های خروجی بجز توکن متناظر با <code>[CLS]</code> را کنار می‌گذاشت.<ref>{{Cite web |title=bert/modeling.py at master · google-research/bert |url=https://github.com/google-research/bert/blob/master/modeling.py |access-date=2024-09-16 |website=GitHub |language=en}}</ref>

=== هزینه === 
برت بر روی [[BookCorpus|پیکره کتاب تورنتو]] (با ۸۰۰ میلیون واژه) و نسخه‌ای پالایش‌شده از [[ویکی‌پدیای انگلیسی]] (با ۲٬۵۰۰ میلیون واژه) بدون فهرست‌ها، جدول‌ها و سرفصل‌ها آموزش داده شد.

آموزش BERT<sub>BASE</sub> بر روی ۴ [[واحد پردازشی تنسور|تی‌پی‌یو ابری]] (در مجموع ۱۶ تراشه تی‌پی‌یو) به مدت ۴ روز طول کشید و هزینه آن حدود ۵۰۰ دلار تخمین زده می‌شود.<ref name=":3" /> 

آموزش BERT<sub>LARGE</sub> بر روی ۱۶ تی‌پی‌یو ابری (در مجموع ۶۴ تراشه تی‌پی‌یو) نیز ۴ روز زمان برد.<ref name=":0" />

== تفسیر == 
مدل‌های زبانی مانند [[ال‌مو]]، [[جی‌پی‌تی ۲]]، و برت، به پیدایش حوزه‌ای به نام «برتولوژی» منجر شدند که تلاش می‌کند دریابد این مدل‌ها چه چیزهایی را می‌آموزند. عملکرد آن‌ها در این وظایف  [[فهم زبان‌های طبیعی|درک زبان طبیعی]]  هنوز به‌خوبی درک نشده‌است.<ref name=":4" /><ref name=":1">{{Cite book|last1=Kovaleva|first1=Olga|last2=Romanov|first2=Alexey|last3=Rogers|first3=Anna|last4=Rumshisky|first4=Anna|date=November 2019|chapter=Revealing the Dark Secrets of BERT|chapter-url=https://www.aclweb.org/anthology/D19-1445|language=en-us|pages=4364–4373|doi=10.18653/v1/D19-1445|title=Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)|s2cid=201645145}}</ref><ref name=":2">{{Cite journal|last1=Clark|first1=Kevin|last2=Khandelwal|first2=Urvashi|last3=Levy|first3=Omer|last4=Manning|first4=Christopher D.|date=2019|title=What Does BERT Look at? An Analysis of BERT's Attention|journal=Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|pages=276–286|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|doi=10.18653/v1/w19-4828|doi-access=free|arxiv=1906.04341}}</ref> در سال‌های ۲۰۱۸ و ۲۰۱۹، چندین پژوهش تلاش کردند تا رابطه بین ورودی‌های انتخاب‌شده و خروجی‌های برت را بررسی کنند،<ref>{{Cite journal|last1=Khandelwal|first1=Urvashi|last2=He|first2=He|last3=Qi|first3=Peng|last4=Jurafsky|first4=Dan|date=2018|title=Sharp Nearby, Fuzzy Far Away: How Neural Language Models Use Context|journal=Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)|pages=284–294|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|doi=10.18653/v1/p18-1027|arxiv=1805.04623|s2cid=21700944}}</ref><ref>{{Cite book|last1=Gulordava|first1=Kristina|last2=Bojanowski|first2=Piotr|last3=Grave|first3=Edouard|last4=Linzen|first4=Tal|last5=Baroni|first5=Marco|title=Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) |chapter=Colorless Green Recurrent Networks Dream Hierarchically |date=2018|pages=1195–1205|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|doi=10.18653/v1/n18-1108|arxiv=1803.11138|s2cid=4460159}}</ref> و [[فضای نهفته|بردارهای درونی]] ([[مدل فضای برداری]]) را با استفاده از کاوشگر طبقه‌بندی‌کننده '''{{یادچپ|probing classifiers}}''' تحلیل کنند،<ref>{{Cite journal|last1=Giulianelli|first1=Mario|last2=Harding|first2=Jack|last3=Mohnert|first3=Florian|last4=Hupkes|first4=Dieuwke|last5=Zuidema|first5=Willem|date=2018|title=Under the Hood: Using Diagnostic Classifiers to Investigate and Improve how Language Models Track Agreement Information|journal=Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|pages=240–248|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|doi=10.18653/v1/w18-5426|arxiv=1808.08079|s2cid=52090220}}</ref><ref>{{Cite journal|last1=Zhang|first1=Kelly|last2=Bowman|first2=Samuel|date=2018|title=Language Modeling Teaches You More than Translation Does: Lessons Learned Through Auxiliary Syntactic Task Analysis|journal=Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|pages=359–361|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|doi=10.18653/v1/w18-5448|doi-access=free}}</ref> و بررسی کنند که وزن‌های [[ترنسفورمر (یادگیری عمیق)|توجه]] چه رابطه‌ای را بازنمایی می‌کنند.<ref name=":1" /><ref name=":2" />

عملکرد بالای مدل برت ممکن است به این دلیل باشد که در فرایند آموزش به‌صورت دوسویه آموزش داده می‌شود.<ref>{{cite journal |last1=Sur |first1=Chiranjib |title=RBN: enhancement in language attribute prediction using global representation of natural language transfer learning technology like Google BERT |journal=SN Applied Sciences |date=January 2020 |volume=2 |issue=1 |doi=10.1007/s42452-019-1765-9|doi-access=free }}</ref> به این معنی که  برت، بر اساس معماری مدل ترنسفورمر، مکانیزم توجه خود را به‌گونه‌ای اعمال می‌کند که هم از متن سمت چپ و هم از متن سمت راست در طول آموزش اطلاعات بیاموزد و در نتیجه درک عمیقی از بافت متن به دست آورد. برای نمونه، واژه «fine» در جمله‌های انگلیسی «I feel fine today» و «She has fine blond hair» دو معنای متفاوت دارد که وابسته به بافت هستند. برت، واژگان پیرامون واژه «fine» را هم از چپ و هم از راست در نظر می‌گیرد.

البته این کار هزینه‌هایی هم دارد: به دلیل معماری [[ترنسفورمر (یادگیری عمیق)#رمزگذار|فقط رمزگذار]] که فاقد بخش رمزگشا است، برت نمی‌تواند مورد [[مهندسی پرسش|پرسش]] قرار بگیرد و قادر به [[تولید زبان طبیعی|تولید متن]] نیست. البته بطور کلی مدل‌های دوسویه بدون داشتن اطلاعات از سمت راست چندان مؤثر عمل نمی‌کنند؛ بنابراین به‌سختی می‌توان از آن‌ها به‌عنوان مدل‌های قابل [[مهندسی پرسش|پرسش]] استفاده کرد. برای نمونه، اگر بخواهید از برت برای ادامه جمله «امروز، رفته بودم» استفاده کنید، ممکن است آن را به «امروز، رفته بودم <code>[MASK]</code> <code>[MASK]</code> <code>[MASK]</code> ... <code>[MASK]</code>» تبدیل کنید که تعداد <code>[MASK]</code>ها برابر طول جمله مورد نظر برای ادامه است. اما این کار باعث تغییر توزیع داده می‌شود؛ چون در مرحله آموزش، برت هرگز جملاتی را ندیده است که در آن این تعداد توکن پوشیده (<code>[MASK]</code>) وجود دارد. در نتیجه عملکرد آن ضعیف می‌شود. روش‌های پیچیده‌تری برای تولید متن با برت وجود دارند اما هزینه محاسباتی بالایی دارند.<ref>{{cite arXiv |eprint=2209.14500 |class=cs.LG |first1=Ajay |last1=Patel |first2=Bryan |last2=Li |title=Bidirectional Language Models Are Also Few-shot Learners |author3=Mohammad Sadegh Rasooli |last4=Constant |first4=Noah |last5=Raffel |first5=Colin |last6=Callison-Burch |first6=Chris |year=2022}}</ref>

== تاریخچه مدل ==

پیش از برت تاریخچه اینگونه مدل‌ها به روش‌های نیمه‌نظارتی یادگیری ماشین<ref>{{cite arXiv|last1=Dai|first1=Andrew|last2=Le|first2=Quoc|title=Semi-supervised Sequence Learning|date=4 November 2015|eprint=1511.01432|class=cs.LG}}</ref> و مدل‌هایی دیگر نظیر ELMo<ref>{{cite arXiv|last1=Peters|first1=Matthew|last2=Neumann|first2=Mark|last3=Iyyer|first3=Mohit|last4=Gardner|first4=Matt|last5=Clark|first5=Christopher|last6=Lee|first6=Kenton|last7=Luke|first7=Zettlemoyer|title=Deep contextualized word representations|date=15 February 2018|eprint=1802.05365v2|class=cs.CL}}</ref> و ULMFit<ref>{{cite arXiv|last1=Howard|first1=Jeremy|last2=Ruder|first2=Sebastian|title=Universal Language Model Fine-tuning for Text Classification|date=18 January 2018|eprint=1801.06146v5|class=cs.CL}}</ref> برمی‌گردد. برخلاف مدل‌های پیشین برت یک مدل دوطرفه (Bidirectional) بدون نظارت (Unsupervised) است که روی متن خام آموزش داده شده است.
برخی از مدل‌های دیگر نظیر Word2vec یا GloVe همگی به صورت مستقل از زمینه (Context free) هستند که برای هر کلمه مستقل از محتوا می‌توانند یک نمایش (Embedding) ایجاد نمایند ولی برخلاف آنها برت با تمرکز روی زمینه (Context) می‌تواند بر اساس محتوا برای یک کلمه نمایش‌های مختلفی داشته باشد و این ما را یک قدم به فهمیدن مفهوم یک کلمه در جمله فارز از معنی کلمه نزدیک‌تر می‌کند. به عنوان نمونه اگر دو جمله به صورت «He is running a comapny» و «He is running a marathon» داشته باشیم که در اولی «running» به معنای «اداره کردن» و در دومی «running» به معنای «دویدن» است برای این دو کلمه می‌تواند بر اساس محتوای جمله تفاوت قائل شود و آنها را به یک صورت نمی‌بیند ولی مدل‌های پیشین که به صورت مستقل از محتوا عمل می‌کنند این مشکل را نمی‌توانند حل نمایند.

در تاریخ ۲۵ اکتبر ۲۰۱۹ شرکت گوگل سرچ (Google Search) اعلام کرد که آنها شروع به استفاده از مدل زبانی برت برای جستجوهای انگلیسی کاربران آمریکایی شده‌اند.<ref>{{cite web|last1=Nayak|first1=Pandu|title=Understanding searches better than ever before|url=https://www.blog.google/products/search/search-language-understanding-bert/|website=Google Blog|date=25 October 2019|access-date=10 December 2019}}</ref> همچنین در تاریخ ۹ دسامبر ۲۰۱۹ برت بر روی بیش از ۷۰ زبان زنده دنیا پیاده‌سازی شده‌بود<ref>{{cite web|last1=Montti|first1=Roger|title=Google's BERT Rolls Out Worldwide|url=https://www.searchenginejournal.com/google-bert-rolls-out-worldwide/339359/|website=Search Engine Journal|date=10 December 2019|publisher=Search Engine Journal|access-date=10 December 2019}}</ref> و در اکتبر ۲۰۲۰ هر جستجوی انگلیسی با استفاده از برت انجام می‌شد و بر روی آن برت پردازشی برای تشخیص مفهوم انجام می‌داد.<ref>{{Cite web|date=2020-10-15|title=Google: BERT now used on almost every English query|url=https://searchengineland.com/google-bert-used-on-almost-every-english-query-342193|access-date=2020-11-24|website=Search Engine Land}}</ref>

== گونه‌ها == 
مدل‌های برت تأثیرگذار بودند و الهام‌بخش گونه‌های گوناگونی شدند.

'''RoBERTa'''<ref>{{Cite arXiv |eprint=1907.11692 |class=cs.CL |first1=Yinhan |last1=Liu |first2=Myle |last2=Ott |title=RoBERTa: A Robustly Optimized BERT Pretraining Approach |date=2019 |last3=Goyal |first3=Naman |last4=Du |first4=Jingfei |last5=Joshi |first5=Mandar |last6=Chen |first6=Danqi |last7=Levy |first7=Omer |last8=Lewis |first8=Mike |last9=Zettlemoyer |first9=Luke |last10=Stoyanov |first10=Veselin}}</ref> (سال ۲۰۱۹) یک بهبود در زمینه مهندسی محسوب می‌شود. این مدل، معماری برت را دست‌نخورده حفظ می‌کند (با اندکی افزایش اندازه، یعنی ۳۵۵ میلیون پارامتر)، اما آموزش آن را بهبود می‌بخشد؛ بطوری که ابرپارامترهای کلیدی را تغییر می‌دهد، وظیفه «پیش‌بینی جمله بعدی» را حذف می‌کند و از اندازه‌های خیلی بزرگ‌تر [[گرادیان کاهشی تصادفی|دسته کوچک]] استفاده می‌کند.

'''DistilBERT''' (سال ۲۰۱۹) با روش [[تقطیر دانش|تقطیر]]، مدل BERT<sub>BASE</sub> را به مدلی با تنها ۶۰٪ از تعداد پارامترهای آن (۶۶ میلیون) تبدیل می‌کند، در حالی که ۹۵٪ از امتیازهای معیار آن حفظ می‌شود.<ref>{{Citation |last1=Sanh |first1=Victor |title=DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter |date=2020-02-29 |arxiv=1910.01108 |last2=Debut |first2=Lysandre |last3=Chaumond |first3=Julien |last4=Wolf |first4=Thomas}}</ref><ref>{{Cite web |title=DistilBERT |url=https://huggingface.co/docs/transformers/model_doc/distilbert |access-date=2024-08-05 |website=huggingface.co}}</ref> به‌شکل مشابه، '''TinyBERT''' (۲۰۱۹)<ref>{{Citation |last1=Jiao |first1=Xiaoqi |title=TinyBERT: Distilling BERT for Natural Language Understanding |date=2020-10-15 |arxiv=1909.10351 |last2=Yin |first2=Yichun |last3=Shang |first3=Lifeng |last4=Jiang |first4=Xin |last5=Chen |first5=Xiao |last6=Li |first6=Linlin |last7=Wang |first7=Fang |last8=Liu |first8=Qun}}</ref> یک مدل تقطیرشده است که تنها ۲۸٪ از پارامترهای مدل اصلی را داراست.

'''ALBERT''' (سال ۲۰۱۹)<ref>{{Citation |last1=Lan |first1=Zhenzhong |title=ALBERT: A Lite BERT for Self-supervised Learning of Language Representations |date=2020-02-08 |arxiv=1909.11942 |last2=Chen |first2=Mingda |last3=Goodman |first3=Sebastian |last4=Gimpel |first4=Kevin |last5=Sharma |first5=Piyush |last6=Soricut |first6=Radu}}</ref> از اشتراک پارامترها بین لایه‌ها استفاده کرد و آزمایشی را ترتیب داد که در آن اندازه لایه پنهان و اندازه خروجی لایه دگرنمایی واژه را به‌عنوان دو ابرپارامتر مستقل تغییر داد. همچنین بجای وظیفه «پیش‌بینی جمله بعدی» از وظیفه «پیش‌بینی ترتیب جمله‌ها»'''{{یادچپ|sentence-order prediction (SOP)}}''' استفاده کردند که در آن مدل باید ترتیب درست دو قطعه متنی پیاپی را از ترتیب وارون‌شده آن‌ها تشخیص دهد.

'''ELECTRA''' (سال ۲۰۲۰)<ref>{{Citation |last1=Clark |first1=Kevin |title=ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators |date=2020-03-23 |arxiv=2003.10555 |last2=Luong |first2=Minh-Thang |last3=Le |first3=Quoc V. |last4=Manning |first4=Christopher D.}}</ref> ایده [[شبکه‌های زایای دشمن‌گونه|شبکه‌های مولد تخاصمی]] را به وظیفه MLM اعمال کرد. بجای پوشاندن توکن‌ها، یک مدل زبانی کوچک دیگر، جایگزین‌های ممکن و معقولی برای توکن‌های اصلی تولید می‌کند و شبکه بزرگ‌تر تشخیص می‌دهد کدام توکن‌ها جایگزین شده‌اند. مدل کوچک سعی می‌کند مدل بزرگ را فریب دهد.

=== DeBERTa === 
'''DeBERTa''' (سال ۲۰۲۰)<ref>{{Citation |last1=He |first1=Pengcheng |title=DeBERTa: Decoding-enhanced BERT with Disentangled Attention |date=2021-10-06 |arxiv=2006.03654 |last2=Liu |first2=Xiaodong |last3=Gao |first3=Jianfeng |last4=Chen |first4=Weizhu}}</ref> یک گونه معماری مهم با مکانیزم توجه «تفکیک‌شده»'''{{یادچپ|disentangled attention}}''' است. ایده کلیدی آن این است که نمایش موقعیت و نمایش توکن را در سراسر مکانیزم توجه بصورت جداگانه نگه می‌دارد. برخلاف برت که رمزگذاری موقعیت (<math>x_{position}</math>) و توکن (<math>x_{\text{token}}</math>) را با هم جمع می‌کند تا یک بردار ورودی تشکیل دهد (<math>x_{input} = x_{position} + x_{token}</math>)، در '''DeBERTa''' این دو حالت به‌صورت زوج مرتب نگهداری می‌شوند: <math>(x_{position}, x_{token})</math>. سپس در هر لایه توجه خود، DeBERTa به‌جای تنها یک ماتریس توجه در BERT، سه ماتریس توجه متمایز محاسبه می‌کند.'''{{یادچپ|نوع موقعیت-به-موقعیت توسط نویسنده به دلیل بلااستفاده بودن حذف شده.}}'''
{| class="wikitable"
|+ 
! انواع توجه 
! Query type
! Key type
! مثال
|-
| محتوا-به-محتوا 
| توکن
| توکن
| "اروپا"؛ "قاره", "اتحادیه" 
|-
| محتوا-به-موقعیت
| توکن
| موقعیت
| [صفت]؛ +1, +2, +3 
|-
| موقعیت-به-محتوا
| موقعیت
| توکن
| -1؛ "خیلی", "نه" 
|}
سه ماتریس توجه ذکر شده به‌صورت درایه-به-درایه'''{{یادچپ|element-wise}}''' با هم جمع می‌شوند، سپس وارد یک لایه softmax شده و در انتها در یک ماتریس projection ضرب می‌گردند.

رمزگذاری موقعیت مطلق در لایه نهاییِ توجه، خود بعنوان ورودی اضافی در نظر گرفته می‌شود.
== مقاله برت ==
مقاله‌ای که مدل زبانی برت را برای اولین بار معرفی نمود در سال ۲۰۱۹ جایزه بهترین بلندترین مقاله سال (Best Long Paper Award) را در قسمت [[آمریکای شمالی]] کنفرانس NAACL را برنده شد و به عنوان بهترین مقاله در این زمینه در سال ۲۰۱۹ شناخته شد.<ref>{{Cite web|url=https://naacl2019.org/blog/best-papers/|title=Best Paper Awards|date=2019|website=NAACL|access-date=Mar 28, 2020}}</ref>

== یادداشت‌ها ==
<references group="persian-alpha" responsive="0" />

== منابع ==
{{پانویس}}

== پیوند به بیرون ==
* [https://github.com/google-research/bert گیتهاب رسمی]
{{جعبه ناوبری هوش مصنوعی}}
[[رده:بازشناسی گفتار]]
[[رده:پردازش زبان‌های طبیعی]]
[[رده:زبان‌شناسی رایانشی]]
[[رده:شاخه‌های مطالعاتی محاسباتی]]
[[رده:مدل‌های زبانی بزرگ]]
[[رده:هوش مصنوعی]]
[[رده:نرم‌افزارهای گوگل]]
{{گوگل}}{{پردازش زبان طبیعی}}