نمایش مبدأ برای T5 (مدل زبان)

{{جعبه اطلاعات نرم‌افزار|name=Text-to-Text Transfer Transformer (T5)|logo=|screenshot=|screenshot size=|caption=|author=[[Google AI]]|developer=|released={{Start date and age|23 October 2019}}|latest release version=T5X {{url|https://github.com/google-research/t5x}}|latest release date=|repo=https://github.com/google-research/text-to-text-transfer-transformer|programming language=|operating system=|replaces=|replaced_by=|genre={{ indented plainlist |
*[[Large language model]]
*[[Transformer (deep learning architecture)]]
}}|license=[[Apache-2.0]]|website={{url|https://blog.research.google/2020/02/exploring-transfer-learning-with-t5.html}}}}'''T5''' (Text-to-Text Transfer Transformer) شامل مجموعه‌ای از مدل‌های زبان بزرگ است که توسط هوش مصنوعی گوگل در سال 2019 ارائه شد. این مدل‌ها بر پایه معماری ترانسفورمر طراحی شده‌اند و ساختاری رمزگذار-رمزگشا دارند. در این ساختار، بخش رمزگذار متن ورودی را تحلیل کرده و پردازش می‌کند، در حالی که بخش رمزگشا وظیفه تولید متن خروجی را بر عهده دارد. این طراحی برای حل طیف گسترده‌ای از مسائل پردازش زبان طبیعی (NLP) با عملکرد بالا توسعه یافته است.

مدل‌های T5 ابتدا با استفاده از مجموعه‌های عظیمی از داده‌های متنی و کد، پیش‌آموزش داده می‌شوند. این فرایند آنها را قادر می‌سازد وظایف مختلف مبتنی بر متن را که مشابه آموزش اولیه‌شان است، به‌خوبی انجام دهند. همچنین، این مدل‌ها انعطاف‌پذیر هستند و می‌توان با تنظیم دقیق آنها، برای وظایف جدید یا متفاوت نیز استفاده کرد. این ویژگی باعث می‌شود که T5 در بسیاری از حوزه‌های پردازش زبان طبیعی کاربرد داشته باشد.

مدل‌های T5 در زمینه‌های مختلفی کاربرد دارند، از جمله طراحی ربات‌های گفتگو، سیستم‌های پیشرفته ترجمه ماشینی، ابزارهای خلاصه‌سازی خودکار متن، تولید کدهای برنامه‌نویسی، و حتی در روباتیک. این تنوع کاربرد به دلیل معماری انعطاف‌پذیر و توانایی بالای این مدل در پردازش زبان طبیعی و درک متن است.

== '''آموزش دادن''' ==
مدل‌های T5 ابتدا بر روی مجموعه داده C4 (Corpus Crawled Colossal Clean)، شامل متن و کد جمع‌آوری‌شده از اینترنت، پیش‌آموزش داده شدند. این فرایند به مدل توانایی درک زبان عمومی و تولید متن را می‌دهد. پس از پیش‌آموزش، مدل‌ها قابل تنظیم برای وظایف خاص هستند، به‌طوری‌که می‌توانند دانش آموخته‌شده را برای عملکرد بهتر در برنامه‌های خاص مانند ترجمه، خلاصه‌سازی یا تولید متن تطبیق دهند. این انعطاف‌پذیری، مدل‌های T5 را برای کاربردهای متنوعی مناسب می‌سازد.

مدل‌های T5 برای بسیاری از وظایف پردازش زبان طبیعی در قالبی ساده و یکپارچه طراحی شده‌اند. در این روش، هر وظیفه به صورت <متن ورودی> -> <متن خروجی> فرموله شده است. این رویکرد باعث شده تا مدل بتواند مسائل متنوعی را با یک ساختار مشترک حل کند، از جمله ترجمه، خلاصه‌سازی، و تولید پاسخ برای سوالات. این فرمت متن به متن، قابلیت استفاده و آموزش مدل را بسیار ساده‌تر کرده است.
[[پرونده:T5-finetune-summarization.svg|بندانگشتی|چگونه یک T5 را می توان برای یک کار خلاصه سازی به خوبی تنظیم کرد.<ref name=":72">{{Cite book}}</ref>]]
چند نمونه عبارتند از:

بازیابی متن خراب: <code>Thank you <X> me to your party <Y> week.</code> -> <code><X> for inviting <Y> last <Z></code> ، که در آن <code><Z></code> به معنای "پایان خروجی" است، و <code><X></code> و <code><Y></code> نشان‌دهنده جاهای خالی هستند که در گزارش اصلی "سنتینل" نامیده می‌شوند. .

ترجمه: <code>translate English to German: That is good.</code> -> <code>Das ist gut.</code> .

قضاوت در مورد مقبولیت دستوری یک جمله (جمله [[Corpus of Linguistic Acceptability|CoLA]] ): <code>The course is jumping well.</code> -> <code>not acceptable</code>
[[پرونده:T5_encoder-decoder_structure.svg|بندانگشتی|ساختار رمزگذار-رمزگشا T5، ساختار توجه را نشان می دهد. در خود توجهی رمزگذار (مربع پایین)، همه نشانه های ورودی به یکدیگر توجه می کنند. در توجه متقابل رمزگذار-رمزگشا (مستطیل بالایی)، هر نشانه هدف به تمام نشانه های ورودی توجه می کند. در خودتوجهی رمزگشا (مثلث بالایی)، هر نشانه هدف فقط به نشانه های هدف فعلی و گذشته توجه می کند (علت).<ref name=":72">{{Cite book}}</ref>]]
سری T5 شامل چندین مدل با اندازه‌ها و قابلیت‌های متفاوت است، همه [[ترنسفورمر (یادگیری عمیق)|ترانسفورماتورهای رمزگذار-رمزگشا]] ، که در آن رمزگذار متن ورودی را پردازش می‌کند و رمزگشا متن خروجی را تولید می‌کند.

این مدل ها اغلب با تعداد پارامترهایشان متمایز می شوند که نشان دهنده پیچیدگی و ظرفیت بالقوه مدل است. مقاله اصلی <ref name=":0">{{Cite journal|last=Raffel|first=Colin|last2=Shazeer|first2=Noam|last3=Roberts|first3=Adam|last4=Lee|first4=Katherine|last5=Narang|first5=Sharan|last6=Matena|first6=Michael|last7=Zhou|first7=Yanqi|last8=Li|first8=Wei|last9=Liu|first9=Peter J.|date=2020|title=Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer|url=http://jmlr.org/papers/v21/20-074.html|journal=Journal of Machine Learning Research|volume=21|issue=140|pages=1–67|arxiv=1910.10683|issn=1533-7928}}</ref> 5 مدل زیر را گزارش کرد:
{| class="wikitable"
|+
!اسم
!همه پارامتر ها
!پارامتر های انکودر
!پارامتر های دکودر
!<math>n_{\text{layer}}</math>
!<math>d_{\text{model}}</math>
!<math>d_{\text{ff}}</math>
!<math>d_{\text{kv}}</math>
!<math>n_{\text{head}}</math>
|-
|کوچک
|76,956,160
|35,330,816
|41,625,344
|6
|512
|2048
|64
|8
|-
|پایه
|247,577,856
|109,628,544
|137,949,312
|12
|768
|3072
|64
|12
|-
|بزرگ
|770,567,168
|334,939,648
|435,627,520
|24
|1024
|4096
|64
|16
|-
|3B
|2,884,497,408
|1,240,909,824
|1,643,587,584
|24
|1024
|16384
|128
|32
|-
|11B
|11,340,220,416
|4,864,791,552
|6,475,428,864
|24
|1024
|65536
|128
|128
|}
در جدول فوق،

* <math>n_{\text{layer}}</math> : تعداد لایه ها در رمزگذار. همچنین تعداد لایه ها در رسیور. آنها همیشه تعداد لایه های یکسانی دارند.
* <math>n_{\text{head}}</math> : تعداد سرهای توجه در هر بلوک توجه.
* <math>d_{\text{model}}</math> : ابعاد بردارهای تعبیه شده.
* <math>d_{\text{ff}}</math> : ابعاد شبکه پیشخور در هر لایه رمزگذار و رمزگشا.
* '''<math>d_{\text{kv}}</math>''' : ابعاد بردارهای کلید و ارزش مورد استفاده در مکانیسم خودتوجهی.

توجه داشته باشید که بر خلاف ترانسفورماتورهای معمولی، مدل های 3B و 11B راضی نیستند <math>d_{\text{model}} = d_{\text{kv}} n_{\text{head}}</math>

در مقایسه با ترانسفورماتور اصلی، از چند تغییر جزئی استفاده می‌کند: نرمال‌سازی لایه‌ها بدون سوگیری افزودنی. قرار دادن نرمال سازی لایه در خارج از مسیر باقیمانده؛ تعبیه موقعیتی نسبی <ref>{{Citation|last=Shaw|first=Peter|title=Self-Attention with Relative Position Representations|date=2018-04-12|arxiv=1803.02155|last2=Uszkoreit|first2=Jakob|last3=Vaswani|first3=Ashish}}</ref>

برای همه آزمایش‌ها، آنها از توکنایزر WordPiece با اندازه واژگان 32000 استفاده کردند. توکنایزر در ورودی و خروجی هر مدل مشترک است. این بر روی ترکیبی از داده‌های [[زبان انگلیسی|انگلیسی]] ، [[زبان آلمانی|آلمانی]] ، [[زبان فرانسوی|فرانسوی]] و [[زبان رومانیایی|رومانیایی]] از مجموعه داده‌های C4 با نسبت 10:1:1:1 آموزش داده شد.

=== انواع ===
چندین مدل بعدی از معماری T5 استفاده کردند که برای متمایز کردن آنها از قراردادهای نامگذاری غیر استاندارد استفاده شد. در این بخش سعی شده است موارد اصلی جمع آوری شود. لیست کاملی از انواع منتشر شده توسط Google Brain در مخزن GitHub برای T5X است.<ref name=":5">{{Cite web|title=t5x/docs/models.md at main · google-research/t5x|url=https://github.com/google-research/t5x/blob/main/docs/models.md|accessdate=2024-08-05|website=GitHub|language=en}}</ref>

برخی از مدل ها از ابتدا آموزش می بینند در حالی که برخی دیگر با شروع با یک مدل آموزش دیده قبلی آموزش می بینند. به طور پیش فرض، هر مدل از ابتدا آموزش داده می شود، مگر اینکه در غیر این صورت ذکر شده باشد.

* ''T5'' کوچک، پایه، بزرگ، 3B، 11B (2019): مدل های اصلی. <ref />
* ''T5 1.1'' کوچک، پایه، بزرگ، XL، XXL: نسخه های بهبود یافته سری اصلی T5. اینها پارامترهای تقریباً برابری دارند. [[تابع فعالسازی|تابع فعال‌سازی]] به جای ReLU، GEGLU <ref /> است. 3B و 11B به "XL" و "XXL" تغییر یافتند و شکل آنها تغییر کرد: <ref /> <ref /> <ref />

<ref />
*

{| class="wikitable"
!اسم
!همه پارامتر ها
!پارامتر های انکودر
!پارامتر های دکودر
!<math>n_{\text{layer}}</math>
!<math>d_{\text{model}}</math>
!<math>d_{\text{ff}}</math>
!<math>d_{\text{kv}}</math>
!<math>n_{\text{head}}</math>
|-
|کوچک
|76,961,152
|35,332,800
|41,628,352
|8
|512
|1024
|64
|6
|-
|پایه
|247,577,856
|109,628,544
|137,949,312
|12
|768
|2048
|64
|12
|-
|بزرگ
|783,150,080
|341,231,104
|441,918,976
|24
|1024
|2816
|64
|16
|-
|3B
|2,849,757,184
|1,223,527,424
|1,626,229,760
|24
|2048
|5120
|64
|32
|-
|11B
|11,135,332,352
|4,762,310,656
|6,373,021,696
|24
|4096
|10240
|64
|64
|}

** ''T5 سازگار با LM'' (2021): مجموعه‌ای از مدل‌ها (از کوچک تا XXL) که از پست‌های بازرسی سری ''T5'' شروع شدند، اما بیشتر روی 100B توکن اضافی از C4 آموزش دیدند.<ref>{{Citation|last=Lester|first=Brian|title=The Power of Scale for Parameter-Efficient Prompt Tuning|date=2021-09-02|arxiv=2104.08691|last2=Al-Rfou|first2=Rami|last3=Constant|first3=Noah}}</ref>
** سوئیچ ترانسفورماتور (2021): یک نوع [[ترکیب متخصصان|ترکیبی از متخصصان]] T5، با جایگزینی لایه‌های پیش‌خور در بلوک‌های رمزگذار و رمزگشا با مخلوطی از لایه‌های پیش‌خور خبره.<ref>{{Citation|last=Fedus|first=William|title=Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity|date=2022-06-16|arxiv=2101.03961|last2=Zoph|first2=Barret|last3=Shazeer|first3=Noam}}</ref><ref>{{Cite web|title=SwitchTransformers|url=https://huggingface.co/docs/transformers/en/model_doc/switch_transformers|accessdate=2024-08-05|website=huggingface.co}}</ref>
** ''T0'' 3B, 11B (2021): مجموعه‌ای از مدل‌هایی که از پست‌های بازرسی ''T5 سازگار با LM'' شروع می‌شوند و برای انجام وظایف فقط بر اساس دستور کار ( [[یادگیری بدون نمونه|نفر شات]] ) آموزش داده می‌شوند.<ref>{{Citation|last=Sanh|first=Victor|title=Multitask Prompted Training Enables Zero-Shot Task Generalization|date=2022-03-17|arxiv=2110.08207|last2=Webson|first2=Albert|last3=Raffel|first3=Colin|last4=Bach|first4=Stephen H.|last5=Sutawika|first5=Lintang|last6=Alyafeai|first6=Zaid|last7=Chaffin|first7=Antoine|last8=Stiegler|first8=Arnaud|last9=Scao|first9=Teven Le}}</ref> ورودی های مختلف در این سری از داده های تنظیم دقیق متفاوتی استفاده می کنند.<ref>{{Cite web|date=2024-03-04|title=bigscience/T0 · Hugging Face|url=https://huggingface.co/bigscience/T0|accessdate=2024-08-21|website=huggingface.co}}</ref>
** ''ByT5'' (2021): نسخه سطح بایت T5، آموزش داده شده بر روی مجموعه داده mC4 (چند زبانه C4).<ref>{{Cite journal|last=Xue|first=Linting|last2=Barua|first2=Aditya|last3=Constant|first3=Noah|last4=Al-Rfou|first4=Rami|last5=Narang|first5=Sharan|last6=Kale|first6=Mihir|last7=Roberts|first7=Adam|last8=Raffel|first8=Colin|date=2022-03-25|title=ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models|url=https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00461/110049/ByT5-Towards-a-Token-Free-Future-with-Pre-trained|journal=Transactions of the Association for Computational Linguistics|language=en|volume=10|pages=291–306|arxiv=2105.13626|doi=10.1162/tacl_a_00461|issn=2307-387X}}</ref> بر روی متن کدگذاری شده به صورت [[یوتی‌اف-۸|UTF-8]] بایت، بدون توکنایزر عمل می کند.
** ''Flan-T5-XL'' (2022): مدلی که با یک ایست بازرسی ''T5 XL'' شروع شد و سپس بر روی مجموعه داده FLAN [[مدل زبانی بزرگ|تنظیم شد]] .<ref>{{Cite journal|last=Chung|first=Hyung Won|last2=Hou|first2=Le|last3=Longpre|first3=Shayne|last4=Zoph|first4=Barret|last5=Tay|first5=Yi|last6=Fedus|first6=William|last7=Li|first7=Yunxuan|last8=Wang|first8=Xuezhi|last9=Dehghani|first9=Mostafa|date=2024|title=Scaling Instruction-Finetuned Language Models|url=http://jmlr.org/papers/v25/23-0870.html|journal=Journal of Machine Learning Research|volume=25|issue=70|pages=1–53|arxiv=2210.11416|issn=1533-7928}}</ref><ref>{{Cite journal|last=Longpre|first=Shayne|last2=Hou|first2=Le|last3=Vu|first3=Tu|last4=Webson|first4=Albert|last5=Chung|first5=Hyung Won|last6=Tay|first6=Yi|last7=Zhou|first7=Denny|last8=Le|first8=Quoc V.|last9=Zoph|first9=Barret|date=2023-07-03|title=The Flan Collection: Designing Data and Methods for Effective Instruction Tuning|url=https://proceedings.mlr.press/v202/longpre23a.html|journal=Proceedings of the 40th International Conference on Machine Learning|language=en|publisher=PMLR|pages=22631–22648|arxiv=2301.13688}}</ref><ref name=":2">{{Citation|title=google-research/FLAN|date=2024-08-03|url=https://github.com/google-research/FLAN|access-date=2024-08-05|publisher=Google Research}}</ref><ref>{{Cite web|date=2024-01-04|title=google/flan-t5-xl · Hugging Face|url=https://huggingface.co/google/flan-t5-xl|accessdate=2024-08-05|website=huggingface.co}}</ref>
** ''T5X'' (2022): یک پیاده‌سازی مجدد مبتنی بر [[Google JAX|JAX]] از پایگاه کد اصلی ''T5'' . مدل '''نیست''' .<ref name=":1">{{Cite journal|last=Roberts|first=Adam|last2=Chung|first2=Hyung Won|last3=Mishra|first3=Gaurav|last4=Levskaya|first4=Anselm|last5=Bradbury|first5=James|last6=Andor|first6=Daniel|last7=Narang|first7=Sharan|last8=Lester|first8=Brian|last9=Gaffney|first9=Colin|date=2023|title=Scaling Up Models and Data with t5x and seqio|url=http://jmlr.org/papers/v24/23-0795.html|journal=Journal of Machine Learning Research|volume=24|issue=377|pages=1–8|issn=1533-7928}}</ref> پایگاه کد اصلی T5 در [[تنسورفلو|TensorFlow]] با MeshTF پیاده سازی شد.<ref name=":6">{{Citation|title=google-research/text-to-text-transfer-transformer|date=2024-08-21|url=https://github.com/google-research/text-to-text-transfer-transformer|access-date=2024-08-21|publisher=Google Research}}</ref>
** ''UL2'' 20B (2022): مدلی با معماری مشابه سری ''T5'' ، اما تا 20B مقیاس‌بندی شده و با هدف "مخلوط زدا" در C4 آموزش دیده است.<ref name=":3">{{Citation|last=Tay|first=Yi|title=UL2: Unifying Language Learning Paradigms|date=2023-02-28|arxiv=2205.05131|last2=Dehghani|first2=Mostafa|last3=Tran|first3=Vinh Q.|last4=Garcia|first4=Xavier|last5=Wei|first5=Jason|last6=Wang|first6=Xuezhi|last7=Chung|first7=Hyung Won|last8=Shakeri|first8=Siamak|last9=Bahri|first9=Dara}}</ref> این بر روی یک خوشه TPU به طور تصادفی آموزش داده شد، زمانی که یک دوره آموزشی به طور تصادفی به مدت یک ماه در حال اجرا ماند.<ref>{{Cite web|title=Training great LLMs entirely from ground up in the wilderness as a startup|url=https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness|accessdate=2024-10-18|website=Yi Tay|language=en-US}}</ref>
** ''Flan-UL2'' 20B (2022): [[مدل زبانی بزرگ|دستورالعمل]] ''UL2'' 20B بر روی مجموعه داده FLAN تنظیم شده است.<ref name=":2" /><ref name=":3" />
** ''Pile-T5'' (2024): دارای همان معماری ''T5'' است، با این تفاوت که از توکنایزر [[لاما (مدل زبانی)|Llama]] استفاده می کند. در [[The Pile (dataset)|The Pile]] آموزش داده شد. این در اندازه های پایه، بزرگ، XL، XXL عرضه شد.<ref name=":4">{{Cite web|last=Sutawika|first=Lintang|last2=Komatsuzaki|first2=Aran|last3=Raffel|first3=Colin|date=2024-04-15|title=Pile-T5|url=https://blog.eleuther.ai/pile-t5/|accessdate=2024-05-05|website=EleutherAI Blog|language=en}}</ref>

=== برنامه های کاربردی ===
مدل T5 خود یک مدل رمزگذار-رمزگشا است که به آن امکان می دهد برای دستورالعمل های زیر استفاده شود. رمزگذار دستورالعمل را رمزگذاری می کند و رمزگشا به صورت خودکار پاسخ را تولید می کند.

رمزگذار T5 را می توان به عنوان رمزگذار متن استفاده کرد، مانند BERT. این یک متن را به دنباله ای از بردارهای اعداد واقعی رمزگذاری می کند، که می تواند برای برنامه های کاربردی پایین دست استفاده شود. برای مثال، Google Imagen <ref>{{Cite web|title=Imagen: Text-to-Image Diffusion Models|url=https://imagen.research.google/|accessdate=2024-08-23|website=imagen.research.google}}</ref> از ''T5-XXL'' به عنوان رمزگذار متن استفاده می‌کند، و بردارهای متن کدگذاری‌شده به عنوان شرطی‌سازی در [[مدل‌‌های انتشاری|مدل انتشار]] استفاده می‌شوند. به عنوان مثال دیگر، مدل انتشار AuraFlow <ref>{{Cite web|title=AuraFlow|url=https://huggingface.co/docs/diffusers/main/en/api/pipelines/aura_flow|accessdate=2024-08-23|website=huggingface.co}}</ref> از ''Pile-T5-XL'' استفاده می کند.

=== مراجع ===
HS & PG

Yan

[[رده:نرم‌افزارهای گوگل]]
[[رده:مدل‌های زبانی بزرگ]]
[[رده:نرم‌افزارهایی که از پروانه آپاچی استفاده می‌کنند]]