نمایش مبدأ برای ترنسفورمر (یادگیری عمیق)

{{یادگیری ماشین| شبکه عصبی مصنوعی}}
[[پرونده:The-Transformer-model-architecture.png|بندانگشتی|ترنسفورمرها (یادگیری ماشین)]]
'''ترنسفورمر''' یا مُبَدِّل، روشی است که به رایانه اجازه می‌دهد تا یک دنباله از [[نویسه (رایانش)|نویسه‌ها]] را به دنباله دیگری از نویسه‌ها تبدیل کند. این روش می‌تواند برای مثال برای ترجمه متن از یک زبان به زبان دیگر استفاده شود. برای این کار، ترانسفورمور با استفاده از [[یادگیری ماشین]] بر روی مجموعه بزرگی از داده‌های نمونه آموزش داده می‌شود و سپس مدل آموزش‌دیده برای ترجمه استفاده می‌شود.

مبدل‌ها جزو معماری‌های یادگیری عمیق هستند. مبدل‌ها برای اولین بار در سال ۲۰۱۷ در کنفرانس [[پردازش اطلاعات]] عصبی معرفی شدند.

برخی دیگر از کاربردهای ترنسفورمرها عبارتند از:
* تولید متن: ترنسفورمرها می‌توانند برای تولید متن‌های جدید، مانند نوشتن داستان یا شعر، استفاده شوند.
* خلاصه‌سازی متن: ترنسفورمرها می‌توانند برای خلاصه‌سازی متن‌های طولانی و حفظ نکات کلیدی آنها استفاده شوند.

ترانسفورمر در مقایسه با معماری‌های حافظه بلندمدت کوتاه‌مدت (LSTM) کارایی بیشتری دارد و پایه و اساس بسیاری از مدل‌های یادگیری ماشین پیش‌آموزشی مانند BERT<ref>Bidirectional Encoder Representations from Transformers</ref> و GPT<ref>Generative Pretrained Transformer</ref> است. از مبدل‌ها همچنین به عنوان Evoformer در AlphaFold2 استفاده می‌شود.

ترنسفورمرها به دلیل موازی‌سازی آسان، سرعت و دقت بالا، به یکی از محبوب‌ترین مدل‌های یادگیری ماشین برای پردازش زبان طبیعی تبدیل شده‌اند. ترنسفورمرها در طیف وسیعی از کاربردهای دیگر مانند تشخیص گفتار، ترجمه ماشینی و پاسخ به سوالات نیز استفاده می‌شوند.

مانند [[شبکه عصبی بازگشتی]] (RNN)، ترنسفورمرها برای مدیریت داده‌های ورودی mdhmd، مانند زبان طبیعی، برای کارهایی مانند [[ترجمه ماشینی آماری |ترجمه]] و [[خلاصه‌سازی خودکار|خلاصه متن]] طراحی شده‌اند. با این حال، برخلاف [[شبکه عصبی بازگشتی]]ها، ترنسفورمرها لزوماً داده‌ها را به ترتیب پردازش نمی‌کنند. در عوض، مکانیسم توجه زمینه را برای هر موقعیتی در دنباله ورودی فراهم می‌کند. به عنوان مثال، اگر داده ورودی یک جمله زبان طبیعی باشد، ترانسفورمر نیازی به پردازش ابتدای جمله قبل از پایان ندارد. در عوض، زمینه ای را مشخص می‌کند که به هر کلمه در جمله معنا می‌بخشد. این ویژگی اجازه می‌دهد تا [[محاسبات موازی|موازی سازی]] بیشتر از [[شبکه عصبی بازگشتی]]ها باشد و بنابراین زمان آموزش را کاهش می‌دهد.<ref name=":0"/>

ترنسفورمرها در سال ۲۰۱۷ توسط تیمی در [[گوگل برین]]<nowiki/>معرفی شدند و به‌ طور فزاینده ای به عنوان بهترین مدل در حل مسائل NLP مورداستفاده قرار می‌گیرند  و جایگزین مدل‌های [[شبکه عصبی بازگشتی]] مانند [[حافظه طولانی کوتاه مدت|حافظه کوتاه‌مدت طولانی]] شدند. قابلیت موازی‌سازی آموزش در ترانسفورمرها امکان آموزش بر روی مجموعه داده‌های بزرگتر را می‌دهد که تا پیش از حضور آنها به سختی ممکن بود. این موضوع منجر به توسعه[[یادگیری انتقال| سیستم‌های از پیش آموزش‌دیده]] مانند [[برت (مدل زبانی)|برت]] (نمایش رمزگذار دوطرفه از ترنسفورمرها) و [[ترنسفورمر تولیدگر از پیش آموزش‌دیده|GPT]] (ترنسفورمر تولیدگر از پیش آموزش‌دیده)، که با مجموعه داده‌های زبانی بزرگ، مانند [[ویکی‌پدیا]] و [[Common Crawl]] آموزش دیده‌اند، و می‌توان آنها را برای کارهای خاص به‌خوبی تنظیم کرد.<ref name="wolf20202">{{cite book|last1=Wolf|first1=Thomas|last2=Debut|first2=Lysandre|last3=Sanh|first3=Victor|last4=Chaumond|first4=Julien|last5=Delangue|first5=Clement|last6=Moi|first6=Anthony|last7=Cistac|first7=Pierric|last8=Rault|first8=Tim|last9=Louf|first9=Remi|last10=Funtowicz|first10=Morgan|last11=Davison|first11=Joe|last12=Shleifer|first12=Sam|last13=von Platen|first13=Patrick|last14=Ma|first14=Clara|last15=Jernite|first15=Yacine|last16=Plu|first16=Julien|last17=Xu|first17=Canwen|last18=Le Scao|first18=Teven|last19=Gugger|first19=Sylvain|last20=Drame|first20=Mariama|last21=Lhoest|first21=Quentin|last22=Rush|first22=Alexander|title=Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations|chapter=Transformers: State-of-the-Art Natural Language Processing|year=2020|pages=38–45|doi=10.18653/v1/2020.emnlp-demos.6|s2cid=208117506}}</ref>

== پس زمینه ==
[[پرونده:Attention-1-sn.png|بندانگشتی|مبدل]]
قبل از ظهور ترنسفورمرها، در بیشتر سیستم‌های [[پردازش زبان‌های طبیعی|NLP]] پیشرفته، نسخه‌های اولیه [[توجه (یادگیری ماشین)|مکانیسم توجه]] را به [[شبکه عصبی بازگشتی|شبکه‌های عصبی بازگشتی]] دروازه‌دار (مانند [[حافظه طولانی کوتاه مدت|حافظه کوتاه-مدت طولانی]] و [[واحد بازگشتی دروازه‌ای]] {{به اختصار|GRU}}) اضافه کرده بودند. در شبکه های عصبی بازگشتی، مجموعه داده ها با توجه به توالی آنها مورد پردازش قرار میگیرند. ترنسفورمرها بر اساس [[توجه (یادگیری ماشین)|مکانیسم توجه]]، و بدون استفاده از ساختار [[شبکه عصبی بازگشتی]] ساخته شده‌اند، و این واقعیت را برجسته می‌کند که مکانیسم‌های توجه تنها با استفاده از "توجه" می‌توانند با عملکرد [[شبکه عصبی بازگشتی|شبکه عصبی بازگشتیها]] رقابت کنند.

=== پردازش متوالی ===
[[شبکه عصبی بازگشتی]]های دروازه ای توکن‌ها را به صورت متوالی پردازش می‌کنند و یک بردار حالت را حفظ می‌کنند که حاوی نمایشی از داده‌هایی است که بعد از هر نشانه مشاهده می‌شود. برای پردازش علامت <math display ="inline">n</math> ام، مدل حالتی را که جمله را تا توکن <math display="inline">n-1</math> نشان می‌دهد با اطلاعات نشانه جدید برای ایجاد یک حالت جدید، نشان دهنده جمله تا نشانه <math display="inline">n</math>. از نظر تئوری، اطلاعات یک توکن می‌تواند به‌طور دلخواه در طول توالی منتشر شود، اگر در هر نقطه، وضعیت به رمزگذاری اطلاعات متنی در مورد نشانه ادامه دهد. در عمل، این مکانیسم ناقص است: [[گرادیان محوشونده|مسئله گرادیان محوشونده]] وضعیت مدل را در پایان یک جمله طولانی بدون اطلاعات دقیق و قابل استخراج دربارهٔ نشانه‌های قبلی ترک می‌کند.
وابستگی محاسبات توکن به نتایج محاسبات توکن‌های قبلی نیز موازی کردن محاسبات روی سخت‌افزار یادگیری عمیق مدرن را دشوار می‌کند. این می‌تواند آموزش [[شبکه عصبی بازگشتی]]ها را ناکارآمد کند.

=== توجه ===
این مشکلات با مکانیسم‌های توجه برطرف شد. مکانیسم‌های توجه به یک مدل اجازه می‌دهند از حالت در هر نقطه قبلی در طول دنباله استفاده کند. لایه توجه می‌تواند به همه حالت‌های قبلی دسترسی داشته باشد و آنها را با توجه به اندازه‌گیری مرتبط بودن اندازه‌گیری کند، و اطلاعات مرتبطی در مورد توکن‌های دور ارائه دهد.

مثال واضحی از ارزش توجه در [[ترجمه ماشینی]] است، که در آن زمینه برای تعیین معنای یک کلمه در جمله ضروری است. در سیستم ترجمه انگلیسی به فرانسوی، احتمالاً اولین کلمه خروجی فرانسوی به شدت به چند کلمه اول ورودی انگلیسی بستگی دارد. با این حال، در یک مدل کلاسیک [[حافظه طولانی کوتاه-مدت]]، برای تولید اولین کلمه خروجی فرانسوی، مدل فقط بردار حالت کلمه انگلیسی «آخرین» را به [[مدل داده]] می‌شود. از نظر تئوری، این بردار می‌تواند اطلاعات مربوط به کل جمله انگلیسی را رمزگذاری کند و تمام دانش لازم را به مدل بدهد. در عمل، این اطلاعات اغلب به خوبی توسط [[حافظه طولانی کوتاه-مدت]] حفظ می‌شود. یک مکانیسم توجه می‌تواند برای رفع این مشکل اضافه شود: رمزگشا به بردارهای وضعیت هر کلمه ورودی انگلیسی دسترسی دارد، نه فقط آخرین کلمه، و می‌تواند وزن‌های توجه را یاد بگیرد که میزان توجه به هر بردار حالت ورودی انگلیسی را تعیین می‌کند.

هنگامی که به [[شبکه عصبی بازگشتی]] اضافه می‌شود، مکانیسم‌های توجه عملکرد را افزایش می‌دهند. توسعه معماری ترانسفورمر نشان داد که مکانیسم‌های توجه به خودی خود قدرتمند هستند و پردازش متوالی مکرر داده‌ها برای دستیابی به دستاوردهای کیفیت [[شبکه عصبی بازگشتی]] با توجه ضروری نیست. ترنسفورمرها از مکانیزم توجه بدون [[شبکه عصبی بازگشتی]] استفاده می‌کنند، همه نشانه‌ها را همزمان پردازش می‌کنند و وزن توجه بین آنها را در لایه‌های متوالی محاسبه می‌کنند.
از آنجایی که مکانیسم توجه فقط از اطلاعات مربوط به نشانه‌های دیگر از لایه‌های پایین‌تر استفاده می‌کند، می‌توان آن را برای همه نشانه‌ها به صورت موازی محاسبه کرد که منجر به بهبود سرعت تمرین می‌شود.

== معماری ==
=== معماری رمزگذار-رمزگشا ===
مانند مدل‌های قبلی seq2seq، مدل اولیه ترانسفورمر از معماری «رمزگذار-رمزگشا» استفاده می‌کرد. رمزگذار از لایه‌های رمزگذاری تشکیل شده‌است که ورودی را به‌طور مکرر یکی پس از دیگری پردازش می‌کند، در حالی که رمزگشا شامل لایه‌های رمزگشایی است که همان کار را با خروجی رمزگذار انجام می‌دهد.

وظیفه هر لایه رمزگذار تولید رمزگذاری‌هایی است که حاوی اطلاعاتی در مورد اینکه کدام بخش از ورودی‌ها با یکدیگر مرتبط هستند. رمزگذاری‌های خود را به عنوان ورودی به لایه رمزگذار بعدی ارسال می‌کند. هر لایه رمزگشا برعکس عمل می‌کند، تمام رمزگذاری‌ها را می‌گیرد و از اطلاعات متنی آنها برای تولید یک دنباله خروجی استفاده می‌کند.

برای هر ورودی، توجه، ارتباط هر ورودی دیگر را می‌سنجد و از آنها برای تولید خروجی استفاده می‌کند.<ref name=":0"/><ref name=":1">https://en.wikipedia.org/wiki/Transformer_(machine_learning_model)</ref> هر لایه رمزگشا دارای مکانیزم توجه اضافی است که اطلاعات را از خروجی‌های رمزگشاهای قبلی، قبل از اینکه لایه رمزگشا اطلاعات را از رمزگذاری‌ها ترسیم کند، می‌گیرد. .

هر دو لایه رمزگذار و رمزگشا دارای یک [[شبکه عصبی پیشخور | شبکه عصبی پیش‌خور]] برای پردازش اضافی خروجی‌ها هستند و شامل اتصالات باقی‌مانده و مراحل عادی‌سازی لایه هستند.<ref name=":1"/>

=== توجه ضرب داخلی مقیاس شده ===
بلوک‌های ساختمان ترانسفورمر واحدهای توجه نقطه-محصول مقیاس شده هستند. هنگامی که یک جمله به یک مدل ترانسفورمر منتقل می‌شود، وزن توجه بین هر نشانه به‌طور همزمان محاسبه می‌شود. واحد توجه، جاسازی‌هایی را برای هر نشانه در زمینه ایجاد می‌کند که حاوی اطلاعاتی در مورد خود نشانه به همراه ترکیب وزنی از نشانه‌های مرتبط دیگر است که هر کدام با وزن توجه خود وزن دارند.

برای هر واحد توجه، مدل ترانسفورمر سه ماتریس وزن را یادمی‌گیرد. وزن پرس و جو <math>W_Q</math>، وزن کلید <math>W_K</math> و وزن مقدار <math>W_V</math>. برای هر نشانه <math> i </math>، ورودی [[جاسازی کلمه]] <math> x_i </math> با هر یک از سه ماتریس وزن ضرب می‌شود تا یک بردار پرس و جو تولید شود <math> q_i = x_i W_Q </math>، یک بردار کلید <math> k_i = x_iW_K </math>، و یک بردار مقدار <math> v_i = x_iW_V </math>. وزن توجه با استفاده از پرس و جو و بردارهای کلید محاسبه می‌شود: وزن توجه <math>a_{ij}</math> از نشانه <math> i </math> تا نشانه <math>j</math> حاصل ضرب نقطه ای بین <math> q_i </math> و <math> k_j </math>. وزن‌های توجه بر جذر ابعاد بردارهای کلیدی تقسیم می‌شوند، <math>\sqrt{d_k}</math>، که گرادیان‌ها را در طول تمرین تثبیت می‌کند و از یک [[بیشینه هموار]] عبور می‌کند که وزن‌ها را عادی می‌کند. این واقعیت که <math>W_Q</math> و <math>W_K</math> ماتریس‌های متفاوتی هستند باعث می‌شود توجه غیر متقارن باشد: اگر نشانه <math> i </math> به نشانه <math>j</math> (یعنی <math> q_i \ cdot k_j </math> بزرگ است، این لزوماً به این معنی نیست که نشانه <math>j</math> به نشانه <math> i </math> (یعنی <math>q_j\cdot k_i</math>  خواهد آمد k_i </math> می‌تواند کوچک باشد). خروجی واحد توجه برای نشانه <math> i </math> مجموع وزنی بردارهای ارزش همه نشانه‌ها است که با <math>a_{ij}</math> وزن شده‌است، توجه از نشانه <math> i </math> به هر نشانه.

محاسبه توجه برای همه نشانه‌ها را می‌توان به عنوان یک محاسبه ماتریس بزرگ با استفاده از [[بیشینه هموار]] بیان کرد که به دلیل بهینه‌سازی عملیات ماتریس محاسباتی که به سرعت عملیات ماتریس را محاسبه می‌کند برای آموزش مفید است. ماتریس‌های <math>Q</math>، <math>K</math> و <math>V</math> به‌عنوان ماتریس‌هایی تعریف می‌شوند که در آن ردیف‌های <math> i </math> بردار هستند. به ترتیب <math> k_i </math> و <math> v_i </math> و <math>q_i</math>
{{وسط‌چین}}
<math>\begin{align}
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\mathrm{T}}{\sqrt{d_k}}\right)V
\end{align}</math>
{{پایان وسط‌چین}}

==== توجه چند سر ====
یک مجموعه از ماتریس‌های <math>\left(W _Q, W_K, W_V \right)</math> «سر توجه» نامیده می‌شود و هر لایه در یک مدل ترانسفورمر دارای سرهای توجه متعددی است. در حالی که هر سر توجه به نشانه‌های مربوط به هر نشانه توجه می‌کند، با سرهای توجه متعدد، مدل می‌تواند این کار را برای تعاریف مختلف «ارتباط» انجام دهد. علاوه بر این، میدان تأثیر نشان دهنده ارتباط می‌تواند به تدریج در لایه‌های متوالی گشاد شود. بسیاری از سرهای توجه ترانسفورمر روابط مرتبطی را رمزگذاری می‌کنند که برای انسان معنادار است. برای مثال، سرهای توجه می‌توانند بیشتر به کلمه بعدی توجه کنند، در حالی که دیگران عمدتاً از افعال به مفعول مستقیم خود توجه می‌کنند.<ref>{{Cite journal|last1=Clark|first1=Kevin|last2=Khandelwal|first2=Urvashi|last3=Levy|first3=Omer|last4=Manning|first4=Christopher D.|date=August 2019|title=What Does BERT Look at? An Analysis of BERT's Attention|url=https://www.aclweb.org/anthology/W19-4828|journal=Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|location=Florence, Italy|publisher=Association for Computational Linguistics|pages=276–286|doi=10.18653/v1/W19-4828|doi-access=free}}</ref> محاسبات برای هر سر توجه را می‌توان به صورت موازی انجام داد، که امکان پردازش سریع را فراهم می‌کند. خروجی‌های لایه توجه به هم متصل می‌شوند تا به لایه‌های شبکه عصبی پیش‌خور منتقل شوند.

=== رمزگذار ===
هر رمزگذار از دو جزء اصلی تشکیل شده‌است: یک مکانیسم توجه به خود و یک شبکه عصبی پیشخور. مکانیسم توجه به خود کدهای ورودی را از رمزگذار قبلی می‌پذیرد و ارتباط آنها را با یکدیگر برای تولید کدهای خروجی می‌سنجد. شبکه عصبی پیشخور بیشتر هر کدگذاری خروجی را به صورت جداگانه پردازش می‌کند. این کدهای خروجی سپس به رمزگذار بعدی به عنوان ورودی آن و همچنین به رمزگشاها ارسال می‌شود.

رمزگذار اول اطلاعات موقعیتی و [[جاسازی کلمه |جاسازی‌ها]] دنباله ورودی را به‌جای رمزگذاری به عنوان ورودی خود می‌گیرد. اطلاعات موقعیت برای ترانسفورمر برای استفاده از ترتیب ترتیب ضروری است، زیرا هیچ بخش دیگری از ترانسفورمر از این استفاده نمی‌کند.<ref name=":0"/>

=== رمزگشا ===
هر رمزگشا از سه جزء اصلی تشکیل شده‌است: مکانیسم توجه به خود، مکانیسم توجه روی رمزگذاری‌ها و شبکه عصبی پیش‌خور. رمزگشا به روشی مشابه رمزگذار عمل می‌کند، اما مکانیسم توجه اضافی درج شده‌است که در عوض اطلاعات مربوطه را از رمزگذاری‌های تولید شده توسط رمزگذارها می‌گیرد.<ref name=":0"/><ref name=":1"/>

مانند رمزگذار اول، رمزگشای اول به جای رمزگذاری، اطلاعات موقعیتی و جاسازی‌های دنباله خروجی را به عنوان ورودی خود می‌گیرد. ترانسفورمر نباید از خروجی فعلی یا آینده برای پیش‌بینی یک خروجی استفاده کند، بنابراین دنباله خروجی باید تا حدی پوشانده شود تا از این جریان اطلاعات معکوس جلوگیری شود.<ref name=":0"/>آخرین رمزگشا با یک [[ضرب ماتریس| تبدیل خطی]] و لایه [[بیشینه هموار]]، برای تولید احتمالات خروجی از روی واژگان.

=== جایگزین‌ها ===
آموزش معماری‌های مبتنی بر ترانسفورمر می‌تواند گران باشد، به خصوص برای ورودی‌های طولانی.<ref>{{Cite arXiv |eprint=2001.04451|last1=Kitaev|first1=Nikita|last2=Kaiser|first2=Łukasz|last3=Levskaya|first3=Anselm|title=Reformer: The Efficient Transformer|year=2020|class=cs.LG}}</ref> معماری‌های جایگزین شامل Reformer است (که بار محاسباتی را از <math>O(N^2)</math> به <math>O(N\ln N)</math>) کاهش می‌دهد. یا مدل‌هایی مانند ETC/ BigBird (که می‌تواند آن را به <math>O(N)</math> کاهش دهد)<ref name=":1"/> که در آن <math>N</math> طول توالی. این کار با استفاده از [[درهم‌سازی حساس به محلی]] {{به انگلیسی|locality-sensitive hashing}} و لایه‌های برگشت‌پذیر انجام می‌شود.<ref name=":1"/>
یک معیار برای مقایسه معماری ترانسفورمر در اواخر سال ۲۰۲۰ معرفی شد.<ref>{{cite arXiv|last1=Tay|first1=Yi|last2=Dehghani|first2=Mostafa|last3=Abnar|first3=Samira|last4=Shen|first4=Yikang|last5=Bahri|first5=Dara|last6=Pham|first6=Philip|last7=Rao|first7=Jinfeng|last8=Yang|first8=Liu|last9=Ruder|first9=Sebastian|last10=Metzler|first10=Donald|date=2020-11-08|title=Long Range Arena: A Benchmark for Efficient Transformers|class=cs.LG|eprint=2011.04006}}</ref>

== آموزش ==
ترنسفورمرها معمولاً تحت [[یادگیری نیمه‌نظارتی]] شامل [[یادگیری بی‌نظارت]] پیش آموزش و سپس تنظیم دقیق [[یادگیری تحت نظارت| نظارت شده]] قرار می‌گیرند. به دلیل در دسترس بودن محدود داده‌های آموزشی برچسب‌گذاری‌شده، معمولاً پیش‌آموزش بر روی مجموعه داده‌های بزرگ‌تری نسبت به تنظیم دقیق انجام می‌شود. وظایف پیش‌آموزشی و تنظیم دقیق معمولاً عبارتند از:

* [[مدل زبانی|مدل‌سازی زبان]]<ref name=":13">https://en.wikipedia.org/wiki/Transformer_(machine_learning_model)</ref>
* پیش‌بینی جمله بعدی<ref name=":13" />
* [[پرسش و پاسخ|پاسخ به پرسش]]<ref name=":13" />
* [[فهم زبان‌های طبیعی|درک مطلب]]
* [[عقیده کاوی|تحلیل احساسات]]<ref name=":73">{{Cite journal|last1=Wang|first1=Alex|last2=Singh|first2=Amanpreet|last3=Michael|first3=Julian|last4=Hill|first4=Felix|last5=Levy|first5=Omer|last6=Bowman|first6=Samuel|date=2018|title=GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding|journal=Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|pages=353–355|arxiv=1804.07461|doi=10.18653/v1/w18-5446|s2cid=5034059}}</ref>
* [[خلاصه‌سازی خودکار|پارافریزی]]<ref name=":73" />

== برنامه‌های کاربردی ==
ترانسفورمر موفقیت زیادی در [[پردازش زبان طبیعی]] (NLP) داشته‌است، به عنوان مثال وظایف [[ترجمه ماشینی]] و [[سری‌های زمانی]] پیش‌بینی<ref name=":1"/> بسیاری از مدل‌های از پیش آموزش دیده مانند [[GPT-2]]، [[GPT-3]]، [[برت (مدل زبانی)]], XLNet و RoBERTa توانایی ترنسفورمرها را برای انجام طیف گسترده‌ای از وظایف مرتبط با NLP نشان می‌دهند و پتانسیل یافتن برنامه‌های کاربردی در دنیای واقعی را دارند<ref>{{Cite book|title=XLNet: Generalized Autoregressive Pretraining for Language Understanding|last=Yang, Zhilin Dai, Zihang Yang, Yiming Carbonell, Jaime Salakhutdinov, Ruslan Le, Quoc V.|date=2019-06-19|oclc=1106350082}}</ref><ref name=":7">{{Cite journal|last1=Wang|first1=Alex|last2=Singh|first2=Amanpreet|last3=Michael|first3=Julian|last4=Hill|first4=Felix|last5=Levy|first5=Omer|last6=Bowman|first6=Samuel|date=2018|title=GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding|journal=Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|pages=353–355|arxiv=1804.07461|doi=10.18653/v1/w18-5446|s2cid=5034059}}</ref><ref name=":1"/>

اینها ممکن است شامل موارد زیر باشد:

* [[ترجمه ماشینی]]
* [[خلاصه‌سازی خودکار|خلاصه‌سازی اسناد]]
* [[تولید زبان طبیعی|تولید سند]]

* [[تشخیص نهاد با نام|شناسایی نهاد نامگذاری شده]]<ref name=":1" />

* [[آنالیز دنباله|آنالیز دنباله بیولوژیک]]
* [[برنامه‌نویسی رایانه‌ای|نوشتن برنامه‌های رایانه‌ای]]
* [[بینایی رایانه‌ای|درک تصویری (ویدیویی)]]

علاوه بر برنامه های کاربردی NLP، در زمینه های دیگری مانند [[بینایی رایانه‌ای|بینایی کامپیوتر]] یا برنامه های [[پیش‌بینی ساختار پروتئین|تاشوندگی پروتئین]] (مانند [[AlphaFold]] ) نیز موفق بوده است.

در سال ۲۰۲۰، نشان داده شد که معماری ترانسفورمر، به‌طور خاص GPT-2، می‌تواند برای بازی شطرنج تنظیم شود<ref>{{cite arXiv|last1=Noever|first1=David|last2=Ciolino|first2=Matt|last3=Kalin|first3=Josh|date=2020-08-21|title=The Chess Transformer: Mastering Play using Generative Language Models|class=cs.AI|eprint=2008.04057}}</ref> ترنسفورمرها برای پردازش تصویر با نتایج قابل رقابت با [[شبکه عصبی پیچشی]] به کار رفته‌اند.<ref name=":1"/>

== پیاده‌سازی‌ها ==
مدل ترانسفورمر در چارچوب‌های یادگیری عمیق استاندارد مانند [[تنسورفلو]] و [[پای‌تورچ]] پیاده‌سازی شده‌است.

''ترنسفورمر'' یک کتابخانه است که توسط [[هاگینگ فیس]] {{به فارسی|شکلک خندان}} تولید شده است و معماری‌های مبتنی بر ترانسفورمر و مدل‌های از پیش آموزش‌دیده را ارائه می‌دهد.

== جستارهای وابسته ==
* [[درک]]
* [[واحد بازگشتی دروازه‌ای]]
* [[GPT-3]]
* [[وو دائو]]
* [[ترانسفورمر بینایی| ترانسفورمرهای بینایی]]

== منابع ==
{{پانویس|۲}}

== ادامه مطلب ==
* Hubert Ramsauer ''et al.'' (2020), [https://arxiv.org/abs/2008.02217 "Hopfield Networks is All You Need"], preprint submitted for [[International Conference on Learning Representations|ICLR]] 2021. {{arxiv|2008.02217}}; see also authors' [https://ml-jku.github.io/hopfield-layers/ blog]
::– Discussion of the effect of a transformer layer as equivalent to a Hopfield update, bringing the input closer to one of the [[Fixed point (mathematics)|fixed points]] (representable patterns) of a continuous-valued [[Hopfield network]]

== پیوند به بیرون ==
* Alexander Rush, [https://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated transformer], Harvard NLP group, ۳ آوریل ۲۰۱۸
[[رده:شبکه‌های عصبی مصنوعی]]
[[رده:معماری شبکه‌های عصبی]]
[[رده:نرم‌افزارهای گوگل]]
{{هوش مصنوعی مولد}}