نمایش مبدأ برای ترکیب متخصصان

{{یادگیری ماشین}}

'''ترکیب متخصصان''' {{اختصاری|MoE}} یک تکنیک [[یادگیری ماشین|یادگیری ماشینی]] است که در آن از چندین شبکه متخصص (یادگیرنده) به منظور تقسیم‌بندی یک فضای مسئله، به مناطق همگن استفاده می شود. <ref>{{Cite journal|last=Baldacchino|first=Tara|last2=Cross|first2=Elizabeth J.|last3=Worden|first3=Keith|last4=Rowson|first4=Jennifer|year=2016|title=Variational Bayesian mixture of experts models and sensitivity analysis for nonlinear dynamical systems|journal=Mechanical Systems and Signal Processing|volume=66–67|pages=178–200|bibcode=2016MSSP...66..178B|doi=10.1016/j.ymssp.2015.05.009}}</ref> تفاوت آن با [[یادگیری گروهی|تکنیک‌های یادگیری گروهی]] در این است که در MoE بر روی هر ورودی، تنها یک یا چند مدل متخصص اجرا می‌شوند، برخلاف تکنیک‌های گروهی، که همه مدل‌ها بر روی همه ورودی‌ها اجرا می‌شوند.

== نظریه پایه ==
ترکیب متخصصان، همیشه دارای موارد زیر است. این عوامل متفاوت از هم ساخته و نهایتاً ترکیب می‌شوند.

* متخصصان <math>f_1, ..., f_n</math> را داریم، که همه آنها ورودی یکسان <math>x</math> را دریافت می کنند، و خروجی‌های <math>f_1(x), ..., f_n(x)</math> را تولید می‌کند.
* یک تابع وزن‌دهی واحد (با نام مستعار تابع دروازه) <math>w</math> وجود دارد، که <math>x</math> را به عنوان ورودی دریافت کرده و بردار خروجی‌های <math>(w(x)_1, ..., w(x)_n)</math> را تولید می کند.
* <math>\theta = (\theta_0, \theta_1, ..., \theta_n)</math> مجموعه ای از پارامترها است. پارامتر <math>\theta_0</math> برای وزن‌دهی تابع به کار می‌رود.
* ترکیب متخصصان با داشتن ورودی <math>x</math>، با توجه به وزن های <math>w(x)_1, ..., w(x)_n</math>، مقادیر <math>f_1(x), ..., f_n(x)</math> را تجمیع کرده و یک خروجی مرکب تولید می کند.

به منظور به حداقل رساندن تابع هزینه، هم متخصصان و هم تابع وزن‌دهی با استفاده از روش [[گرادیان کاهشی]]، آموزش داده می‌شوند. در انتخاب تابع وزن‌دهی و [[تابع هزینه]] که شکل‌بندی دقیق متخصصان را تعیین کند، محدودیتی وجود ندارد.

=== شبکه متا-پی ===
'''شبکه متا-پی'''<ref name=":0" group="پاورقی">Meta-pi network</ref>، که توسط همپشایر و وایبل ارائه شده است،<ref>{{Cite journal|last=Hampshire|first=J.B.|last2=Waibel|first2=A.|date=July 1992|title=The Meta-Pi network: building distributed knowledge representations for robust multisource pattern recognition|url=https://isl.anthropomatik.kit.edu/downloads/The_Meta-Pi_Network-_Building_Distributed_Knowledge_Representations_for_Robust_Multi-Source_Pattern_Recognition.pdf|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=14|issue=7|pages=751–769|doi=10.1109/34.142911}}</ref> از <math>f(x) = \sum_i w(x)_i f_i(x)</math> به عنوان تابع خروجی استفاده می‌کند. آموزش این مدل با اعمال گرادیان کاهشی بر روی افت [[خطای میانگین مربعات|خطای میانگین مربع]] <math>L := \frac 1N \sum_k \|y_k - f(x_k)\|^2</math> انجام می‌شود. متخصصان می‌توانند هر تابع دلخواهی باشند.

نویسندگان مقاله در انتشار اولیه آن، مسئله طبقه‌بندی [[واج|واج‌ها]] در سیگنال گفتاری 6 سخنران مختلف ژاپنی، شامل 2 زن و 4 مرد، را حل کردند. آنها 6 متخصص را آموزش دادند که هر کدام یک «شبکه عصبی با تأخیر زمانی» (در اصل یک [[شبکه عصبی پیچشی|شبکه کانولوشن]] چندلایه بر روی [[سپستروم با فرکانس مل|طیف‌نگار mel]] ) بودند. سپس دریافتند که ترکیب متخصصان به‌دست آمده، 5 متخصص را به 5 سخنران اختصاص داده است، اما گوینده ششم (مرد) متخصص اختصاصی ندارد. در عوض صدای او توسط [[ترکیب خطی]] متخصصان مرتبط با 3 سخنران مرد دیگر طبقه‌بندی شده است.

=== ترکیب‌های تطبیقی از متخصصان محلی ===
'''ترکیب تطبیقی متخصصان محلی''' <ref>{{Cite journal|last=Nowlan|first=Steven|last2=Hinton|first2=Geoffrey E|date=1990|title=Evaluation of Adaptive Mixtures of Competing Experts|url=https://proceedings.neurips.cc/paper/1990/hash/432aca3a1e345e339f35a30c8f65edce-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Morgan-Kaufmann|volume=3}}</ref><ref>{{Cite journal|last=Jacobs|first=Robert A.|last2=Jordan|first2=Michael I.|last3=Nowlan|first3=Steven J.|last4=Hinton|first4=Geoffrey E.|date=February 1991|title=Adaptive Mixtures of Local Experts|url=https://direct.mit.edu/neco/article/3/1/79-87/5560|journal=Neural Computation|language=en|volume=3|issue=1|pages=79–87|doi=10.1162/neco.1991.3.1.79|issn=0899-7667|pmid=31141872}}</ref> از یک [[مدل ترکیبی|مدل ترکیبی گاوسی]] استفاده می کند. هر متخصص یک [[توزیع نرمال|توزیع گاوسی]] را پیش‌بینی می‌کند و ورودی را کاملاً نادیده می‌گیرد. به بیان دقیق‌تر، متخصص <math>i</math>-ام پیش‌بینی می‌کند که خروجی <math>y \sim N(\mu_i, I)</math> است، به طوری که <math>\mu_i</math> یک پارامتر آموزش‌پذیر است. تابع وزن‌دهی یک [[بیشینه هموار|تابع بیشینه هموار خطی]] <ref name=":1" group="پاورقی">linear-softmax function</ref> است:<math display="block">w(x)_i = \frac{e^{k_i^T x + b_i}}{\sum_j e^{k_j^T x + b_j}}</math>ترکیب متخصصان پیش‌بینی می‌کند که خروجی بر اساس تابع توزیع چگالی احتمال تولید می‌شود:<math display="block">f_\theta(y|x) 
= \ln\left[\sum_i \frac{e^{k_i^T x + b_i}}{\sum_j e^{k_j^T x + b_j}} N(y | \mu_i, I)\right] 
= \ln\left[(2\pi)^{-d/2} \sum_i \frac{e^{k_i^T x + b_i}}{\sum_j e^{k_j^T x + b_j}} e^{-\frac 12 \|y-\mu_i\|^2}\right]</math>این تابع با روش تخمین حداکثر احتمال، یعنی گرادیان صعودی بر روی <math>f(y|x)</math> آموزش می‌بیند. گرادیان برای متخصص <math>i</math> -ام به قرار زیر خواهد بود:<math display="block">\nabla_{\mu_i} f_\theta(y|x) = 
\frac{w(x)_i N(y|\mu_i, I)}{\sum_j w(x)_j N(y|\mu_j, I)}\; (y-\mu_i) </math>و گرادیان، برای تابع وزنی به قرار زیر است:<math display="block">\nabla_{[k_i, b_i]} f_\theta(y|x) = \begin{bmatrix}x\\ 1\end{bmatrix} \frac{w(x)_i}{\sum_j w(x)_j N(y|\mu_j, I)} 
(f_{i}(x)- f_\theta(y|x))</math>تابع وزن‌دهی برای هر جفت ورودی-خروجی <math>(x, y)</math> تغییر می‌کند تا وزن همه متخصصانی که بالاتر از میانگین کار کرده‌اند افزایش یابد و وزن همه متخصصانی که کمتر از میانگین کار کرده‌اند کاهش یابد. با این کار تابع وزن‌دهی تشویق می‌شود تا یاد بگیرد فقط متخصصانی را انتخاب کند که پیش‌بینی‌های درست را برای هر ورودی انجام می‌دهند.

متخصص <math>i</math> -ام برای نزدیک‌تر کردن پیش‌بینی خود به <math>y</math> تغییر می‌کند. میزان این تغییر متناسب با <math>w(x)_i N(y|\mu_i, I)</math> است. در واقع این کار یک [[استنباط بیزی]] است. با داشتن ورودی <math>x</math>، [[توزیع پیشین|احتمال پیشین]] که متخصص <math>i</math> پاسخ درست بدهد <math>w(x)_i</math> است. و <math>N(y|\mu_i, I)</math> [[تابع درست‌نمایی|احتمال]] شاهد <math>y</math> است.

بنابراین، <math>\frac{w(x)_i N(y|\mu_i, I)}{\sum_j w(x)_j N(y|\mu_j, I)}</math> [[احتمال پسین]] برای متخصص <math>i</math>-ام است. در نتیجه نرخ تغییر برای متخصص <math>i</math>-ام متناسب با احتمال پسین آن است.

به بیان دیگر می‌توان گفت: از متخصصانی که در گذشته، متخصصان خوبی برای مشورت به نظر می‌رسیدند، خواسته می‌شود تا بر روی داده ها آموزش ببینند. متخصصانی که در گذشته برای مشورت مناسب نبودند، رها شده‌اند.

اثر ترکیبی بدین گونه است که متخصصان تبهر پیدا می‌کنند: فرض کنید دو متخصص هر دو در پیش‌بینی یک ورودی خاص خوب هستند، اما یکی کمی بهتر است، در این صورت تابع وزن‌دهی در نهایت یاد می‌گیرد که به نفع آن یکی که بهتر بوده تمایل پیدا کند. پس از این اتفاق، متخصص ضعیف‌تر قادر به دریافت سیگنال گرادیان بالاتر نیست و در پیش‌بینی ورودی بدتر و بدتر می‌شود. برعکس، متخصص ضعیف‌تر می‌تواند در پیش‌بینی دیگر انواع ورودی‌ بهتر عمل کند و به طور فزاینده‌ای به منطقه دیگری کشیده شود. این روش یک اثر بازخوردی مثبت دارد و باعث می‌شود هر متخصص از بقیه جدا شود و به تنهایی یک منطقه محلی را تحت نظر بگیرد. بنابراین در این لحظه نام "متخصصان ''محلی''" معنادار می‌شود.

=== ترکیب متخصصان سلسله مراتبی ===
[[پرونده:Mixure_of_Experts_-_Gating_Network.svg|بندانگشتی|لایه MoE - اثر دروازه بر روی ورودی و توابع]]
'''ترکیب متخصصان سلسله مراتبی''' <ref name=":0">{{Cite journal|last=Jordan|first=Michael|last2=Jacobs|first2=Robert|date=1991|title=Hierarchies of adaptive experts|url=https://proceedings.neurips.cc/paper_files/paper/1991/hash/59b90e1005a220e2ebc542eb9d950b1e-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Morgan-Kaufmann|volume=4}}</ref><ref name=":2">{{Cite journal|last=Jordan|first=Michael I.|last2=Jacobs|first2=Robert A.|date=March 1994|title=Hierarchical Mixtures of Experts and the EM Algorithm|url=https://direct.mit.edu/neco/article/6/2/181-214/5779|journal=Neural Computation|language=en|volume=6|issue=2|pages=181–214|doi=10.1162/neco.1994.6.2.181|issn=0899-7667|hdl-access=free}}</ref> از چندین سطح مختلف دروازه در یک [ساختار] درخت استفاده می‌کند. هر دروازه یک [[توزیع احتمال]] جهت اعمال بر روی سطح بعدی دروازه‌ها است. متخصصان روی [گره های] برگ درخت هستند. این ساختار بسیار شبیه به [[یادگیری درخت تصمیم|درختان تصمیم]] است.

یک MoE سلسله مراتبی 2 سطحی نوعی به عنوان مثال، یک تابع دروازه ای مرتبه اول <math>w_i</math>، توابع دروازه‌ای مرتبه دوم <math>w_{j|i}</math> و متخصصان <math>f_{j|i}</math> را شامل می‌شود. لذا پیش‌بینی کل <math>\sum_i w_i(x) \sum_j w_{j|i}(x) f_{j|i}(x)</math> خواهد بود.

=== انواع ===
ترکیب متخصصان، که شبیه به [[مدل ترکیبی]] گاوسی است، می‌تواند مشابه به روش [[الگوریتم امید ریاضی–بیشینه کردن|الگوریتم حداکثرسازی انتظارات]] آموزش ببیند، که همانند مدل‌های مخلوط گاوسی است. به عنوان یک مثال خاص، در مرحله انتظار، "بار" (که برای توضیح هر نقطه داده به کار می رود) بین متخصصان توزیع می‌شود. در مرحله حداکثر سازی، دو کار انجام می‌شود.

* متخصصان، آموزش می‌بینند تا توضیحاتی را بهبود بخشند، که برای آنها بار زیادی دریافت کرده‌اند
* دروازه‌ها، برای بهبود سهمیه‌بندی و توزیع "بار" آموزش می‌بیند.

با این روش [[تابع درست‌نمایی|تابع درست‌نمایی لگاریتمی]] سریعتر از روش گرادیان صعودی می‌تواند همگرا شود. <ref name=":2" /><ref name=":3">{{Cite journal|last=Jordan|first=Michael I.|last2=Xu|first2=Lei|date=1995-01-01|title=Convergence results for the EM approach to mixtures of experts architectures|url=https://dx.doi.org/10.1016/0893-6080%2895%2900014-3|journal=Neural Networks|volume=8|issue=9|pages=1409–1431|doi=10.1016/0893-6080(95)00014-3|issn=0893-6080|hdl-access=free}}</ref>

انتخاب تابع دروازه‌ای اغلب انتخاب تابعی از نوع یک [[بیشینه هموار]] است. به علاوه، <ref>{{Cite journal|last=Xu|first=Lei|last2=Jordan|first2=Michael|last3=Hinton|first3=Geoffrey E|date=1994|title=An Alternative Model for Mixtures of Experts|url=https://proceedings.neurips.cc/paper/1994/hash/c8fbbc86abe8bd6a5eb6a3b4d0411301-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=MIT Press|volume=7}}</ref> استفاده از توزیع های گاوسی و <ref name=":3" /> استفاده از خانواده توابع نمایی پیشنهاد شده است.

به جای پیاده‌سازی مجموع وزنی از همه متخصصان، در ''MoE سخت''، <ref>{{Cite journal|last=Collobert|first=Ronan|last2=Bengio|first2=Samy|last3=Bengio|first3=Yoshua|date=2001|title=A Parallel Mixture of SVMs for Very Large Scale Problems|url=https://proceedings.neurips.cc/paper_files/paper/2001/hash/36ac8e558ac7690b6f44e2cb5ef93322-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=MIT Press|volume=14}}</ref> تنها از متخصص با بالاترین رتبه استفاده می‌شود. به این معنا که، <math>f(x) = f_{\arg\max_i w_i(x)}(x)</math> . با این کار زمان آموزش و استنتاج تسریع می‌شود.

متخصصان می توانند از انواع کلی‌تری از توزیع‌های گاوسی چند‌متغیره استفاده کنند. به عنوان مثال، مقاله <ref name=":0" /> پیشنهاد کرد <math>f_i(y|x) = N(y | A_i x + b_i, \Sigma_i)</math>، که همگی <math>A_i</math>، <math>b_i</math>، و <math>\Sigma_i</math> پارامترهای قابل یادگیری هستند. به بیان دیگر، هر متخصص یاد می‌گیرد که [[رگرسیون خطی]] را با استفاده از روش تخمین عدم‌قطعیت قابل‌یادگیری انجام دهد.

می توان در متخصصان متفاوت از توابعی به غیر از توزیع‌های گاوسی استفاده کرد. به عنوان مثال، می‌توان از [[توزیع لاپلاس]]، <ref>{{Cite journal|last=Nguyen|first=Hien D.|last2=McLachlan|first2=Geoffrey J.|date=2016-01-01|title=Laplace mixture of linear experts|url=https://www.sciencedirect.com/science/article/pii/S0167947314003089|journal=Computational Statistics & Data Analysis|volume=93|pages=177–191|doi=10.1016/j.csda.2014.10.016|issn=0167-9473}}</ref> یا [[توزیع تی-استیودنت]] استفاده کرد. <ref>{{Cite journal|last=Chamroukhi|first=F.|date=2016-07-01|title=Robust mixture of experts modeling using the t distribution|url=https://www.sciencedirect.com/science/article/pii/S0893608016000435|journal=Neural Networks|volume=79|pages=20–36|arxiv=1701.07429|doi=10.1016/j.neunet.2016.03.002|issn=0893-6080|pmid=27093693}}</ref> برای طبقه‌بندی باینری نیز، متخصص [[رگرسیون لجستیک]] توصیه شده است با<math display="block">f_i(y|x) = \begin{cases}
\frac{1}{1+e^{\beta_i^T x + \beta_{i,0}}}, & y = 0 \\
1-\frac{1}{1+e^{\beta_i^T x + \beta_{i,0}}}, & y= 1
\end{cases}  </math>به طوری که <math>\beta_{i}  </math> و <math>\beta_{i, 0}  </math> پارامترهای قابل یادگیری هستند. با تعمیم این فرمول می‌توان به طبقه‌بندی چندگروهی دست یافت، که با استفاده از متخصصان رگرسیون لجستیک چند جمله‌ای انجام می‌شود. <ref>{{Cite journal|last=Chen|first=K.|last2=Xu|first2=L.|last3=Chi|first3=H.|date=1999-11-01|title=Improved learning algorithms for mixture of experts in multiclass classification|url=https://www.sciencedirect.com/science/article/pii/S089360809900043X|journal=Neural Networks|volume=12|issue=9|pages=1229–1252|doi=10.1016/S0893-6080(99)00043-X|issn=0893-6080|pmid=12662629}}</ref>

== یادگیری عمیق ==
در بخش قبلی MoE توصیف شد و باید توجه کرد که روش‌های بالا پیش از عصر [[یادگیری عمیق]] مورد استفاده قرار می گرفت. در دوره پیش از یادگیری عمیق، MoE کاربردهای دیگری از جمله، در پیاده‌سازی مدل‌های بسیار بزرگتر پیدا کرد. در این کاربرد از MoE به عنوان یک روش ساده برای انجام ''[[Conditional computation|محاسبات شرطی]]'' بهره می‌بریم. یعنی به جای استفاده از کل مدل، فقط بخش‌هایی از مدل استفاده می‌شود، که متناسب با ورودی انتخاب می‌شوند. <ref>{{Cite arXiv|last1=Bengio|title=Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation|eprint=1308.3432}}</ref>

اولین مقاله‌ای که MoE را برای یادگیری عمیق به کار می‌برد، «یادگیری بازنمایی‌های عامل‌دار در ترکیبی عمیق از متخصصان» (Eigen, Ranzato, Sutskever) <ref>{{Cite arXiv|last1=Eigen|title=Learning Factored Representations in a Deep Mixture of Experts|eprint=1312.4314}}</ref> است که پیشنهاد می‌کند از یک شبکه دروازه‌ای متفاوت در هر لایه در یک شبکه عصبی عمیق استفاده شود. به طوری که، هر دروازه یک شبکه [[بیشینه هموار]]-خطی-ReLU-خطی، و هر متخصص یک شبکه ReLU-خطی انتخاب شود.

هدف اصلی استفاده از MoE در یادگیری عمیق، کاهش هزینه محاسبات است. در نتیجه، برای هر پرس و جو، تنها یک زیرمجموعه کوچک از متخصصان باید پرس و جو شود. این باعث می شود که MoE در یادگیری عمیق با MoEکلاسیک متفاوت باشد. در MoE کلاسیک به ازای هر پرس و جو، خروجی مجموع وزنی خروجی‌های ''متخصصان'' است. ولی در MoE یادگیری عمیق، خروجی نهایی در هر پرس و جو می‌تواند تنها شامل خروجی‌های زیر مجموعه ای از کل متخصصان باشد. در نتیجه، انتخاب کلیدی طراحی در این MoE معطوف به به ''مسیریابی'' می‌شود:

* مسیریابی و جهت‌دهی ورودی ها (پرس و جوها) به بهترین متخصصان چگونه انجام بپذیرد‌.

=== لایه MoE با دروازه پراکنده ===
'''لایه MoE با پراکندگی دروازه‌'''، <ref>{{Cite arXiv|title=Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer}}</ref> <ref name=":2" group="پاورقی">sparsely-gated MoE layer</ref> که توسط محققان [[گوگل برین]] منتشر شده است، از [[شبکه عصبی پیشخور|شبکه‌های پیش‌خور]] به‌ عنوان متخصص و از [[بیشینه هموار]] خطی به عنوان دروازه استفاده می‌کند. مشابه پیشنهادهای ارائه شده در بالا برای MoE سخت، به منظور دستیابی به هدف پراکندگی، آنها به جای استفاده از جمع وزنی همه متخصصان، از جمع وزنی k متخصص برتر استفاده می‌کنند. به بیان خاص‌تر، در یک لایه MoE، [[شبکه عصبی پیشخور|شبکه‌های پیشخور]] <math>f_1, ..., f_n</math> و یک شبکه دروازه <math>w</math> وجود دارد . شبکه دروازه توسط رابطه <math>w(x) = \mathrm{softmax}(\mathrm{top}_k(W x + \text{noise})) </math> تعریف می‌شود. <math>\mathrm{top}_k</math> تابعی است که ورودی های به k واحد برتر را دست نخورده و یکسان نگه می‌دارد، ولی همه ورودی‌های دیگر را به <math>-\infty</math> تغییر می‌دهد. باید به این نکته اشاره کرد که اضافه شدن نویز به تعادل بار کمک می کند.

انتخاب <math>k</math> یک فراپارامتر است که با توجه به کاربرد انتخاب می‌شود. <math>k = 1, 2</math> مقادیر معمول و کاربردی هستند. با فرض <math>k = 1</math>، این نسخه از شبکه، ترنسفورمر سوئیچی {{به‌انگلیسی|Switch Transformer}}نامیده می شود. <ref name=":1">{{Cite journal|last=Fedus|first=William|last2=Zoph|first2=Barret|last3=Shazeer|first3=Noam|date=2022-01-01|title=Switch transformers: scaling to trillion parameter models with simple and efficient sparsity|url=https://dl.acm.org/doi/abs/10.5555/3586589.3586709|journal=The Journal of Machine Learning Research|volume=23|issue=1|pages=5232–5270|arxiv=2101.03961|issn=1532-4435}}</ref>

نویسندگان مقاله برای ارائه نتایج خود، با استفاده از لایه‌های متناوب MoE و [[حافظه طولانی کوتاه مدت|LSTM]]، مجموعه‌ای از مدل‌ها را برای کاربرد به عنوان [[ترجمه ماشینی]] آموزش دادند و نتیجه را با مدل‌های عمیق LSTM مقایسه کردند. جدول 3 نشان می دهد که مدل های MoE علیرغم داشتن 30 برابر پارامترهای بیشتر، از زمان محاسبه استنتاج کمتری استفاده می کنند.

Vanilla MoE معمولاً مشکلاتی در تعادل بار دارد: با برخی از متخصصان اغلب مشورت می شود، در حالی که متخصصان دیگر به ندرت یا اصلاً مشورت نمی کنند. برای تشویق گیت به انتخاب هر متخصص با فرکانس برابر (تعادل بار مناسب) در هر دسته، هر لایه MoE دارای دو تابع تلفات کمکی است. این با <ref name=":1" /> به یک تابع تلفات کمکی بهبود یافته است. به طور خاص، اجازه دهید <math>n</math> تعداد متخصصان باشد، سپس برای یک دسته معین از پرس و جوها <math>\{x_1, x_2, ..., x_T\}</math>، ضرر کمکی برای دسته است

=== مسیریابی ===
در MoE با دروازه‌های پراکنده، فقط از k متخصصان برتر پرس و جو می‌شود و خروجی‌های آن‌ها وزن‌دهی و به هم افزوده می‌شود. روش های دیگری نیز وجود دارد. <ref name=":4">{{Cite arXiv|last1=Zoph|title=ST-MoE: Designing Stable and Transferable Sparse Expert Models|eprint=2202.08906}}</ref>

در Hash MoE، <ref>{{Cite journal|last=Roller|first=Stephen|last2=Sukhbaatar|first2=Sainbayar|last3=szlam|first3=arthur|last4=Weston|first4=Jason|date=2021|title=Hash Layers For Large Sparse Models|url=https://proceedings.neurips.cc/paper_files/paper/2021/hash/92bf5e6240737e0326ea59846a83e076-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates|volume=34|pages=17555–17566|arxiv=2106.04426}}</ref> مسیریابی توسط یک [[تابع هش]] انجام می شود که قبل از شروع یادگیری تثبیت و بدون تغییر در نظر گرفته شده است. به عنوان مثال، اگر مدل یک ترانسفورماتور 4 لایه باشد و ورودی، نشانه‌ای (توکن) متناظر با کلمه "eat" باشد و هش "eat" <math>(1, 4, 2, 3)</math> باشد. آنگاه توکن به متخصص 1 در لایه 1، متخصص 4 در لایه 2، متخصص 2 در لایه و متخصص 3 در لایه 4 هدایت می شود. با وجود سادگی، این روش از لحاظ بازدهی در سطح MoE با دروازه پراکندگی با پارامتر <math>k = 1</math> است.

در MoE نرم، فرض کنید در هر دسته، هر متخصص می تواند تعداد <math>p</math> پرس و جو را پردازش کند. در نتیجه <math>n\times p</math> پرس و جو وجود دارد که می‌توان به هر دسته تخصیص داد. حال برای هر دسته از پرس و جوهای <math>\{x_1, x_2, ..., x_T\}</math>، لایه MoE نرم، یک آرایه نوعی <math>w_{i, j, k}</math> را محاسبه می کند، به طوری که <math>(w_{i, j, 1}, ..., w_{i, j, T})</math> توزیع احتمال بر روی پرس و جوها است، و پرس و جو <math>j</math>-ام به متخصص <math>i</math>-ام با رابطه <math>\sum_k w_{i,j,k}x_k</math> محاسبه می‌شود.<ref>{{Cite arXiv|last1=Puigcerver|title=From Sparse to Soft Mixtures of Experts|eprint=2308.00951}}</ref> با این حال، این روش با مدل‌سازی [[مدل خودهمبسته]] کار نمی‌کند، زیرا وزن‌ <math>w_{i, j, k}</math> بغیر از خود توکن، به همه توکن‌های دیگر بستگی دارد. <ref>{{Citation|last=Wang|first=Phil|title=lucidrains/soft-moe-pytorch|date=2023-10-04|url=https://github.com/lucidrains/soft-moe-pytorch|access-date=2023-10-08}}</ref>

روش‌های دیگر عبارتند از

* [[حل مسئله]] با روش [[برنامه‌ریزی خطی]] مقید<ref>{{Cite journal|last=Lewis|first=Mike|last2=Bhosale|first2=Shruti|last3=Dettmers|first3=Tim|last4=Goyal|first4=Naman|last5=Zettlemoyer|first5=Luke|date=2021-07-01|title=BASE Layers: Simplifying Training of Large, Sparse Models|url=https://proceedings.mlr.press/v139/lewis21a.html|journal=Proceedings of the 38th International Conference on Machine Learning|language=en|publisher=PMLR|pages=6265–6274|arxiv=2103.16716}}</ref>
* وادار کردن هر متخصص به انتخاب k پرس و جو برتر به انتخاب خودش (به جای اینکه هر پرس و جو k متخصص برتر را انتخاب کند)<ref>{{Cite journal|last=Zhou|first=Yanqi|last2=Lei|first2=Tao|last3=Liu|first3=Hanxiao|last4=Du|first4=Nan|last5=Huang|first5=Yanping|last6=Zhao|first6=Vincent|last7=Dai|first7=Andrew M.|last8=Chen|first8=Zhifeng|last9=Le|first9=Quoc V.|date=2022-12-06|title=Mixture-of-Experts with Expert Choice Routing|url=https://proceedings.neurips.cc/paper_files/paper/2022/hash/2f00ecd787b432c1d36f3de9800728eb-Abstract-Conference.html|journal=Advances in Neural Information Processing Systems|language=en|volume=35|pages=7103–7114|arxiv=2202.09368}}</ref>
* استفاده از [[یادگیری تقویتی]] برای آموزش الگوریتم مسیریابی (از آنجایی که انتخاب یک متخصص یک اقدام مجزا است، مانند RL). <ref>{{Cite arXiv|last1=Bengio|title=Conditional Computation in Neural Networks for faster models|eprint=1511.06297}}</ref>

=== فاکتور ظرفیت ===
فرض کنید <math>n</math> متخصص در یک لایه وجود دارند. برای یک دسته معین از پرس و جوی <math>\{x_1, x_2, ..., x_T\}</math>، هر پرس و جو به یک یا چند متخصص هدایت می شود. به عنوان مثال، اگر هر پرس و جو به یک متخصص مانند ترنسفورمر سوئیچی هدایت شود، و اگر تقسیم بار بین متخصصان صورت گرفته باشد، هر متخصص باید به طور متوسط انتظار دریافت <math>T/n</math> از دسته پرس و جوها را داشته باشد. در عمل، متخصصان نمی‌توانند انتظار تعادل بار کامل را داشته باشند: در برخی از دسته پرس و جوها، یک متخصص ممکن است کم کار شود، در حالی که در دسته های دیگر، بیش از حد کار می کند.

تعادل بار از آن جهت اهمیت پیدا می‌کند به بدانیم ورودی‌‌ها به هر لایه نمی‌توانند از آن عبور کرده و به لایه بعدی بروند، تا زمانی که همه متخصص‌ها در همان لایه پرس و جوهایی را که به آنها منتسب شده را به پایان برساند. '''فاکتور ظرفیت''' به شکل یک محدودیت سخت در تعادل بار ایجاد شده است. فاکتور ظرفیت بدین معنی که: هر متخصص فقط مجاز به پردازش حداکثر تا <math>c \cdot T/n</math> پرس و جوی دسته ای<ref name=":4" /> را دارد. در مقاله عملاً مقدار <math>c \in [1.25, 2]</math> نتیجه خوبی به دست داد.

=== کاربرد در مدل های ترنسفورمر ===
لایه‌های MoE در بزرگترین [[ترنسفورمر (یادگیری عمیق)|مدل‌های ترنسفورمر]] استفاده می‌شوند، زیرا که مراحل آموزش و استنباط مدل کامل بسیار پرهزینه است. آنها معمولاً دارای دروازه‌های پراکنده با پراکندگی 1 یا 2 هستند. در مدل‌های ترانسفورماتور، لایه‌های MoE اغلب برای انتخاب [[شبکه عصبی پیشخور|لایه‌های پیش‌خور]] (معمولاً یک شبکه-خطی-ReLU-خطی) استفاده می‌شوند. بدین صورت که پس از توجه چند سر در مسیر هر بلوک ترانسفورماتور ظاهر می‌شوند. به این که با بزرگتر شدن مدل‌ها، لایه‌های پیش‌خور بخش فزاینده‌ای از هزینه محاسبات را به خود اختصاص می‌دهند. به عنوان مثال در مدل Palm-540B حدود 90 درصد پارامترها در لایه های پیشخور آن قرار دارند. <ref>{{Cite web|title=Transformer Deep Dive: Parameter Counting|url=https://orenleung.com/transformer-parameter-counting|accessdate=2023-10-10|website=Transformer Deep Dive: Parameter Counting|language=en|archive-date=۱۲ آوریل ۲۰۲۳|archive-url=https://web.archive.org/web/20230412193251/https://orenleung.com/transformer-parameter-counting|url-status=dead}}</ref>

{{تا تاریخ|2023}}، مدل‌هایی به اندازه کافی بزرگ که از MoE استفاده کنند، معمولا مدل‌های زبان بزرگ هستند که هر متخصص در آن حدود 10 میلیارد پارامتر دارد.

فارغ از مدل‌های زبانی، Vision MoE نیز یک مدل ترنسفورمر با لایه‌های MoE است. نویسندگان مقاله با آموزش یک مدل با 15 میلیارد پارامتر، کاربرد دیگر MoE را نشان دادند.

یک سری از مدل های زبان بزرگ [[گوگل]] از MoE استفاده می کردند. GShard<ref>{{Cite arXiv|last1=Lepikhin|title=GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding|eprint=2006.16668}}</ref> از MoE با حداکثر 2 متخصص در هر لایه استفاده می کند. بدین سان که، ابتدا متخصص برتر اول انتخاب می‌شود و متخصص برتر دوم با احتمالی متناسب با وزن محاسبه شده توسط تابع دروازه انتخاب می‌شود. پس از آن، مدل GLaM <ref>{{Cite arXiv|last1=Du|title=GLaM: Efficient Scaling of Language Models with Mixture-of-Experts|eprint=2112.06905}}</ref> که یک مدل زبانی با 1.2 تریلیون پارامتر را رونمایی شد که هر در لایه MoE آن از 2 متخصص برتر (از بین 64 متخصص) استفاده می کرد. ترنسفورمرهای سوئیچی<ref name=":1" /> از 1 متخصص برتر در تمام لایه های MoE استفاده می کنند.

NLLB-200 از [[متا ای‌آی]] یک مدل ترجمه ماشینی است با پشتیبانی از 200 زبان انسانی. <ref>{{Cite web|date=2022-06-19|title=200 languages within a single AI model: A breakthrough in high-quality machine translation|url=https://ai.facebook.com/blog/nllb-200-high-quality-machine-translation/|archiveurl=https://web.archive.org/web/20230109051700/https://ai.facebook.com/blog/nllb-200-high-quality-machine-translation/|archivedate=2023-01-09|website=ai.facebook.com|language=en}}</ref> هر لایه MoE از یک MoE سلسله مراتبی با دو سطح استفاده می کند. در سطح اول، تابع دروازه تصمیم می‌گیرد که از یک لایه پیشخور "به اشتراک گذاشته شده" استفاده کند یا متخصصان. اگر از متخصصان استفاده شود، یک تابع دروازه‌ای دیگر وزن‌ها را محاسبه می‌کند و 2 متخصص برتر را انتخاب می کند. <ref>{{Cite arXiv|last1=NLLB Team|title=No Language Left Behind: Scaling Human-Centered Machine Translation}}</ref>

مدل‌های زبان بزرگ MoE را می‌توان با [[مدل زبانی بزرگ|تنظیم دستورالعمل]] برای کارهای پایین دستی سازگار کرد. <ref>{{Cite arXiv|last1=Shen|title=Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models|eprint=2305.14705}}</ref>

در دسامبر 2023، شرکت [[میسترال ای‌آی]] مدل Mixtral 8x7B خود را تحت [[مجوز آپاچی]] 2.0 منتشر کرد. این یک مدل زبان MoE با 46.7B پارامتر، 8 متخصص، و پراکندگی دروازه 2 است. آنها همچنین نسخه ای را منتشر کردند که به منظور فرمان‌بری از دستورها تنظیم شده بود. <ref>{{Cite web|last=AI|first=Mistral|date=2023-12-11|title=Mixtral of experts|url=https://mistral.ai/news/mixtral-of-experts/|accessdate=2024-02-04|website=mistral.ai|language=en-us}}</ref><ref>{{Citation|last=Jiang|first=Albert Q.|title=Mixtral of Experts|date=2024-01-08|url=http://arxiv.org/abs/2401.04088|access-date=2024-02-04|arxiv=2401.04088|last2=Sablayrolles|first2=Alexandre|last3=Roux|first3=Antoine|last4=Mensch|first4=Arthur|last5=Savary|first5=Blanche|last6=Bamford|first6=Chris|last7=Chaplot|first7=Devendra Singh|last8=Casas|first8=Diego de las|last9=Hanna|first9=Emma Bou}}</ref>

در مارس 2024، شرکت {{پم|دیتابریکس|Databricks|زبان=en}} مدل {{پم|دیتابریکس|Databricks|زبان=en}} را منتشر کرد. این یک مدل زبان MoE با 132B پارامتر، 16 متخصص و پراکندگی دروازه 4 است. آنها همچنین نسخه ای را منتشر کردند که برای آموزش زیر تنظیم شده بود. <ref name=":02">{{Cite web|date=2024-03-27|title=Introducing DBRX: A New State-of-the-Art Open LLM|url=https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm|accessdate=2024-03-28|website=Databricks|language=en-US}}</ref><ref>{{Cite news|last=Knight|first=Will|title=Inside the Creation of the World's Most Powerful Open Source AI Model|url=https://www.wired.com/story/dbrx-inside-the-creation-of-the-worlds-most-powerful-open-source-ai-model/|accessdate=2024-03-28|work=Wired|language=en-US|issn=1059-1028}}</ref>

== در صورت نیاز به مطالعات بیشتر ==

* قبل از دوران یادگیری عمیق
** {{Cite book|last1=McLachlan|first1=Geoffrey J.|title=Finite mixture models|url=https://archive.org/details/finitemixturemod00geof|last2=Peel|first2=David|date=2000|publisher=John Wiley & Sons, Inc|isbn=978-0-471-00626-8|series=Wiley series in probability and statistics applied probability and statistics section|location=New York Chichester Weinheim Brisbane Singapore Toronto}}
** {{Cite journal|last1=Yuksel|first1=S. E.|last2=Wilson|first2=J. N.|last3=Gader|first3=P. D.|date=August 2012|title=Twenty Years of Mixture of Experts|url=https://ieeexplore.ieee.org/document/6215056|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=23|issue=8|pages=1177–1193|doi=10.1109/TNNLS.2012.2200299|issn=2162-237X|pmid=24807516|s2cid=9922492}}
** {{cite journal|last1=Masoudnia|first1=Saeed|last2=Ebrahimpour|first2=Reza|date=12 May 2012|title=Mixture of experts: a literature survey|journal=Artificial Intelligence Review|volume=42|issue=2|pages=275–293|doi=10.1007/s10462-012-9338-y|s2cid=3185688}}
** {{Cite journal|last1=Nguyen|first1=Hien D.|last2=Chamroukhi|first2=Faicel|date=July 2018|title=Practical and theoretical aspects of mixture-of-experts modeling: An overview|url=https://wires.onlinelibrary.wiley.com/doi/10.1002/widm.1246|journal=WIREs Data Mining and Knowledge Discovery|language=en|volume=8|issue=4|doi=10.1002/widm.1246|issn=1942-4787|s2cid=49301452}}
* دوران یادگیری عمیق
** {{Cite arXiv|last1=Zoph|first1=Barret|last2=Bello|first2=Irwan|last3=Kumar|first3=Sameer|last4=Du|first4=Nan|last5=Huang|first5=Yanping|last6=Dean|first6=Jeff|last7=Shazeer|first7=Noam|last8=Fedus|first8=William|date=2022|title=ST-MoE: Designing Stable and Transferable Sparse Expert Models|class=cs.CL|eprint=2202.08906}}

== مشاهدات بیشتر ==

* [[محصول کارشناسان|محصول متخصصان]]
* [[مدل ترکیبی|مدل های مخلوط]]
* [[مدل ترکیبی|مخلوطی از گاوسیان]]
* [[یادگیری گروهی]]

== پاورقی‌ها ==
<references group="پاورقی" />

== منابع ==
<references responsive="1"></references>
[[رده:الگوریتم‌های یادگیری ماشین]]