واحد بازگشتی دروازه‌ای

واحدهای بازگشتی دروازه‌ای (GRUs) یک مکانیسم دروازه‌ای در شبکه‌های عصبی بازگشتی هستند که در سال ۲۰۱۴ توسط کیونگ‌هیون چو و همکارانش ایجاد شدند. واحد بازگشتی دروازه‌ای مانند یک حافظه طولانی کوتاه مدت (LSTM) با یک دروازه فراموشی کار می‌کند، اما پارامترهای کمتری نسبت به LSTM دارد، زیرا فاقد دروازه خروجی است. عملکرد GRU در برخی از وظایف مانند مدل‌سازی موسیقی چندصدایی، مدل‌سازی سیگنال گفتار و پردازش زبان طبیعی مشابه عملکرد LSTM است. GRUها عملکرد بهتری در مجموعه داده‌های کوچکتر و داده‌های کم‌بسامد دارند.

معماری

تغییرات مختلفی در واحد دروازه کامل وجود دارد، با استفاده از حالت مخفی قبلی و بایاس در ترکیب‌های مختلف، و یک شکل ساده به نام واحد حداقل دروازه‌ای.

اپراتور $\odot$ محصول هادامارد را در زیر نشان می‌دهد.

واحد تمام دروازه‌ای

واحد بازگشتی دردار، نسخه کاملاً دردار

در ابتدا، برای $t=0$ ، بردار خروجی عبارت است از $h_0=0$ . الگو:وسطچین

$\begin{array}{cc}{z}_t& ={\sigma }_g(W_z{x}_t+U_z{h}_{t-1}+b_z)\\ r_t& ={\sigma }_g(W_r{x}_t+U_r{h}_{t-1}+b_r)\\ {\hat{h}}_t& ={\varphi }_h(W_h{x}_t+U_h(r_t\odot h_{t-1})+b_h)\\ h_t& =(1-z_t)\odot h_{t-1}+z_t\odot {\hat{h}}_t\end{array}$

متغیرها

• $x_t$ : بردار ورودی
• $h_t$ : بردار خروجی
• ${\hat{h}}_t$ : بردار فعال‌سازی
• $z_t$ : بردار به روز رسانی
• $r_t$ : بردار ریست
• $W$ ، $U$ و $b$ : ماتریس پارامتر و بردار

توابع فعال سازی

نوع ۱

• ${\sigma }_g$ : تابع سیگموئید.
• ${\varphi }_h$ : تابع هذلولی.

از سایر توابع فعال‌سازی نیز می‌توان استفاده کرد مشروط بر اینکه ${\sigma }_g(x)\in [0,1]$ .

نوع ۲

نوع ۳

با تغییر $z_t$ و $r_t$ می‌توان شکلهای دیگری از مدل را ایجاد کرد:

• نوع اول، هر دروازه فقط به حالت پنهان قبلی و b بستگی دارد.

$\begin{array}{cc}{z}_t& ={\sigma }_g(U_z{h}_{t-1}+b_z)\\ r_t& ={\sigma }_g(U_r{h}_{t-1}+b_r)\\ \end{array}$

• نوع دوم، هر دروازه فقط به حالت پنهان قبلی بستگی دارد.

$\begin{array}{cc}{z}_t& ={\sigma }_g(U_z{h}_{t-1})\\ r_t& ={\sigma }_g(U_r{h}_{t-1})\\ \end{array}$

• نوع سوم، هر دروازه فقط با استفاده از b محاسبه می‌شود.

$\begin{array}{cc}{z}_t& ={\sigma }_g(b_z)\\ r_t& ={\sigma }_g(b_r)\\ \end{array}$

واحد حداقل دروازه‌ای

واحد حداقل دروازه‌ای مشابه واحد تمام دروازه‌ای است، به جز اینکه بردار به روز رسانی و ریست در یک دروازه فراموشی ادغام شده‌است. الگو:وسطچین

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f{x}_t+U_f{h}_{t-1}+b_f)\\ {\hat{h}}_t& ={\varphi }_h(W_h{x}_t+U_h(f_t\odot h_{t-1})+b_h)\\ h_t& =(1-f_t)\odot h_{t-1}+f_t\odot {\hat{h}}_t\end{array}$

متغیرها

• $x_t$ : بردار ورودی
• $h_t$ : بردار خروجی
• ${\hat{h}}_t$ : بردار فعال سازی
• $f_t$ : بردار فراموشی
• $W$ ، $U$ و $b$ : ماتریس‌های پارامتر و بردار

واحد تکراری تطبیقی محتوا

معماری کامل CARU. جهت جریان داده‌ها با فلش‌ها، توابع درگیر با مستطیل‌های زرد و گیت‌های مختلف (عملیات) با دایره‌های آبی نشان داده شده‌است.

واحد تکراری تطبیقی محتوا یا Content Adaptive Recurrent Unit (CARU) گونه‌ای از GRU است که در سال ۲۰۲۰ توسط کاهو چان و همکاران وی ایجاد شد. CARU شامل گیت به روز رسانی مانند GRU است، اما به جای گیت ریست، یک گیت تطبیقی با محتوا معرفی می‌کند. CARU برای کاهش مشکل وابستگی طولانی مدت مدل‌های RNN طراحی شده‌است. CARU پارامترهای کمتری نسبت به GRU دارد و در مسائل پردازش زبانهای طبیعی عملکردش تنها قدری بهتر از GRU است.

در معادلات زیر، متغیرهای حروف کوچک نشان دهنده بردارها و $[W;B]$ پارامترهای مدل را نشان می‌دهد که لایه‌های خطی هستند که از وزن‌ها و بایاس‌ها تشکیل شده‌اند. در ابتدا، برای $t=0$ ، CARU مستقیماً بردارد $h^{(1)}\leftarrow W_{vn}{v}^{(0)}+B_{vn}$ را برمی‌گرداند؛ برای $t>0$ خروجی‌ها عبارتند از: الگو:وسطچین $\begin{array}{cc}{x}^{(t)}& =W_{vn}{v}^{(t)}+B_{vn}\\ n^{(t)}& =\varphi ((W_{hn}{h}^{(t)}+B_{hn})+x^{(t)})\\ z^{(t)}& =\sigma (W_{hz}{h}^{(t)}+B_{hz}+W_{vz}{v}^{(t)}+B_{vz})\\ l^{(t)}& =\sigma (x^{(t)})\odot z^{(t)}\\ h^{(t+1)}& =(1-l^{(t)})\odot h^{(t)}+l^{(t)}\odot n^{(t)}\end{array}$ الگو:پایان وسطچین در اینجا اپراتور $\odot$ نشان دهنده ضرب هادامارد است، و $\sigma$ و $\varphi$ به ترتیب نشان‌دهنده تابع سیگموئید و هذلولی است.

پیوند به بیرون

• واحد بازگشتی دروازه‌ای در keras
• واحد بازگشتی دروازه‌ای در PyTorch