حافظه طولانی کوتاه مدت

یک بلوک حافظه طولانی کوتاه-مدت

حافظه طولانی کوتاه مدت ( Long short-term memory یا به اختصار LSTM) یک معماری شبکه عصبی بازگشتی است که در سال ۱۹۹۷ میلادی توسط سپ هوخرایتر و یورگن اشمیدهوبر ارائه شد، و بعداً در سال ۲۰۰۰ میلادی توسط فیلیکس ژرس و دیگران بهبود داده شد.

در شبکه عصبی بازگشتی برخلاف شبکه عصبی پیشخور، ورودی می‌تواند به صورت دنباله (مثل صوت یا ویدیو) باشد. این ویژگی باعث شده شبکه‌های عصبی بازگشتی برای پردازش داده‌های زمانی بسیار مناسب باشند زیرا الگوها در داده‌های سری زمانی می‌توانند در فواصل مختلف واقع شوند. برای مثال، شبکه LSTM در حوزه‌هایی همچون تشخیص دست خط، ترجمه ماشینی، تشخیص گفتار، کنترل ربات‌ها و بازی‌های ویدیویی قابل استفاده است.

یک بلوک LSTM به طور کلی از وزن‌های محتوای سلول($c_t$)، دروازه ورودی($i_t$)، دروازه خروجی($o_t$) و دروازه فراموشی($f_t$) تشکیل شده است. محتوای سلول می‌تواند در بازه زمانی طولانی محتوای خود راه حفظ کند و در واقع اطلاعات پیشین را به خاطر بسپارد. دروازه‌ها نیز بردارهایی با مقادیر بین 0 و 1 هستند که چگونگی پیشروی اطلاعات قدیمی و اضافه شدن اطلاعات جدید را مشخص می‌کنند. به طور کلی 1 به معنای عبور و 0 به معنای حذف اطلاعات است. دروازه ورودی مشخص می‌کند چه بخش‌هایی از داده ورودی و به چه مقدار به محتوای سلول اضافه شوند. دروازه فراموشی مشخص می‌کند که چه بخش‌هایی از محتوای سلول از آن حذف شوند. دروازه خروجی نیز مشخص می‌کند محتوای وضعیت مخفی($h_t$) حاوی چه بخشی از محتوای سلول باشد.

ایده

یکی از مشکلات اصلی شبکه‌های عصبی بازگشتی، مشتق ناپدیدشونده یا vanishing gradient problem و مشتق انفجاری یا exploding gradient است. در بلوک LSTM به منظور حل این دو مشکل، راه‌هایی برای انتقال اطلاعات مهم پیشین در هنگام پیشروی ایجاد شده‌است. این مهم به طور کلی از طریق ضرب بردارهایی تحت عنوان دروازه، در ورودی‌های بلوک صورت می‌پذیرد.

انواع

معماری پایه

معادلات مربوط به پیشروی (forward pass) در یک بلوک LSTM عبارتند از:

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f{x}_t+U_f{h}_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i{x}_t+U_i{h}_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o{x}_t+U_o{h}_{t-1}+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c{x}_t+U_c{h}_{t-1}+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

• $c_0=0$
• $h_0=0$
• عملگر $\circ$ نشان دهنده ضرب هادامارد است.

متغیرها

• $x_t\in {ℝ}^d$: بردار ورودی
• $f_t\in {(0,1)}^h$: بردار دروازه‌ی
• $c_t\in {ℝ}^h$: بردار سلول
• $h_t\in {(-1,1)}^h$: بردار مخفی سلول (با عنوان خروجی سلول نیز شناخته می‌شود.)
• $W\in {ℝ}^{h\times d}$، $U\in {ℝ}^{h\times h}$ و $b\in {ℝ}^h$: وزن‌ها و بایاس‌های مدل که در پروسه‌ی یادگیری، بهینه می‌شوند.
• $f_t,i_t,o_t\in {(0,1)}^h$: بردارهای دروازه
  • $f_t$: بردار دروازه فراموشی. وزن به یادداری اطلاعات قدیمی.
  • $i_t$: بردار دروازه ورودی. وزن اندوختن اطلاعات جدید.
  • $o_t$: بردار دروازه خروجی. کاندید خروجی.

بالانویس‌های $d$ و $h$ به ترتیب نشان‌دهنده بعد بردار ورودی و بعد بردار مخفی سلول هستند.

توابع فعال‌سازی

• ${\sigma }_g$: تابع فعال‌سازی دروازه‌ها(در LSTM پایه تابع سیگموئید است.)
• ${\sigma }_c$: تابع فعال‌سازی وضعیت سلول(در LSTM پایه تانژانت هذلولی است.)
• ${\sigma }_h$: تابع فعال‌سازی تابع اصلی یک تانژانت هذلولی است اما ال‌اس‌تی‌ام روزنه‌ای ${\sigma }_h(x)=x$.

معماری روزنه‌ای

بلوک معماری روزنه‌ای

بلوک LSTM با اتصالات روزنه‌ای. $h_{t-1}$ استفاده نمی‌شود، در عوض از $c_{t-1}$ در بیش تر جاها استفاده می‌شود.

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f{x}_t+U_f{c}_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i{x}_t+U_i{c}_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o{x}_t+U_o{c}_{t-1}+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c{x}_t+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

معماری پیچشی

در مسایل حاوی spatial data همچون تصویر به عنوان ورودی، معماری‌های کاملا متصل(Fully Connected) عملکرد خوبی دارند، اما از لحاظ محاسباتی نابهینه هستند. معماری پیچشی با جایگزینی عملگر پیچش به جای ضرب ماتریسی، سعی در حذف این نابهینگی دارد.

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f*x_t+U_f*h_{t-1}+V_f\circ c_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i*x_t+U_i*h_{t-1}+V_i\circ c_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o*x_t+U_o*h_{t-1}+V_o\circ c_{t-1}+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c*x_t+U_c*h_{t-1}+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

• * نشان‌دهنده‌ی عملگر پیچش(Convolution) است.

یادگیری مدل

یادگیری در مدل LSTM را می‌تواند همچون دیگر مدل‌های شبکه عصبی بازگشتی، با استفاده از الگوریتم گرادیان کاهشی و برگشت در زمان یا Backpropagation through time انجام شود.

همانطور که گفته شد، یکی از مهمترین مشکلات معماری اولیه RNN ها مسئله مشتق ناپدیدشونده است. با افزایش طول ورودی شبکات RNN و در فرایند برگشت در زمان به توان‌های بالای ماتریس وزن‌ها $W$ بر می‌خوریم که نهایتا منجر به مشکل مشتق انفجاری یا ناپدیدشونده می‌شود. مشکل مشتق انفجاری بوسیله روش‌هایی همچون Gradient Clipping قابل حل است. بلوک LSTM با استفاده از دروازه‌ها امکان انتشار اطلاعات از لایه‌های اول و برگشت مشتق از لایه‌های آخر را فراهم می‌کند.

جستارهای وابسته

• کامپیوترهای عصبی مشتق‌پذیر
• شبکه عصبی مصنوعی
• Prefrontal Cortex Basal Ganglia Working Memory (PBWM)
• شبکه‌های عصبی بازگشتی
• Gated recurrent unit
• سری‌های زمانی
• توان‌بخشی طولانی-مدت
• واحد بازگشتی دروازه‌ای

پیوند به بیرون

• Recurrent Neural Network با بیش از ۳۰ مقاله ال‌اس‌تی‌ام توسط گروه یورگن اشمیدهوبر در IDSIA
• تز دکترای ژرس در مورد شبکه‌های ال‌اس‌تی‌ام.
• مقاله تشخیص تقلب با دو فصل اختصاص داده شده به توضیح شبکه‌های عصبی بازگشتی، به خصوص ال‌اس‌تی‌ام.
• مقاله ای در مورد توسعه با کارایی بالای ال‌اس‌تی‌ام‌ها که به یک تک گره ساده‌سازی شده و می‌تواند معماری من درآوردی ای را آموزش دهد.
• خودآموز: چگونه در پایتون با ثینو (theano) ال‌اس‌تی‌ام را پیاده‌سازی کنیم