تابع فعال‌سازی Swish

تابع swish برای مقادیر مختلف بتا

تابع Swish به شکل زیر تعریف می‌شود:

$\mathrm{swish}(x)=x\mathrm{sigmoid}(\beta x)=\frac{x}{1+e^{-\beta x}}.$

که $\beta$ می‌تواند ثابت، یا پارامتر قابل یادگیری باشد. اگر $\beta =1$ باشد، تابع swish تبدیل به تابع سیگموئید خطی یا SiLU می‌شود.

• در حالت $\beta \to +\mathrm{\infty }$ تابع به ReLU یا $max(x,0)$ تبدیل می‌شود.
• در حالت $\beta \to 0$ تابع حاصل خطی و برابر با $\frac{x}{2}$
• در حالت $\beta \to -\mathrm{\infty }$ تابع به $min(x,0)$ تبدیل می‌شود.

مشتق

نسبت به $x$

مشتق تابع swish نسبت به $x$ بدین شکل قابل محاسبه است:

مشتق تابع swish به ازای مقادیر مختلف β

$\begin{array}{cc}{f}^{\text{'}}(x)& =\sigma (\beta x)+\beta x\cdot \sigma (\beta x)(1-\sigma (\beta x))\\ & =\sigma (\beta x)+\beta x\cdot \sigma (\beta x)-\beta x\cdot \sigma (\beta x{)}^2\\ & =\beta x\cdot \sigma (\beta x)+\sigma (\beta x)(1-\beta x\cdot \sigma (\beta x))\\ & =\beta f(x)+\sigma (\beta x)(1-\beta f(x))\end{array}$

نسبت به $\beta$

مشتق تابع swish نسبت به $\beta$ بدین شکل قابل محاسبه است: $\begin{array}{c}\frac{\partial f(x)}{\partial \beta }=x^2\sigma (\beta x)(1-\sigma (\beta x))\end{array}$

کاربردها

در سال 2017 دانشمندان در Google توانستند با جایگزینی تابع swish به جای ReLU و Sigmoid، نتایج بهتری برای دیتاست ایمیج‌نت بدست آورند. همچنین عملکرد این تابع در سایر مدل‌ها و دیتاست‌های مشهور برابر یا بهتر از دیگر توابع فعال‌سازی رایح بوده است. البته باید توجه داشت که تابع swish نسبت به ReLU از لحاظ محاسبات چه در محاسبه تابع و چه در محاسبه مشتق بسیار پیچیده‌تر است.