یکسوساز (شبکه عصبی)

در چاچوب شبکه عصبی مصنوعی، یکسوساز یک تابع فعال‌سازی که به صورت

$f(x)=x^{+}=\max (0,x),$

تعریف شده که در آن x ورودی یک نورون است. این تابع به تابع شیب نیز شناخته می‌شود و قابل مقایسه با یکسوساز نیم‌موج در مهندسی برق است. در سال 2000 در مقاله‌ای در نیچر این تابع فعال‌سازی با انگیزه‌های زیست‌شناسی و توجیه ریاضی قوی توسط هانلوزر و همکاران ارائه شد. این تابع در شبکه‌های عصبی پیچشی به صورت بهینه‌تری نسبت به تابع لجستیک سیگموئید (که بر اساس نظریه احتمالات الهام گرفته شده‌است. برای اطلاعات بیشتر به رگرسیون لجستیک مراجعه شود) و تابع مشابه ولی کاربردی‌تر تانژانت هذلولوی استفاده شده‌است. یکسوساز در حال حاضر از پرطرفدارترین توابع فعال‌سازی برای شبکه‌های عمیق است.

به واحدی که از تابع یکسوساز استفاده می‌کند واحد یکسو شده‌ی خطی(ReLU) نیز می‌گویند.

واحدهای یکسو شده‌ی خطی در بینایی کامپیوتر و بازشناسی گفتار توسط شبکه‌های عمیق کاربرد دارند.

انواع

واحد یکسو شده‌ی نویز دار

واحدهای یکسو شده‌ی خطی می‌توانند تعمیم داده شوند تا شامل یک نویز گاوسی باشد.

$f(x)=\max (0,x+Y)$، با داشتن $Y\sim 𝒩(0,\sigma (x))$

واحدهای یکسو شده‌ی نویز دار در ماشین‌های محدود شده‌ی بلتزمن با موفقیت نسبی برای وظیفه‌های بینایی کامپیوتر استفاده شده‌اند.

واحد یکسو شده‌ی بانشت

این واحدها یک شیب نا صفر را در هنگامی که واحد فعال نیست عبور می‌دهند.

$f(x)=\{\begin{array}{cc}x& \text{if }x>0\\ 0.01x& \text{otherwise}\end{array}$

واحد یکسو شده‌ی پارامتردار این ایده را با در نظر گرفتن ضریب نشت به عنوان یک پارامتر قابل یادگیری همراه بقیه‌ی پارامترهای شبکه‌های عصبی کامل‌تر می‌کنند.

$f(x)=\{\begin{array}{cc}x& \text{if }x>0\\ ax& \text{otherwise}\end{array}$

توجه شود که برای $a\le 1$، عبارت بالا معادل است با

$f(x)=\max (x,ax)$

و از این رو با شبکه‌های مکس‌اوت ربط دارند.

انواع غیر خطی

نمودار GELU و ReLU در نزدیکی الگو:Nobr

واحد خطی خطای گاوسی (Gaussian-Error Linear Unit)

واحد خطی خطای گاوسی (GELU) یک واحد تقریب هموارکننده است:

$f(x)=x\cdot \mathrm{\Phi }(x)$

که Φ(x) تابع توزیع تجمیعی برای توزیع نرمال استاندارد است.

واحد خطی سیگموئید (SiLU)

این تابع نیز یک واحد تقریب هموار است:

$f(x)=x\cdot \mathrm{sigmoid}(x)$

که sigmoid(x) تابع سیگموئید است.

سافت‌‌پلاس

یک تقریب هموار برای یکسوساز تابع تحلیلی زیر است

$f(x)=\ln (1+e^x)$

که به آن سافت‌پلاس می‌گویند. مشتق سافت‌پلاس برابر است با

$f^{\prime }(x)=\frac{e^x}{1+e^x}=\frac{1}{1+e^{-x}}$، یا همان تابع لجستیک.

تعمیم چندمتغیره سافت‌پلاس، LogSumExp می‌باشد به شرطی که آرگومان اول آن صفر قرار داده شده باشد.

${\mathrm{L}\mathrm{S}{\mathrm{E}}_{\mathrm{0}}}^{+}(x_1,\dots ,x_n):=\mathrm{LSE}(0,x_1,\dots ,x_n)=\ln (1+e^{x_1}+\cdots +e^{x_n})$

مشتق تابع LogSumExp، همان بیشینه هموار است؛ بیشینه هموار با آرگومان اول صفر، تعمیم چندمتغیره تابع لجستیک است. هم LogSumExp هم بیشینه هموار در یادگیری ماشین کاربرد دارند.

واحد نمایی خطی (Exponential Linear Unit)

واحدهای نمایی خطی سعی می‌کنند میانگین فعال‌بودن‌ها را به صفر نزدیک کنند که باعث سرعت بخشیدن به فرایند یادگیری می‌شود. نشان داده شده که واحدهای نمایی خطی می‌توانند دقت دسته‌بندی بالاتری را نسبت به واحدهای یکسوسازی خطی به دست آورند.

$f(x)=\{\begin{array}{cc}x& \text{if }x>0\\ a(e^x-1)& \text{otherwise}\end{array}$

در این معادله، a یک ابرپارامتر قابل یادگیری به شرط $a\ge 0$ می‌باشد.

Mish

این تابع نیز یک تقریب هموار برای یکسوساز است که به صورت زیر تعریف می‌شود:

$f(x)=x\tanh (\mathrm{softplus}(x))$

که از سافت‌پلاس و تانژانت هایپربولیک تشکیل شده است.

برتری‌ها

• همخوانی با زیست‌شناسی:یک طرفه، درمقایسه‌ی با تابع پادمتقارن تانژانت هذلولولی
• فعال بودن پراکنده:‌ برای مثال، در یک شبکه‌ی راه‌اندازی شده به صورت تصادفی تنها 50% واحدهای پنهان فعالیت دارند(خروجی غیر صفر دارند).
• انتشار مشتق بهینه: عدم وجود مشکل گرادیان محو شونده.
• محاسبه‌ی سریع: تنها مقایسه، جمع و ضرب.
• مستقل از مقیاس: $\max (0,ax)=a\max (0,x)$

برای اولین بار در 2011، نشان داده شد استفاده‌ی یکسوساز به عنوان یک مؤلفه‌ی غیرخطی اجازه می‌دهد که شبکه‌های عمیق با نظارت بدون نیاز به پیش‌تعلیم بی‌نظارت تعلیم داده شوند. واحدهای یکسوسازی شده‌ی خطی درمقایسه با تابع سیگموئید یا توابع فعال‌سازی مشابه، تعلیم سریع‌تر و بهینه‌تر معماری‌های عمیق را بر روی مجموعه‌داده‌های بزرگ و پیچیده اجازه می‌دهند.

مشکلات احتمالی

• مشتق‌ناپذیر در صفر: گرچه در هر نقطه‌ی دیگر مشتق‌پذیر است، شامل نقاط مخالف ولی نزدیک به صفر.
• مرکز غیر صفر.
• بدون کران.
• مشکل مرگ واحدهای یکسوساز خطی: عصب‌های یکسوساز ممکن است به یک وضعیت که در آن به ازای تمام ورودی‌ها غیر فعال باشند سوق داده شوند. در این حالت، هیچ مشتقی به سمت عقب عصب جریان پیدا نمی‌کند و به همین دلیل عصب به صورت دائم در یک وضعیت غیر فعال گیر می‌کند و به اصطلاح می‌میرد. در بعضی از موارد، تعداد زیادی از عصب‌ها در یک شبکه می‌توانند در این وضعیت گیر کنند و به صورتی مؤثری توانایی مدل را کاهش دهند. این مشکل در حالتی که ضریب یادگیری بالا است می‌تواند رخ دهد. این مشکل می‌تواند با استفاده از واحدهای یکسو شده‌ی با نشت به جای واحدهای سده کاهش پیدا کند.

جستارهای وابسته

• تابع سیگموئید
• مدل توبیت

منابع

• الگو:یادکرد-ویکی