پیش‌نویس:توقف زودهنگام

نقطه بهینه برای توقف زودهنگام، جایی که مشتق خطای مدل بر روی داده‌های اعتبارسنجی صفر شده است.

ایست زودهنگام یا ایست زودرس الگو:انگلیسی یک تکنیک منظم‌سازی برای جلوگیری از بیش‌برازش در یادگیری مدل‌های یادگیری ماشین به روش‌های ترتیبی همچون گرادیان کاهشی می‌باشد. روش‌های ترتیبی، مدل را مرحله به مرحله بروزرسانی می‌کنند تا پس از هر مرحله، عملکرد بهتری بر روی داده‌های آموزش داشته باشد. اما پس از جایی، بهبود عملکرد بر روی داده‌های آموزش به معنی کاهش دقت بر روی داده‌های آزمایش خواهد بود (همان بیش‌برازش). توقف زودهنگام سعی دارد با متوقف کردن یادگیری در نقطه بهینه، خطای تعمیم را به حداقل برساند.

پیش‌زمینه

بعضی مباحث یادگیری ماشین که دانستن آنها برای درک توقف زودهنگام مفید است:

این تصویر بیانگر بیش‌برازش است. نقاط قرمز، داده‌های آموزش هستند. خط سبز بیانگر رابطه واقعی حاکم میان این نقاط است، و خط آبی نشان‌دهنده تابع یادگرفته شده تحت بیش‌برازش است.

بیش برازش

الگو:Mainمدل‌های یادگیری ماشین، بر روی مجموعه‌های محدودی از داده آموزش داده می‌شوند. در حین آموزش، مدل‌ها بر اساس دقت روی داده‌های آموزش ارزیابی می‌شوند؛ ولی آنچه برای ما اهمیت دارد عملکرد مدل روی داده‌های آزمایش است. بیش‌برازش زمانی اتفاق می‌افتد که مدل بر روی داده‌های آموزش عملکرد بسیار خوب دارد، ولی خطای تعمیم بسیار زیاد است و مدل بر روی داده‌های جدید، عملکرد خوبی نخواهد داشت.

منظم‌سازی

در چارچوب یادگیری ماشین، منظم‌سازی یعنی تغییر الگوریتم یادگیری به طوری که از بیش‌برازش جلوگیری شود. معمولا با اعمال یک شرط هموار سازی چنین کاری رخ می‌دهد. این هموارسازی می‌تواند به صورت صریح با محدود کردن تعداد پارامترهای مدل، یا به صورت ضمنی با تغییر تابع هزینه صورت بگیرد (همچون رگرسیون ریج).

روش‌های گرادیان کاهشی

روش‌های گرادیان کاهشی، متدهای بهینه‌سازی هستند که با گام برداشتن در جهت مینیمم‌های محلی، سعی در کمینه‌سازی تابع هدف دارند. در کاربردهای یادگیری ماشین، با تعریف یک تابع هزینه که شهودی نسبت به خطای مدل می‌دهد می‌توان گرادیان کاهشی را پیاده‌سازی کرد. البته برای جلوگیری از پیچیدگی محاسبات، روش‌هایی همچون گرادیان کاهشی تصادفی یا گرادیان کاهشی دسته‌ای نیز مورد استفاده قرار می‌گیرند.

توقف زودهنگام مبتنی بر روش‌های تحلیلی

توقف زود‌هنگام در تئوری یادگیری آماری

توقف زودهنگام می‌تواند برای منظم‌سازی مسائل رگرسیون بدون پارامتر کارگشا باشد. برای فضای ورودی $X$ و خروجی $Y$، و نمونه‌هایی که از یک توزیع نامعلوم بر $X\times Y$ به دست آمده‌اند، هدف چنین مسائلی تقریب یک تابع رگریسون به صورت زیر است:

$f_{\rho }(x)=\underset{Y}{\int }yd\rho (y\mid x),x\in X$

که در آن $\rho (y\mid x)$ بیانگر احتمال شرطی $y$ به شرط $x$ می‌باشد.

توقف زودهنگام در بوستینگ

بوستینگ به خانواده‌ای از الگوریتم‌ها گفته می‌شود که در آن تعدادی یادگیرنده ضعیف (مدل‌هایی که همبستگی کمی با هدف مسئله دارند) با یکدیگر ترکیب شده تا یک یادگیرنده قوی ایجاد کنند. نشان داده شده است که منظم‌سازی از طریق توقف زودرس، موجب می‌شود حاصل حدی الگوریتم برای تعداد بی‌نهایت داده به مقدار واقعی تابع هدف میل کند.

توقف زودهنگام مبتنی بر اعتبارسنجی

در این نوع از توقف زوهنگام، داده‌های آموزش به دو دستۀ آموزش و اعتبارسنجی تفکیک می‌شوند. سپس از خطای مدل بر روی داده‌های اعتبارسنجی به عنوان تخمینی از خطای تعمیم استفاده می‌شود، به این صورت که هرگاه خطای اعتبارسنجی پس از یک مرحله از الگوریتم، نسبت به مرحله قبل بیشتر شد، می‌گوییم بیش‌برازش شروع شده‌است. این مدل از توقف زودهنگام در آموزش شبکه‌های عصبی رایج است.

البته انواع پیچیده‌تری مبتنی بر اعتبارسنجی متقابل نیز وجود دارند. از آنجا که ممکن است چندین کمینه محلی طی فرآیند یادگیری تولید شود، به طور قطعی نمی‌توان گفت بیش‌برازش از کجا شروع شده‌است و معمولا این مورد به طور تجربی مشخص می‌شود.

جستارهای وابسته

• خطای تعمیم
• بیش‌برازش
• روش اعتبارسنجی متقابل
• شبکه عصبی