پیش‌نویس:منحنی یادگیری (یادگیری ماشینی)

نمودار منحنی یادگیری اندازه مجموعه آموزشی در مقابل امتیاز تمرین (کاهش) و امتیاز اعتبار سنجی متقابل

الگو:یادگیری ماشین در یادگیری ماشین، منحنی یادگیری (یا منحنی آموزشی ) یک نمایش ترسیمی است که نشان می‌ دهد چگونه عملکرد یک مدل در یک مجموعه آموزشی (و معمولاً یک مجموعه اعتبار سنجی) با تعداد تکرار های آموزشی ( دوران ) یا مقدار داده های آموزشی تغییر می‌ کند. به طور معمول، تعداد دور های آموزشی یا اندازه مجموعه آموزشی روی محور x و مقدار تابع ضرر (و احتمالاً برخی معیارهای دیگر مانند امتیاز اعتبار سنجی متقابل ) روی محور y ترسیم می‌ شوند.

هم معنی ها عبارتند از منحنی خطا ، منحنی تجربه ، منحنی بهبود و منحنی کلی گری .

به شکل انتزاعی تر، منحنی های یادگیری تفاوت بین تلاش یادگیری و عملکرد پیش بینی شده را نشان می دهند، به طوری که "تلاش یادگیری" معمولاً به نشان دهنده تعداد نمونه های آموزشی است و "عملکرد پیش بینی شده" به معنای دقت در نمونه های آزمایشی است.

منحنی های یادگیری کارایی های مفید بسیاری در یادگیری ماشین دارند، از جمله:

• انتخاب پارامترهای مدل در طول طراحی،
• تنظیم بهینه سازی برای بهبود هم گرایی،
• و تشخیص مشکلاتی مانند برازش بیش از حد (یا عدم تناسب).

منحنی‌ های یادگیری همچنین می‌ توانند ابزاری برای تعیین میزان سود یک مدل از افزایش داده‌ های آموزشی بیشتر باشند و یا نشان دهند آیا مدل از خطای واریانس یا خطای سو گیری بیشتر متضرر می‌ شوند. اگر هم امتیاز اعتبار سنجی و هم امتیاز آموزشی به مقدار معینی همگرا شوند، آنگاه مدل دیگر به طور قابل توجهی از داده های آموزشی بیشتر بهره نخواهد برد.

تعریف رسمی

هنگام ایجاد یک تابع برای تقریب توزیع برخی از داده ها، لازم است یک تابع ضرر $L(f_{\theta }(X),Y)$ برای اندازه گیری میزان سودمند بودن خروجی مدل تعریف شود. (به عنوان مثال، دقت برای کار های طبقه بندی یا میانگین مربع های خطا برای کاهش). سپس ما یک فرآیند بهینه‌ سازی را تعریف می‌ کنیم که پارامترهای مدل را مانند $\theta$ پیدا می‌ کند. به گونه ای که $L(f_{\theta }(X),Y)$ به حداقل می رسد و با ${\theta }^{*}$ نمایش داده میشود.

منحنی آموزش برای مقدار داده

اگر داده های آموزشی چنین باشد

$\{x_1,x_2,\dots ,x_n\},\{y_1,y_2,\dots y_n\}$

و داده های اعتبار سنجی

$\{{x_1}^{\prime },{x_2}^{\prime },\dots {x_m}^{\prime }\},\{{y_1}^{\prime },{y_2}^{\prime },\dots {y_m}^{\prime }\}$ ،

منحنی یادگیری نمودار دو منحنی است

1. $i\mapsto L(f_{{\theta }^{*}(X_i,Y_i)}(X_i),Y_i)$
2. $i\mapsto L(f_{{\theta }^{*}(X_i,Y_i)}({X_i}^{\prime }),{Y_i}^{\prime })$

بطوری که

$X_i=\{x_1,x_2,\dots x_i\}$

منحنی تمرین برای تعداد تکرار

1. $i\mapsto L(f_{{\theta }_i^{*}(X,Y)}(X),Y)$
2. $i\mapsto L(f_{{\theta }_i^{*}(X,Y)}(X^{\prime }),Y^{\prime })$

همچنین ببینید

• بیش از حد برازش
• معاوضه سوگیری – واریانس
• انتخاب مدل
• اعتبار سنجی متقابل (آمار)
• اعتبار (آمار)
• تایید و تایید
• دوتایی