پیش‌نویس:منحنی یادگیری (یادگیری ماشین)

نمایش منحنی یادگیری اندازه مجموعه آموزشی در مقابل امتیاز آموزشی(کاهش) و امتیاز اعتبار سنجی متقابل

در یادگیری ماشین(ML)، یک منحنی یادگیری(یا منحنی آموزشی) یک نمایش ترسیمی است که نشان می دهد چگونه عملکرد یک مدل روی یک مجموعه آموزشی (و اغلب روی یک مجموعه ارزیابی) با تعداد گردش های آموزشی یا میزان داده های آموزشی تغییر می کند. معمولا، تعداد گردش های آموزشی یا اندازه مجموعه آموزشی روی بردار طولی، و مقدار تابع ضرر( و احتمالا شاخص های دیگری مانند امتیاز اعتبار سنجی متقابل) روی بردار عرضی نمایش داده می شوند.

مترادف ها عبارتند از منحنی خطا، منحنی تجربه، منحنی پیشرفت و منحنی تعمیم.

به طور انتزاعی تر، منحنی یادگیری تفاوت میان تلاش یادگیری و عملکرد پیشبینی شده را نشان می دهد؛ به طوری که تلاش یادگیری معمولا یعنی تعداد نمونه های آموزشی، و عملکرد پیشبینی شده یعنی دقت نمونه های ارزیابی.

منحنی های یادگیری استفاده های فراوانی در یادگیری ماشین دارند، از جمله:

• انتخاب کردن پارامتر های مدل در حین طراحی،
• تنظیم کردن بهینه سازی برای پیشرفت هم گرایی،
• و شناخت مشکلاتی مانند برازش بیش از حد ( یا زیر برازش).

منحنی های یادگیری همچنین می توانند ابزاری برای تعیین این هستند که یک مدل چقدر میتواند از اضافه کردن داده آموزشی سود ببرد، و اینکه برای مدل خطای معیار تغییر مضر تر است یا خطای سوگیری. اگر هم امتیاز اعتبار سنجی و امتیاز آموزشی در مقداری مشخص هم گرا باشند، مدل دیگر سود به خصوصی از داده آموزشی بیشتر نمیبرد.

تعریف رسمی

هنگام ساختن یک تابع برای تقریب توزیع یک سری داده ضروریست که یک تابع ضرر $L(f_{\theta }(X),Y)$ تعریف کنیم تا بسنجیم که خروجی مدل چقدر خوب است (برای مثال، میزان دقت کار های کلاس بندی یا میانگین مربع های خطا برای روش کاهشی). سپس یک روند بهینه سازی تعریف میکنیم که پارامتر های $\theta$ مدل را پیدا میکند به طوری که $L(f_{\theta }(X),Y)$ کمینه سازی شده است و با ${\theta }^{*}$ نشان داده می شود.

منحنی آموزش برای مقدار داده

اگر داده های آموزشی چنین باشد

$\{x_1,x_2,\dots ,x_n\},\{y_1,y_2,\dots y_n\}$

و داده های اعتبار سنجی

$\{{x_1}^{\prime },{x_2}^{\prime },\dots {x_m}^{\prime }\},\{{y_1}^{\prime },{y_2}^{\prime },\dots {y_m}^{\prime }\}$ ،

منحنی یادگیری نمودار دو منحنی را نشان می دهد

1. $i\mapsto L(f_{{\theta }^{*}(X_i,Y_i)}(X_i),Y_i)$
2. $i\mapsto L(f_{{\theta }^{*}(X_i,Y_i)}({X_i}^{\prime }),{Y_i}^{\prime })$

بطوری که

$X_i=\{x_1,x_2,\dots x_i\}$

منحنی تمرین برای تعداد تکرار

بسیاری از الگوریتم های بهینه سازی دوره ای هستند، همان مرحله را (مانند پس انتشار) تکرار می کنند یا زمانی که رویه به یک مقدار بهینه همگرا شود. گرادیان کاهشی یک الگوریتم چنین است. اگر ${\theta }_i^{*}$ تقریب بهینه شده $\theta$ پس از $i$ مرحله باشد، یک منحنی آموزشی نشان دهنده

1. $i\mapsto L(f_{{\theta }_i^{*}(X,Y)}(X),Y)$
2. $i\mapsto L(f_{{\theta }_i^{*}(X,Y)}(X^{\prime }),Y^{\prime })$

همچنین ببینید

• برازش بیش از حد
• معاوضه سوگیری – واریانس
• انتخاب مدل
• اعتبار سنجی متقابل
• اعتبار
• تایید و اعتبار سنجی
• کاهش دوتایی