XGBoost

الگو:Infobox software XGBoost یک کتابخانه نرم‌افزار آزاد است که چارچوب تقویت گرادیان برای ++C، جاوا، پایتون، R, و جولیا، پرل و اسکالا را فراهم می‌کند. در لینوکس، ویندوز، مک‌اواس کار می‌کند. هدف ارائه یک کتابخانه «مقیاس‌پذیر، قابل‌حمل و توزیع‌شده» (gbm, GBRT, GBDT) است. علاوه بر اجرای یک ماشین واحد، همچنین از چارچوب‌های پردازش توزیع‌شده آپاچی اسپارک، آپاچی هدوپ، آپاچی فلینک و داسک (نرم‌افزار) پشتیبانی می‌کند. این الگوریتم انتخاب بسیاری از تیم‌های برندهٔ شماری از رقابت‌های یادگیری ماشین بود و محبوبیت و توجه زیادی به دست آورده‌است.

تاریخچه

XGBoost در ابتدا به عنوان یک پروژه تحقیقاتی توسط تیانگی چن به عنوان بخشی از گروه یادگیری عمیق ماشینی توزیع‌شده آغاز شد. در ابتدا به عنوان یک برنامه ترمینال (terminal application) آغاز شد که می‌توانست با استفاده از یک فایل پیکربندی libsvm پیکربندی شود. پس از پیروزی در چالش یادگیری ماشین هیگز، به عنوان بخشی از چرخهٔ مسابقه شناخته شد. پس از آن بسته‌های زبان‌های پایتون و R ساخته شدند و اکنون برای بسیاری از زبان‌های دیگر مثل جولیا، Scala، جاوا و غیره بسته‌هایی دارد و در بین جامعه کگل که برای تعداد زیادی از رقابت‌ها از آن استفاده شده‌است، محبوب است.

خیلی زود با چندین بسته دیگر مورد استفاده قرار گرفت و در حال حاضر برای کاربران پایتون همراه با کتابخانهٔ scikit-learn و برای کاربران R همراه با بسته caret ارائه می‌شود.

الگوریتم

الگوریتم $N$ داده آموزشیِ $\{(x_i,y_i){\}}_{i=1}^N$، یک تابع مشتق‌پذیر هزینه $L(y,F(x))$ و یک نرخ یادگیریِ $\alpha$ به عنوان ورودی می‌گیرد و به این شکل مدل نهائی را می‌سازدː

1. اولین مدل ضعیف عددی ثابت است که تابع هزینه را کمینه می‌کند:

   ${\hat{f}}_{(0)}(x)=\underset{\theta }{\arg \min }\sum _{i=1}^{N}L(y_i,\theta ).$

2. برای $m=1$ تا $M$:
   1. گرادیان و هسین به این شکل محاسبه می‌شوند

      ${\hat{g}}_m(x_i)={\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}\right]}_{f(x)={\hat{f}}_{(m-1)}(x)}.$

      ${\hat{h}}_m(x_i)={\left[\frac{{\partial }^{2}L(y_i,f(x_i))}{\partial f(x_i{)}^2}\right]}_{f(x)={\hat{f}}_{(m-1)}(x)}.$

   2. مدل برای داده‌های ${\{x_i,-\frac{{\hat{g}}_m(x_i)}{{\hat{h}}_m(x_i)}\}}_{i=1}^N$ به این شکل یادگرفته می‌شود:

      ${\hat{\varphi }}_m=\underset{\varphi \in \mathrm{\Phi }}{\arg \min }\sum _{i=1}^N\frac{1}{2}{\hat{h}}_m(x_i){[-\frac{{\hat{g}}_m(x_i)}{{\hat{h}}_m(x_i)}-\varphi (x_i)]}^2.$

      ${\hat{f}}_m(x)=\alpha {\hat{\varphi }}_m(x).$

   3. مدل به این شکل به روز می‌شود:

      ${\hat{f}}_{(m)}(x)={\hat{f}}_{(m-1)}(x)+{\hat{f}}_m(x).$

3. مدل نهائی عبارت است از $\hat{f}(x)={\hat{f}}_{(M)}(x)=\sum _{m=0}^M{\hat{f}}_m(x).$

جوایز

• جایزه جان چمبرز (۲۰۱۶)
• جایزه High Energy Physics meets Machine Learning (2016)

جستارهای وابسته

• آدابوست
• تقویت گرادیان
• گرادیان
• ماتریس هسین