رگرسیون ریج

رگرسیون ریج (به انگلیسی: Ridge regression) یکی از نسخه‌های رگرسیون خطی است که در مسائلی با متغیرهای مستقل دارای همبستگی بالا برای تخمین ضرایب استفاده می‌شود و مشکل هم‌خطی چندگانه را کاهش می‌دهد. ریج، همچنین یکی از روش‌های تنظیم مدل است که از بیش‌برازش در رگرسیون جلوگیری می‌کند. در این روش، نُرمِ $L_2$ ضرایب به تابع هزینه مجموع مربعات خطاالگو:یادچپ حین فرایند آموزش مدل، افزوده می‌شود. با این کار وزن‌های مدل تا حد امکان کوچک نگه داشته می‌شوند.

تعریف ریاضی

فرض کنید در مسئله رگرسیون، مجموعه داده‌ها شامل $N$ جفت متغیر پیشگو و متغیر پاسخ به صورت $D=\{(x_1,y_1),\cdots ,(x_N,y_N)\}$ باشد. هدف بدست آوردن $y$ به عنوان ترکیبی خطی از $x$ است یعنی $x^T\beta +{\beta }_0$. رگرسیون خطی معمولی به شکل زیر در پی یافتن و بهینه است به طوری که مجموع مربعات خطا را کمینه کند: الگو:وسط‌چین $\underset{{\beta }_0,\beta }{\min }\{\sum _{i=1}^N(y_i-{\beta }_0-x_i^T\beta {)}^2\}$ الگو:پایان وسط‌چیندر رگرسیون ریج ضریبی از نُرمِ $L_2$ به تابع هزینه اضافه می‌شود:الگو:وسط‌چین $\underset{\beta \in {ℝ}^p}{\min }\{{\Vert Y-X\beta \Vert }_2^2+\lambda \Vert \beta {\Vert }_2^2\}$ الگو:پایان وسط‌چینپارامتر $\lambda$ میزان جریمه روی نُرمِ $L_2$ را مشخص می‌کند. اضافه کردن ضریبی از نُرمِ $L_2$ به تابع هزینه معادلِ ایجاد محدودیتی بر روی نُرمِ $L^2$ است:الگو:وسط‌چین $\underset{\beta \in {ℝ}^p}{\min }\left\{{\Vert Y-X\beta \Vert }_2^2\right\}\text{ subject to }\Vert \beta {\Vert }_2^2\le t^2$ الگو:پایان وسط‌چین که منظور از $\Vert v{\Vert }_p$ در واقع، نُرمِ ${\ell }^p$ است که به صورت زیر محاسبه می‌شود:الگو:وسط‌چین $\Vert v{\Vert }_p={(\sum _{i=1}^N|v_i{|}^p)}^{1/p}$الگو:پایان وسط‌چینبنابراین، رگرسیون ریج محدودیت‌های بیشتری را روی ضرایب مدل اعمال می‌کند. چراکه در این روش افزون بر تلاش برای کمینه کردن میانگین خطای مربعات خطاها، جریمه‌ایالگو:یادچپ روی ضرایب هم در نظر گرفته می‌شود. در نتیجه ترجیح بر انتخاب ضرایبی با اندازهٔ کوچک یا نزدیک به صفر است تا جملهٔ جدید افزوده شده به تابع هزینه نیز کوچک شود

فرم بستهٔ جواب

برای به دست آوردن فرم بستهٔ جواب به فرم ماتریسی تابع هزینه را توجه کنید:الگو:وسط‌چین $(Y-X\beta {)}^T(Y-X\beta )+\lambda {\beta }^T\beta$ الگو:پایان وسط‌چین کافیست نسبت به $\beta$ مشتق بگیریم:الگو:وسط‌چین $X^{T}Y=(X^{T}X+\lambda I)\beta$ الگو:پایان وسط‌چیندر نتیجه:الگو:وسط‌چین $\widehat{{\beta }_R}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$ الگو:پایان وسط‌چین

مصورسازی

برای مصورسازی روش رگرسیوت ریح توجه کنید که جمع خطای مربعات، به شکل خطوط تراز بیضوی نمایش داده می‌شود. به علاوه در مسألهٔ رگرسیون ریج، ناحیه‌ای که ضرایب مدل را مشخص می‌کند از رابطه زیر به دست می‌آید:الگو:وسط‌چین ${\beta }_1^2+{\beta }_2^2\le t^2$ الگو:پایان وسط‌چین

که در صفحهٔ مختصات دو بعدی، دایره‌ای به شعاع را نمایش می‌دهد. تصویر برخورد خطوط تراز با محدوده ضرایب در رگرسیون ریج در تصویر زیر نمایش داده شده‌است:

(شکل ۱) برخورد خطوط تراز با محدوده ضرایب در رگرسیون ریج

در شکل نشان داده شده بیضی‌های مربوط به خطوط تراز داخلی جمع خطای مربعات کمتری دارند. و در نقطهٔ میانی مشخص‌شده، خطای میانگین مربعات کمینه می‌شود. در مدل ریج، تلاش می‌شود اندازهٔ دایره و بیضی همزمان کوچک شوند. در واقع یک بده‌بستانالگو:یادچپ میان دو جملهٔ تابع هزینه وجود دارد. پاسخ مسألهٔ رگرسیون ریج در نقطه‌ای است که خطوط تراز بیضوی با محدودهٔ دایره‌ای شکل ضرایب برخورد می‌کند.

پیاده‌سازی (پایتون)

با استفاده از کتابخانهٔ Sickit-Learn زبان برنامه‌نویسی پایتون می‌توان رگرسیون ریج را به سادگی، به صورت زیر پیاده‌سازی کرد:

from sklearn.linear_model import Ridge

ridge = Ridge(alpha=0.1)
ridge.fit(X_train, y_train)
prediction= lasso.predict(X_test)

پارامتر تنظیم مدل در این مثال ساده برابر با

$0.1$

در نظر گرفته شده و پس از آموزش، از مدل برای پیش‌بینی روی دادهٔ جدید استفاده شده‌است.