رگرسیون خط الرأس

رگرسیون خط الرأس روشی برای تخمین ضرایب مدل های رگرسیون چندگانه در حالتی است که متغیرهای مستقل، همبستگی بالایی دارند. در اینجا روش کار مشابه کمترین مربعات است اما برخی ضرایب تخمین زده شده را با هم به سمت صفر سوق می دهیم. این روش در بسیاری از زمینه ها از جمله اقتصاد سنجی، شیمی و مهندسی مورد استفاده قرار می گیرد. نام دیگر آن نرمال سازی تیخونوف، که به نام آندری تیخونف نامگذاری شده، است و روشی برای نرمال سازی مسائل غیر خوش ساخت می باشد و به ویژه برای کاهش مشکل هم خطی چندگانه در رگرسیون خطی مفید است، که معمولاً در مدل‌هایی با تعداد زیادی پارامتر رخ می‌دهد. به طور کلی، این روش کارایی بهتری را در مسائل تخمین پارامتر در ازای مقدار قابل قبولی اریبی ارائه می دهد (به مبادله بایاس-واریانس مراجعه کنید).

این نظریه برای اولین بار توسط هورل و کنارد در سال ۱۹۷۰ در مقالات تکنومتریکس: "رگرسیون خط الرأس: تخمین اریب مسائل نامتعامد" و "رگرسیون خط الرأس: کاربردها در مسائل نامتعامد" معرفی شد.

رگرسیون خط الرأس به عنوان یک راه حل برای نادقیق بودن برآوردگرهای حداقل مربعات زمانی که مدل‌های رگرسیون خطی دارای متغیرهای مستقل هم خطی (بسیار همبسته) هستند ارائه شد. این امر تخمین دقیق تری از پارامترهای خط الراس ارائه می دهد، زیرا واریانس و برآوردگر میانگین مربعات آن اغلب کوچکتر از برآوردگرهای حداقل مربعی است که قبلاً مشتق شده بود.

بررسی اجمالی

در ساده ترین حالت، مسئله یک ماتریس لحظه ای وارون پذیر $({𝐗}^{𝖳}𝐗)$ با افزودن عناصر مثبت به قطر اصلی و در نتیجه شماره وضعیت آن کاهش می یابد. مشابه برآوردگر کمترین مربعات معمولی ، تخمین‌گر خط الرأس ساده به صورت ذیل می باشد

$${\hat{\beta }}_R=({𝐗}^{𝖳}𝐗+\lambda 𝐈{)}^{-1}{𝐗}^{𝖳}𝐲$$

که $𝐲$ پسرفت، $𝐗$ ماتریس طرح ، $𝐈$ ماتریس همانی و لامبدا پارامتر خط الرأس ، $\lambda \ge 0$ به عنوان ثابت جابجایی قطرهای ماتریس همانی عمل می کند. می توان نشان داد که این تخمینگر راه حلی برای مسئله کمترین مربعات مقید به ${\beta }^{𝖳}\beta =c$ که می توان آن را به صورت لاگرانژین بیان کرد:

$$\underset{\beta }{\min }(𝐲-𝐗\beta {)}^{𝖳}(𝐲-𝐗\beta )+\lambda ({\beta }^{𝖳}\beta -c)$$

که نشان می دهد $\lambda$ چیزی جز ضریب لاگرانژی از قید نیست. به طور معمول، $\lambda$ بر اساس یک معیار اکتشافی یا هیوریستیک انتخاب می شود، که در این صورت قید به طور کامل ارضا نمی شود. به طور خاص در مورد $\lambda =0$ ، که در آن قید غیر الزام آور است ، تخمینگر خط الرأس به کمترین مربعات معمولی کاهش می یابد. یک رویکرد کلی تر از تنظیم تیخونوف در زیر مورد بحث قرار می گیرد.

رگرسیون خط الرأس به ویژه زمانی که یک زیرمجموعه از ضرایب حقیقی که کوچک یا حتی صفر هستند، وجود دارد، بسیار خوب عمل می کند. اما وقتی همه ضرایب نسبتاً بزرگ هستند، عملکرد آن نسبتاً ضعیفتر خواهد بود ولی با این حال، در این مورد هنوز هم می تواند از رگرسیون خطی بهتر عمل کند(به ازای مقادیر کوچک $\lambda$).

تاریخچه

نرمال سازی تیخونوف مستقلاً در زمینه های مختلف ابداع، ولیکن به طور گسترده ای به علت کاربرد آن در معادلات انتگرال آندری تیخونوف و دیوید ال فیلیپس شناخته شد. برخی از نویسندگان از اصطلاح نرمال سازی تیخونوف-فیلیپس استفاده می کنند. تعریف این مسئله در ابعاد محدود توسط آرتور هورل ، که یک رویکرد آماری را در پیش گرفت، و همچنین مانوس فاستر، که این روش را به عنوان فیلتر کریجینگ تفسیر کرد، بسط داده شد.

این روش در ادبیات آماری، به عنوان رگرسیون خط الرأس شناخته می شود، که دلیل این نامگذاری، شکل قطر ماتریس همانی است.

نرمال سازی تیخونوف

فرض کنید برای یک ماتریس معلوم $A$ و بردار $𝐛$ ، می خواهیم یک بردار $𝐱$ را چنان بیابیم که

$$A𝐱=𝐛.$$

روش استاندارد، رگرسیون خطی کمترین مربعات معمولی است. با این حال، اگر به ازای هیچ $𝐱$ ای معادله دارای جواب نبوده و یا بیش از یک $𝐱$ وجود داشته باشد که به ازای آنها معادله دارای جواب باشد، یعنی راه حل منحصر به فرد نباشد، گفته می شود که مسئله غیر خوش تعریف است. در چنین مواردی، تخمین حداقل مربعات معمولی به یک سیستم معادلات بیش از حد تعیین شده یا اغلب به یک سیستم معادلات نامشخص تبدیل می شود. بیشتر پدیده های دنیای واقعی اثر فیلترهای پایین گذر در جهت رو به جلو دارند که در آن $A$ ،$𝐱$ را به $𝐛$ تبدیل می کند. بنابراین، در حل مسئله معکوس، نگاشت معکوس به عنوان یک فیلتر بالاگذر عمل می کند که تمایل نامطلوب تقویت نویز را دارد ( مقادیر ویژه / مقادیر مفرد در نگاشت معکوس بزرگ ترین مقادیر هستند، در صورتی که در نگاشت رو به جلو کوچکترین اند). حداقل مربعات معمولی به دنبال به حداقل رساندن مجموع مجذور باقیمانده است که می تواند به صورت فشرده نوشته شود

$$\Vert A𝐱-𝐛{\Vert }_2^2,$$

که $\Vert \cdot {\Vert }_2$ نُرم اقلیدسی است.

به منظور ارجحیت دادن به یک جواب خاص با ویژگی های مطلوب، یک عبارت نرمال سازی را، برای یک ماتریس تیخونوف $\mathrm{\Gamma }$ مناسب، می توان در این کمینه سازی گنجاند:

$$\Vert A𝐱-𝐛{\Vert }_2^2+\Vert \mathrm{\Gamma }𝐱{\Vert }_2^2$$

در بسیاری از موارد، به منظور ارجحیت دادن به راه حل هایی با نُرم کوچکتر، این ماتریس به صورت مضربی از ماتریس همانی ( $\mathrm{\Gamma }=\alpha I$ ) انتخاب می گردد. این امر با عنوان تنظیم الگو:ریاضی شناخته می شود. در موارد دیگر، با فرض پیوستگی بردار، عملگرهای بالاگذر (به عنوان مثال، یک عملگر تفاضل یا یک عملگر فوریه وزندار) ممکن است برای هموار کردن استفاده شوند. این نرمال سازی، شرطی‌سازی مسئله را بهبود بخشیده و یک راه‌حل عددی مستقیم را ممکن می‌سازد. یک راه حل صریح که با $\hat{x}$ نشان داده شده است، از رابطه زیر بدست می آید

$$\hat{x}=(A^{\mathrm{\top }}A+{\mathrm{\Gamma }}^{\mathrm{\top }}\mathrm{\Gamma }{)}^{-1}{A}^{\mathrm{\top }}𝐛.$$

تأثیر نرمال سازی ممکن است با توجه به مقیاس ماتریس $\mathrm{\Gamma }$ متفاوت باشد. برای $\mathrm{\Gamma }=0$ این روش به راه حل حداقل مربعات نامنظم تبدیل می شود، مشروط بر اینکه (A ^T A) ^-1 وجود داشته باشد.

نرمال سازی عمومی تیخونوف

برای توزیع های نرمال چند متغیره عمومی، می توان تبدیل متغیری را برای تبدیل آن به حالت بالا اعمال کرد. بدین منظور، می توان به دنبال یک $x$ برای به حداقل رساندن عبارت

$$\Vert Ax-b{\Vert }_P^2+\Vert x-x_0{\Vert }_Q^2,$$

که $\Vert x{\Vert }_Q^2$ مجذور وزندار نُرم یا همان $x^{\mathrm{\top }}Qx$ است ( با فاصله ماهالانوبیس مقایسه شود). به تعبیر بیزی، $P$ ماتریس کوواریانس معکوس$b$ ، $x_0$ امید ریاضی $x$، و $Q$ ماتریس کوواریانس معکوس $x$ است. بدین ترتیب ماتریس تیخونوف به عنوان تجزیه ای از ماتریس $Q={\mathrm{\Gamma }}^{\mathrm{\top }}\mathrm{\Gamma }$ حاصل شده (به عنوان مثال تجزیه چولیسکای ) و به عنوان یک تبدیل سفید کننده در نظر گرفته می شود.

شکل تعمیم یافته این مسئله راه حل بهینه $x^{*}$ را خواهد داشت که می توان با استفاده از فرمول زیر، صراحتاً آن را نوشت

$$x^{*}=(A^{\mathrm{\top }}PA+Q{)}^{-1}(A^{\mathrm{\top }}Pb+Q{x}_0),$$

یا معادل آن

$$x^{*}=x_0+(A^{\mathrm{\top }}PA+Q{)}^{-1}(A^{\mathrm{\top }}P(b-A{x}_0)).$$

نرمال سازی لاورنتیف

همانطور که توسط میخائیل لاورنتیف پیشنهاد شده، گاهاً می توان از استفاده ترانهاده$A^{\mathrm{\top }}$ اجتناب کرد. به عنوان مثال، اگر $A$ متقارن و مثبت-معین باشد، یعنی $A=A^{\mathrm{\top }}>0$، معکوس آن $A^{-1}$ هم همین خاصیت را خواهد داشت. بنابراین می تواند از آن برای محاسبه مجذور نُرم وزندار $\Vert x{\Vert }_P^2=x^{\mathrm{\top }}{A}^{-1}x$ در نرمال سازی کلی تیخونوف استفاده کرد که منجر به کمینه سازی زیر خواهد شد

$$\Vert Ax-b{\Vert }_{A^{-1}}^2+\Vert x-x_0{\Vert }_Q^2$$

یا به طور معادل به یک عبارت ثابت،

$$x^{\mathrm{\top }}(A+Q)x-2x^{\mathrm{\top }}(b+Q{x}_0)$$ .

این مسئله کمینه سازی یک راه حل بهینه $x^{*}$ دارد که می توان آن را صراحتاً با کمک فرمول ذیل نوشت

$$x^{*}=(A+Q{)}^{-1}(b+Q{x}_0)$$ ،

که در واقع همان حل مسئله تعمیم یافته تیخونوف می باشد که در آن $A=A^{\mathrm{\top }}=P^{-1}.$

نرمال سازی لاورنتیف، در صورت امکان استفاده، برای حل نرمال سازی اصلی تیخونوف سودمند است، زیرا ماتریس لاورنتیف $A+Q$ در مقایسه با ماتریس تیخونوف$A^{\mathrm{\top }}A+{\mathrm{\Gamma }}^{\mathrm{\top }}\mathrm{\Gamma }$، می‌تواند قید خوش تعریف تری داشته باشد، یعنی شماره وضعیت کمتری داشته باشد.

نرمال سازی در فضای هیلبرت

معمولاً مسائل خطی گسسته ای که خوش تعریف نیستند از گسسته سازی معادلات انتگرال ناشی می شوند و می توان نرمال سازی تیخونوف را در حالت بی نهایت بعدی اصلی فرموله کرد. از مطالب بالا می توانیم این گونه تفسیر کنیم که $A$ به عنوان یک اپراتور فشرده در فضاهای هیلبرت، و $x$ و $b$ به عنوان عناصر در دامنه و بُرد $A$ اند. در نتیجه اپراتور $A^{*}A+{\mathrm{\Gamma }}^{\mathrm{\top }}\mathrm{\Gamma }$ یک عملگر معکوس محدود شده خود الحاقی است.

ارتباط با تجزیه مقدار های منفرد و فیلتر وینر

با فرض $\mathrm{\Gamma }=\alpha I$ ، راه حل حداقل مربعات را می توان به روشی خاص با استفاده از تجزیه مقدار های منفرد تجزیه و تحلیل کرد. با فرض وجود تجزیه مقدار مفرد

$$A=U\mathrm{\Sigma }{V}^{\mathrm{\top }}$$

با مقادیر منفرد ${\sigma }_i$ ، راه حل نرمال سازی تیخونوف را می توان به صورت ذیل بیان کرد

$$\hat{x}=VD{U}^{\mathrm{\top }}b,$$

که مقادیر $D$ به صورت مورب روی قطر اصلی قرار دارند

$$D_{ii}=\frac{{\sigma }_i}{{\sigma }_i^2+{\alpha }^2}$$

و بقیه درایه ها صفر اند. این نشان دهنده تأثیر پارامتر تیخونوف بر روی شماره وضعیت مسئله نرمال سازی است. برای حالت تعمیم‌یافته، نمایش مشابهی را می‌توان با کمک تجزیه با ارزش منفرد تعمیم یافته به دست آورد.

در نهایت، ارتباط آن با فیلتر وینر، به صورت زیر است:

$$\hat{x}=\sum _{i=1}^q{f}_i\frac{u_i^{\mathrm{\top }}b}{{\sigma }_i}{v}_i,$$

که $f_i=\frac{{\sigma }_i^2}{{\sigma }_i^2+{\alpha }^2}$ وزن های وینر و $q$ رتبه $A$ است.

تعیین ضریب تیخونوف

مقدار بهینه پارامتر نرمال سازی $\alpha$ معمولاً ناشناخته است و اغلب در مسائل عملی با یک روش اد هاک تعیین می شود. یک رویکرد احتمالی متکی بر تفسیر بیزی در زیر توضیح داده شده است. روش‌های دیگر عبارتند از اصل اختلاف ، اعتبارسنجی متقابل ، روش منحنی L ، حداکثر احتمال محدود شده و تخمین‌گر ریسک پیش‌بینی‌کننده نااریب . گریس وهبه ثابت کرد که پارامتر بهینه، به معنای اعتبارسنجی متقابل تکی، عبارت زیر را کمینه می کند

$$G=\frac{\mathrm{RSS}}{{\tau }^2}=\frac{\Vert X\hat{\beta }-y{\Vert }^2}{[\mathrm{Tr}(I-X(X^{T}X+{\alpha }^{2}I{)}^{-1}{X}^T){]}^2},$$

که $\mathrm{RSS}$ مجموع مربعات باقیمانده است و $\tau$ عدد مؤثر درجات آزادی است.

با کمک تجزیه مقادیر منفرد قبلی، می توانیم عبارت فوق را به شکل زیر ساده سازی کنیم:

$$\mathrm{RSS}={\Vert y-\sum _{i=1}^q({u_i}^{\prime }b)u_i\Vert }^2+{\Vert \sum _{i=1}^q\frac{{\alpha }^2}{{\sigma }_i^2+{\alpha }^2}({u_i}^{\prime }b)u_i\Vert }^2,$$

$$\mathrm{RSS}={\mathrm{RSS}}_0+{\Vert \sum _{i=1}^q\frac{{\alpha }^2}{{\sigma }_i^2+{\alpha }^2}({u_i}^{\prime }b)u_i\Vert }^2,$$

و

$$\tau =m-\sum _{i=1}^q\frac{{\sigma }_i^2}{{\sigma }_i^2+{\alpha }^2}=m-q+\sum _{i=1}^q\frac{{\alpha }^2}{{\sigma }_i^2+{\alpha }^2}$$

رابطه با فرمول احتمال

فرموله سازی احتمالی یک مسئله وارون، (به شرطی که همه عدم قطعیت ها، از توزیع گاوسی تبعیت کنند) ماتریس کوواریانس$C_M$ را معرفی می کند که نماینده عدم قطعیت های پیشینی در پارامترهای مدل، و ماتریس کوواریانس $C_D$ نماینده عدم قطعیت در پارامترهای مشاهده شده اند. در حالت خاصی که این دو ماتریس قطری و همسانگرد باشند، خواهیم داشت: $C_M={\sigma }_M^{2}I$ و $C_D={\sigma }_D^{2}I$ و در این حالت، معادلات نظریه معکوس به معادلات بالا تبدیل شده و$\alpha ={\sigma }_D/{\sigma }_M$ .

تفسیر بیزی

در ابتدا شاید انتخاب راه حل برای این مسئله نرمال سازی، تا حدی تصادفی به نظر بیاید، و در واقع به نظر می رسد ماتریس $\mathrm{\Gamma }$ تا حدی دلخواه باشد، اما این فرآیند را می توان از دیدگاه بیزی توجیه کرد. توجه داشته باشید که برای یک مسئله غیر خوش تعریف، باید فرضیاتی اضافی را برای دستیابی به یک راه حل منحصر به فرد ارائه کرد. از نظر آماری، توزیع احتمال پیشین $x$، اغلب یک توزیع نرمال چند متغیره در نظر گرفته می شود. برای سادگی، مفروضات زیر مطرح می شوند: میانگین ها صفر اند، اجزا مستقل و دارای انحراف استاندارد یکسان ${\sigma }_x$ هستند . داده ها نیز ممکن است دارای خطا باشند و خطاهای موجود در $b$ نیز مستقل و با میانگین صفر و انحراف معیار ${\sigma }_b$ فرض می شوند. بر اساس این مفروضات و طبق قضیه بیز، راه حل نرمال شده توسط تیخونوف، نسبت به داده ها و توزیع پیشین $x$، محتمل ترین راه حل است.

اگر فرض اولیه نرمال بودن توزیع با فرضیات ناهمواریانسی و عدم همبستگی خطاها جایگزین شود، و اگر هنوز میانگین صفر را فرض کنیم، آنگاه قضیه گاوس-مارکف مستلزم این است که این راه حل، برآوردگر خطی نااریب کمینه است.

پیاده سازی

با کمک کتابخانه Scikit-Learn زبان پایتون می توان به صورت زیر، رگرسیون خط الرأس را پیاده سازی کرد

from sklearn.linear_model import Ridge
clf = Ridge(alpha=1.0)
clf.fit(X, y)

مصورسازی

اگر جمع مربعات خطاها را به شکل خطوط تراز نمایش دهیم، آنگاه خواهیم داشت

$${\beta }_1^2+{\beta }_2^2\le t^2$$

که در صفحهٔ مختصات دو بعدی، دایره‌ای به شعاع $t$ را نمایش می‌دهد. بدین ترتیب، محل برخورد منحنی های تراز و دایره $\beta$ معمولاً نزدیک بیشینه یکی از ضرایب و کمینه دیگری خواهد بود اما هیچکدام صفر مطلق نخواهند بود.

صفحات مرتبط

• برآوردگر LASSO یکی دیگر از روش های نرمال سازی در آمار است.
• متعادل سازی کشسان
• نرمال سازی ماتریس
• en:Ridge Regression