نمایش مبدأ برای رگرسیون خطی

{{مقاله برگزیده}}
{{تحلیل رگرسیون}}
'''رگرسیون خطی''' در [[آمار]] یک [[مدل آماری]] است که رابطه [[خطسانی|خطی]] بین یک پاسخ [[اسکالر (ریاضی)|نرده‌ای]] ([[متغیر وابسته]]) و یک یا بیشتر متغیر تبیینی ('''رگرسور''' یا [[متغیر مستقل]]) را تخمین می‌زند. رگرسیون خطی یکی از روش‌های [[تحلیل رگرسیون]] است.  رگرسیون خطی نوعی [[تابع پیش‌بینی‌کننده خطی]] است که در آن [[متغیر وابسته]] — متغیری که قرار است پیش‌بینی شود — به صورت [[ترکیب خطی|ترکیبی خطی]] از [[متغیرهای مستقل]] پیش‌بینی می‌شود، بدین معنی که هر کدام از [[متغیرهای مستقل]] در [[ضریب|ضریبی]] که در فرایند [[نظریه تخمین|تخمین]] برای آن متغیر به‌دست آمده ضرب می‌شود؛ جواب نهائی مجموع حاصل‌ضرب‌ها به علاوه یک مقدار ثابت خواهد بود که آن هم در فرایند تخمین به‌دست آمده‌است. ساده‌ترین نوع رگرسیون خطی، [[رگرسیون خطی ساده]] است که برخلاف رگرسیون خطی چندگانه، تنها یک [[متغیر مستقل]] دارد. نوع دیگر رگرسیون خطی [[رگرسیون چندمتغیره|رگرسیون خطی چندمتغیره]] است که در آن به جای پیش‌بینی یک [[متغیر وابسته و مستقل|متغیر وابسته]] چندین متغیر وابسته پیش‌بینی می‌شود.

فرایند [[تخمین]] سعی می‌کند ضرایبِ مدل رگرسیون خطی را به گونه‌ای انتخاب کند که با [[داده]]‌های موجود همخوانی داشته باشد، یعنی پیش‌بینی‌ها به مقادیر رؤیت شده در داده‌ها نزدیک باشند و یکی از مهم‌ترین مسائل در رگرسیون خطی، به حداقل رساندن اختلاف بین این دو است. راه‌های مختلفی برای حل این مسئله وجود دارد. در روش‌های [[احتمالات|احتمالی]]، مدل‌های رگرسیون خطی سعی در برآورد [[توزیع احتمال شرطی]]ِ [[متغیر وابسته و مستقل|متغیر وابسته]] (و نه [[توزیع احتمال توأم]]) دارند که از آن طریق [[آماره|آماره‌ای]] از [[متغیر وابسته و مستقل|متغیر وابسته]] را به عنوان پیش‌بینی نهایی به‌کار می‌برند. از متداول‌ترین [[آماره]]‌های مورد استفاده [[میانگین]] است، اگر چه سایر [[آماره]]‌ها نظیر [[میانه (آمار)|میانه]] یا [[چندک]]‌ها نیز مورد استفاده قرار می‌گیرند.

یکی دیگر از روش‌های متداول [[تخمین]]، روش [[کمترین مربعات]] است که در آن مجموع [[مربع کامل|مربع]] تفاضل پیش‌بینی‌ها و داده‌های وابسته کمینه می‌شود. این روش مستلزم پیدا کردن [[ماتریس وارون|وارونه]] [[ضرب خارجی]] [[ماتریس]] تمام [[داده]]‌های مستقل با [[ماتریس ترانهاده|ماتریس ترانهادهٔ]] آن است، فرآیندی که می‌تواند به علت [[وارونه‌ناپذیر|وارونه‌ناپذیری]] ماتریس نهائی و کمبود داده پرهزینه و ناکارا باشد. از این رو عموماً از روش‌های جایگزین مانند [[گرادیان کاهشی تصادفی]] استفاده می‌شود. با اینکه روش [[کمترین مربعات]] از متداول‌ترین روش‌های [[تخمین]] مدل رگرسیون خطی است اما روش‌های دیگری مانند کمترین [[قدر مطلق (ریاضی)|قدرمطلق‌ها]] (که در آن مجموع قدرمطلق تفاضل پیش‌بینی و داده وابسته به عنوان تابع هزینه در نظرگرفته می‌شود) یا تخمین [[روش پنالتی|جریمه یافتهٔ]] [[کمترین مربعات]] (مانند جریمهٔ [[نرم (ریاضیات)|نُرمِ]] <math>L_2</math> و جریمهٔ نُرمِ <math>L_1</math>) نیز مورد استفاده قرار می‌گیرد.

روش [[تخمین]] از طریق [[کمترین مربعات]] با روش تخمین [[میانگین]] از طریق اعمال [[برآورد درست‌نمایی بیشینه]] بر [[متغیر وابسته و مستقل|متغیر وابسته شرطی]] با در نظر گرفتن یک سری مفروضات معادل خواهد بود. این روش احتمالی برای محافظت مدل از [[بیش‌برازش]] نیز مورد استفاده قرار می‌گیرد، به این شکل که در تخمین مدل، [[احتمال پسین]] به جای [[تابع درست‌نمایی]] بیشینه می‌شود و [[احتمال پیشین]] به [[پارامتر|پارامترهایی]] که نُرمِ کمتری دارند احتمال بالاتری اختصاص می‌دهد. در نتیجه مدل نهائی [[پارامتر|پارامترهایی]] را فراخواهد گرفت که بزرگ نیستند و این به نوبهٔ خود باعث حفاظت مدل از بیش‌برازش می‌شود. روش استفادهٔ برآورد [[تابع درست‌نمایی|درست‌نمایی]] [[احتمال پسین]] معادل روش تخمین [[روش پنالتی|جریمه یافتهٔ]] [[کمترین مربعات]] است.

رگرسیون خطی به‌طور گسترده‌ای در [[علوم زیستی]]، [[رفتارشناسی|رفتاری]]، [[جامعه‌شناسی|اجتماعی]]، [[دارایی]]، [[اقتصاد]] و [[محیط زیست]] مورد استفاده قرار می‌گیرد. همچنین رگرسیون خطی و مشتقات آن یکی از ابزارهای شناخته شده و پرکاربرد در [[یادگیری ماشین]] هستند. با وجود کاربرد زیاد رگرسیون خطی در [[علوم]] مختلف، این روش محدودیت‌هایی هم دارد. بسیاری از مسائل پژوهشی در علوم اجتماعی در قالب مدلهای رگرسیون نمی‌گنجند و یک متغیر خروجی ندارند (مانند تجزیه و تحلیل خوشه‌ای برای آشکار ساختن گروه‌های منسجم در داده‌ها). همچنین رگرسیون خطی برای پیدا کردن [[علیت|علّیت]] بین متغیرهای مستقل و وابسته ابزار مناسبی نیست.

== مفاهیم ==
[[پرونده:Linear least squares example2.png|بندانگشتی|نمونه نمودار یک رگرسیون خطی بسیار ساده]]
رگرسیون خطی یک [[مدل آماری]] برای [[پیش‌بینی]] یک یا چند [[متغیر (ریاضی)|متغیر]] از روی یک یا چند متغیر دیگر است. به متغیرهایی که پیش‌بینی بر روی آن انجام می‌شود [[متغیر وابسته و مستقل|متغیر وابسته]] و به متغیرهایی که پیش‌بینی به کمک آن‌ها انجام می‌شود [[متغیرهای مستقل]] می‌گویند. متغیرهای وابسته را معمولاً با <math>y</math> و متغیرهای مستقل را با <math>x</math> نمایش می‌دهند. اگر تنها یک [[متغیر مستقل]] وجود داشته باشد مدل رگرسیون خطی را [[رگرسیون خطی ساده|ساده]] و در غیر این صورت چندگانه می‌نامند. همچنین اگر به جای پیش‌بینی یک [[متغیر وابسته و مستقل|متغیر وابسته]] چندین [[متغیر وابسته و مستقل|متغیر وابسته]] پیش‌بینی شود، مدل رگرسیون خطی را [[رگرسیون چندمتغیره|چندمتغیره]] می‌نامند.<ref name="MardiaK1979Multivariate">{{Cite book|author=Mardia|title=Multivariate Analysis|url=https://archive.org/details/multivariateanal0000mard|publisher=Academic Press|year=1979|isbn=0-12-471252-5|first=K. V|last2=Kent|first2=J. T.|location=|pages=|last3=Bibby|first3=J. M.}}</ref> واژهٔ «رگرسیون» وام‌واژه‌ای از [[زبان فرانسوی]] است و به معنی «برگشت» یا «پس‌گرایی» است؛ این واژه اولین بار توسط [[فرانسیس گالتون]] برای توصیف رابطهٔ خطی بین قد فرزندان و والدین‌شان مورد استفاده قرار گرفت. به‌طور دقیق‌تر او از اصطلاح «برگشت (رگرسیون) به میانگین» برای توصیف این رابطه استفاده کرد.<ref name=":6" />

اگر فرض کنیم که تنها یک متغیر وابسته و چندین متغیر مستقل وجود داشته باشند، برای سهولت کار همهٔ متغیرهای مستقل را در یک [[بردار اقلیدسی|بردار]] <math>\vec{x}</math> می‌گنجانیم.<ref name="Freedman09">{{cite book|author=David A. Freedman|year=2009|title=Statistical Models: Theory and Practice|url=https://archive.org/details/statisticalmodel00free|publisher=Cambridge University Press|quote=A simple regression equation has on the right hand side an intercept and an explanatory variable with a slope coefficient. A multiple regression equation has two or more explanatory variables on the right hand side, each with its own slope coefficient|page=[https://archive.org/details/statisticalmodel00free/page/n41 26]|first=|isbn=|location=|pages=}}</ref> اگر متغیر وابسته مقادیر عددی بگیرد مسئلهٔ مدل‌سازی «[[تحلیل رگرسیون|رگرسیون]]» نام می‌گیرد، و در غیر این حالت (یعنی وقتی متغیر وابسته [[داده‌های رسته‌ای|رسته‌ای]] باشد) به آن «[[طبقه‌بندی آماری|دسته‌بندی آماری]]» گفته می‌شود.<ref>{{citation|first=C. M.|last=Bishop|year=2006|title=Pattern Recognition and Machine Learning|publisher=Springer|isbn=978-0-387-31073-2|page=179}}</ref>

== تاریخچه ==
استفاده از رگرسیون خطی از [[سده ۱۹ (میلادی)|قرن نوزدهم میلادی]] شروع شد. اولین بار رگرسیون خطی در قالب [[کمترین مربعات]] و در کارهای [[آدرین-ماری لژاندر|آدرین ماری لژاندر]]<ref name="Legendre">A.M. Legendre. [https://books.google.com/books?id=FRcOAAAAQAAJ ''Nouvelles méthodes pour la détermination des orbites des comètes''] {{Webarchive|url=https://web.archive.org/web/20190607155946/https://books.google.com/books?id=FRcOAAAAQAAJ |date=۷ ژوئن ۲۰۱۹}}, Firmin Didot, Paris, 1805. “Sur la Méthode des moindres quarrés” appears as an appendix.</ref> و [[کارل فریدریش گاوس]] ارائه شد.<ref name="Gauss">C.F. Gauss. ''Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum''. (1809)</ref> این دو مستقل از یکدیگر و با استفاده از رگرسیون خطی، حرکت [[سیارات]] و ستاره‌های دنباله‌دار را پیش‌بینی کردند.<ref>{{citation|title=Linear Regression Analysis: Theory and Computing|first=Xin|last=Yan|publisher=World Scientific|year=2009|isbn=9789812834119|pages=1–2|url=https://books.google.com/books?id=MjNv6rGv8NIC&pg=PA1|quote=Regression analysis … is probably one of the oldest topics in mathematical statistics dating back to about two hundred years ago. The earliest form of the linear regression was the least squares method, which was published by Legendre in 1805, and by Gauss in 1809 … Legendre and Gauss both applied the method to the problem of determining, from astronomical observations, the orbits of bodies about the sun.|accessdate=۲۵ سپتامبر ۲۰۱۸|archiveurl=https://web.archive.org/web/20190608180433/https://books.google.com/books?id=MjNv6rGv8NIC&pg=PA1|archivedate=۸ ژوئن ۲۰۱۹|dead-url=no}}</ref> [[کارل فریدریش گاوس|گاوس]] بعدها نظریهٔ کمترین مربعات و [[قضیه گوس-مارکف|قضیه گاوس-مارکوف]] را در سال ۱۸۲۱ منتشر کرد.<ref name="Gauss2">C.F. Gauss. [https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false ''Theoria combinationis observationum erroribus minimis obnoxiae''] {{Webarchive|url=https://web.archive.org/web/20190610143218/https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false |date=۱۰ ژوئن ۲۰۱۹}}. (1821/1823)</ref> [[کارل پیرسون]] بعدتر روش [[کارل فریدریش گاوس|گاوس]] را توسعه داد. او [[توزیع احتمال توأم|توزیع احتمال مشترک]] [[متغیر وابسته و مستقل|متغیر وابسته]] و [[متغیر مستقل|متغیرهای]] [[متغیر مستقل|مستقل]] را [[توزیع طبیعی|توزیع گاوسی]] فرض کرد.<ref>{{Cite journal|last=Seal|first=Hilary L.|date=1967|title=Studies in the History of Probability and Statistics. XV: The Historical Development of the Gauss Linear Model|url=http://www.jstor.org/stable/2333849|journal=Biometrika|volume=54|issue=1/2|pages=1–24|doi=10.2307/2333849|issn=0006-3444|access-date=24 ژانویه 2020|archive-date=24 ژانویه 2020|archive-url=https://web.archive.org/web/20200124233810/https://www.jstor.org/stable/2333849}}</ref> [[رانلد فیشر]] اما بعد از او نشان داد که [[احتمال شرطی|توزیع احتمال شرطی]] [[متغیر وابسته و مستقل|متغیر وابسته]] به شرط [[متغیر مستقل|متغیرهای مستقل]] باید [[توزیع گاوسی]] باشد و نه توزیع احتمال مشترک آنها.<ref>{{cite journal|last=Fisher|first=R.A.|year=1922|title=The goodness of fit of regression formulae, and the distribution of regression coefficients|journal=Journal of the Royal Statistical Society|volume=85|issue=4|pages=597–612|doi=10.2307/2341124|jstor=2341124|pmc=1084801}}</ref><ref>{{Cite journal|last=Aldrich|first=John|date=2005|title=Fisher and Regression|url=http://www.jstor.org/stable/20061201|journal=Statistical Science|volume=20|issue=4|pages=401–417|issn=0883-4237|access-date=24 ژانویه 2020|archive-date=24 ژانویه 2020|archive-url=https://web.archive.org/web/20200124233818/https://www.jstor.org/stable/20061201}}</ref>

استفاده از واژه رگرسیون به اواخر قرن نوزدهم بر می‌گردد.<ref name=":6">{{Cite journal|last=Galton|first=Francis|year=1886|title=Regression Towards Mediocrity in Hereditary Stature|url=https://zenodo.org/record/1449548|journal=The Journal of the Anthropological Institute of Great Britain and Ireland|volume=15|pages=246–263|doi=10.2307/2841583|jstor=2841583|access-date=۴ اوت ۲۰۱۹|archive-url=https://web.archive.org/web/20190804223605/https://zenodo.org/record/1449548|archive-date=۴ اوت ۲۰۱۹|dead-url=no}}</ref> در آن زمان [[فرانسیس گالتون]] برای پیدا کردن رابطهٔ قد فرزندان و والدین از روش رگرسیون استفاده کرد.<ref name=":6"/> داده‌ها به او نشان دادند که والدین بلند قد معمولاً فرزندان کوتاه‌قدتری نسبت به خود دارند و بالعکس. او این رابطه را با یک خط نشان داد (که با یک [[شیب]] و یک [[عرض از مبدأ]] تعریف می‌شد). اگر چه این خط تمام داده‌ها را بر روی خود نمی‌گنجاند ولی میانگین قد فرزندان را بر حسب قد والدینی که قد یکسانی داشتند تخمین می‌زد.<ref name=":6"/> اصطلاح رگرسیون در ابتدا فقط برای روش تخمین قد فرزندان از روی قد والدین به کار می‌رفت ولی به تدریج عمومیت پیدا کرد و برای تخمین میانگین یک متغیر وابسته با استفاده از ترکیب خطی چندین متغیر مستقل به کار برده شد.<ref name=":6"/>

از لحاظ تاریخی رگرسیون خطی معمولاً از روش کمترین مربعات یا [[استنباط فراوانی‌گرایانه|استنباط فراوانی گرایانه]] تخمین زده می‌شد ولی بعدها روشهای دیگری نیز مورد استفاده قرار گرفت.<ref name=":7">{{یادکرد وب|عنوان=Regression|نشانی=https://www.encyclopedia.com/medicine/psychology/psychology-and-psychiatry/regression|وبگاه=www.encyclopedia.com|بازبینی=2019-08-04|نویسنده=David C. Atkins|کد زبان=en|تاریخ=|archiveurl=https://web.archive.org/web/20190525180827/https://www.encyclopedia.com/medicine/psychology/psychology-and-psychiatry/regression|archivedate=۲۵ مه ۲۰۱۹|dead-url=no}}</ref> کاربرد اولیهٔ رگرسیون خطی در علوم پایه و علوم تجربی بود و [[آدولف کوتله]] استفاده از این روش را در [[علوم اجتماعی]] متداول کرد و گسترش داد.<ref name="stigler">{{cite book|last=Stigler|first=Stephen M|year=1986|title=The History of Statistics: The Measurement of Uncertainty before 1900|location=Cambridge|publisher=Harvard|isbn=0-674-40340-1|pages=}}</ref>

در دهه‌های ۱۹۵۰ و ۱۹۶۰ [[اقتصاددانان]] از [[ماشین حساب|ماشین‌حساب]] [[الکترومکانیک|الکترومکانیکی]] برای تخمین مدل رگرسیون خطی استفاده می‌کردند. قبل از دههٔ ۱۹۷۰، گاهی یک شبانه‌روز ساعت طول می‌کشد تا نتیجه یک رگرسیون دریافت شود.<ref>Rodney Ramcharan. [http://www.imf.org/external/pubs/ft/fandd/2006/03/basics.htm Regressions: Why Are Economists Obessessed with Them?] {{Webarchive|url=https://web.archive.org/web/20200805131639/https://www.imf.org/external/pubs/ft/fandd/2006/03/basics.htm |date=5 اوت 2020}} March 2006. Accessed 2011-12-03.</ref>

== پیش‌فرض‌ها ==
معمولاً چند پیش‌فرض برای استفاده از رگرسیون خطی در نظر گرفته می‌شود. اگر اختلاف بین متغیر وابسته و پیش‌بینی مدل را [[خطا و مانده|«خطا» یا «مانده»]] بنامیم، آنگاه مفروضات زیر باید در مدل‌سازی رگرسیون خطی برقرار باشند:<ref name=":02">{{Cite journal|last=Poole|first=Michael A.|last2=O'Farrell|first2=Patrick N.|date=1971|title=The Assumptions of the Linear Regression Model|url=https://www.jstor.org/stable/621706|journal=Transactions of the Institute of British Geographers|issue=52|pages=145–158|doi=10.2307/621706|issn=0020-2754|archive-url=https://www.webcitation.org/78blt9e08?url=https://www.jstor.org/stable/621706|archive-date=24 مه 2019|access-date=22 مه 2019}}</ref>
* [[مانده (آنالیز عددی)|مانده‌ها]] از یک [[توزیع طبیعی]] پیروی می‌کنند.<ref name=":02"/> این پیش‌فرض به این معنی است که [[توزیع احتمال شرطی|توزیع مشروط]] متغیرهای وابسته یک توزیع طبیعی است. این پیش‌فرض برای کمترین مربعات ضروری است ولی در [[رگرسیون چندک]] یا [[رگرسیون چندک|رگرسیون میانه]] می‌توان این پیش فرض را نقض کرد.
* [[مانده (آنالیز عددی)|مانده‌ها]] از هم مستقل هستند.<ref name=":12">{{Cite journal|last=Allen|first=R. G. D.|date=1939|title=The Assumptions of Linear Regression|url=https://www.jstor.org/stable/2548931|journal=Economica|volume=6|issue=22|pages=191–201|doi=10.2307/2548931|issn=0013-0427|archive-url=https://www.webcitation.org/78blp0USB?url=https://www.jstor.org/stable/2548931|archive-date=24 مه 2019|access-date=22 مه 2019}}</ref> این پیش‌فرض متغیرهای مانده (و در نتیجه متغیرهای وابسته) را نسبت به هم مستقل می‌داند. برخی از روشها مانند [[روش تعمیم‌یافته کمترین مربعات|کمترین مربعات تعمیم یافته]] قادر به کار با مانده‌های همبسته هستند، گرچه به‌طور معمول به داده‌های بیشتری برای این کار نیاز هست، مگر اینکه از [[تنظیم (آمار)|تنظیم]] مدل استفاده شود. [[رگرسیون خطی بیز]] یک روش کلی برای حل این مشکل است.
* [[واریانس]] مانده‌ها ثابت است.<ref name=":12"/> این پیش‌فرض مقادیر مانده‌ها (و در نتیجه متغیرهای وابسته) را دارای واریانس ثابت می‌داند. در عمل، این فرض معمولاً نامعتبر است و مانده‌ها ناهمگن هستند. در [[رگرسیون چندک]] می‌توان این فرض را نقض کرد.<ref name="Koenker20053">{{cite book|title=Quantile Regression|url=https://archive.org/details/quantileregressi00koen|last=Koenker|first=Roger|publisher=Cambridge University Press|year=2005|isbn=978-0-521-60827-5|location=|pages=[https://archive.org/details/quantileregressi00koen/page/n163 147]|ref=harv}}</ref>
* بین متغیرهای مستقل [[هم‌خطی]] وجود ندارد.<ref name="tibs_lasso">{{cite journal|last=Tibshirani|first=Robert|year=1996|title=Regression Shrinkage and Selection via the Lasso|url=https://archive.org/details/sim_journal-of-the-royal-statistical-society-series-b_1996_58_1/page/267|journal=Journal of the Royal Statistical Society, Series B|volume=58|issue=1|pages=267–288|jstor=2346178}}</ref> مفهوم این پیش‌فرض این است که ماتریس متغیرهای مستقل [[رتبه (جبر خطی)|تمام رتبه]] باشد. اگر این شرط برقرار نباشد بعضی از متغیرهای مستقل ترکیبی خطی از یک یا چند متغیر خطی دیگر خواهند بود. تعداد کم داده می‌تواند این پیش‌فرض را نقض کند به خصوص زمانی که تعداد داده‌ها کمتر از تعداد پارامترهای مدل رگرسیون خطی (تعداد ضرایب رگرسیون خطی) باشد.
* رابطه بین میانگین متغیر وابسته و متغیرهای مستقل خطی است.<ref name="Hilary L. Seal 1967 1–24">{{cite journal|author=Hilary L. Seal|year=1967|title=The historical development of the Gauss linear model|journal=Biometrika|publisher=|volume=54|issue=1/2|pages=1–24|doi=10.1093/biomet/54.1-2.1|jstor=2333849|pmc=|pmid=}}</ref> این پیش‌فرض بدان معنی است که میانگین متغیر وابسته، ترکیبی خطی از پارامترها (ضرایب رگرسیون) و متغیرهای مستقل است. این پیش‌فرض محدودیت زیادی ایجاد نمی‌کند زیرا خطی بودن فقط یک محدودیت برای پارامترها است. در رگرسیون خطی تعمیم یافته می‌توان چندین متغیر جدید را از ترکیب متغیرهای مستقل ایجاد کرد، یا در رگرسیون چند جمله‌ای ساده، متغیر وابسته را ترکیبی چند جمله‌ای از متغیر مستقل در نظر گرفت. معمولاً برای جلوگیری از [[بیش‌برازش]] و پیچیدگی مدل‌های رگرسیون خطی تعمیم یافته نیاز به تنظیم مدل هست.

== تخمین پارامترها ==
فرق رگرسیون خطی با سایر مدل‌های [[تحلیل رگرسیون|رگرسیون]] در این است که در این مدل رابطهٔ بین [[متغیرهای مستقل]] و [[متغیر وابسته و مستقل|متغیر وابسته]] یک [[تابع پیش‌بینی‌کننده خطی|رابطهٔ خطی]] فرض می‌شود.<ref name="Hilary L. Seal 1967 1–24"/> رگرسیون خطی، که خود نوعی [[تابع پیش‌بینی‌کننده خطی|تابع پیش‌بینی‌کنندهٔ خطی]] است، پیش‌بینی متغیر وابسته را از حاصل‌جمع ضرب [[متغیرهای مستقل]] در یک سری [[ضریب|ضرایب]] به‌دست می‌آورد. در [[رگرسیون خطی ساده]] که تنها یک [[متغیر مستقل]] وجود دارد، پیش‌بینی [[متغیر وابسته و مستقل|متغیر وابسته]] شکل یک [[خط مستقیم (هندسه)|خط مستقیم]] به خود می‌گیرد؛ در رگرسیون خطی با دو متغیر شکل پیش‌بینی یک [[صفحه (ریاضیات)|صفحه]] خواهد بود، و در رگرسیون خطی با بیش از دو [[متغیر مستقل]] پیش‌بینی [[متغیر وابسته و مستقل|متغیر وابسته]] به صورت یک [[ابر صفحه|اَبَرصفحه]] خواهد بود.<ref name=":13"/>

=== رگرسیون خطی ساده ===
رگرسیون خطی ساده میزان اثر یک متغیر مستقل بر یک متغیر وابسته را می‌سنجد و همبستگی رابطهٔ بین آن‌ها را مورد سنجش قرار می‌دهد.<ref name=":13">{{citation|title=Methods of Multivariate Analysis|volume=709|series=Wiley Series in Probability and Statistics|first1=Alvin C.|last1=Rencher|first2=William F.|last2=Christensen|edition=3rd|publisher=John Wiley & Sons|year=2012|isbn=978-1-118-39167-9|page=19|url=https://books.google.com/books?id=0g-PAuKub3QC&pg=PA19|contribution=Chapter 10, Multivariate regression – Section 10.1, Introduction|accessdate=۲۵ سپتامبر ۲۰۱۸|archiveurl=https://web.archive.org/web/20190615204909/https://books.google.com/books?id=0g-PAuKub3QC&pg=PA19|archivedate=۱۵ ژوئن ۲۰۱۹|dead-url=no}}.</ref>

مثلاً تحلیل رگرسیونی سادهٔ زیر با <math>N</math> نقطه، [[متغیر مستقل]] <math>x_i</math> و ضرایب <math>\beta_0</math> و <math>\beta_1</math> خطی است:
:خط راست: <math>y_i=\beta_0 +\beta_1 x_i +\epsilon_i,\quad i=1,\dots,N\!</math>

در عبارت پیشین <math>\epsilon_i</math> مقدار خطاست و پانویس <math>i</math> شمارهٔ هر مشاهده (هر جفت <math>x_i</math> و <math>y_i</math>) را نشان می‌دهد. با داشتن مجموعه‌ای از این نقطه‌ها می‌توان مدل را به دست آورد:
{{وسط‌چین}}
<math> y_i = \widehat{\beta}_0 + \widehat{\beta}_1 X_i + e_i </math>
{{پایان وسط‌چین}}
عبارت <math> e_i </math> «مانده» نام دارد و تخمینی است از اختلاف بین مقدار محاسبه شده و مقدار واقعی متغیر وابسته: <math> e_i = y_i - \widehat{y}_i </math>. برای تخمین این مدل رگرسیون باید سه [[پارامتر]] تخمین زده بشوند: دو ضریب <math>\beta_0</math> و <math>\beta_1</math> و مانده (<math> e_i </math>). روش رایج برای به‌دست‌آوردن پارامترها، روش [[کمترین مربعات]] است. در این روش پارامترها را با کمینه‌کردن مجموع مربعات خطا به دست می‌آورند:
{{وسط‌چین}}
<math>\mathrm{SSE}=\sum_{i=1}^{N}e_i^2</math>
{{پایان وسط‌چین}}
در مورد [[رگرسیون خطی ساده|رگرسیون ساده]]، پارامترها با این روش برابر خواهند بود با:

{{وسط‌چین}}<math>\hat{\beta_1}=\frac{\sum_{i=1}^N(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^N(x_i-\bar{x})^2}</math>
{{پایان وسط‌چین}}

{{وسط‌چین}}<math>\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}</math>
{{پایان وسط‌چین}}

که در آن <math>\bar{x}</math> و <math>\bar{y}</math> میانگین <math>x</math> و <math>y</math> هستند.

==== تفاوت رگرسیون و همبستگی ====
معمولاً زمانی می‌توان از [[تحلیل رگرسیون|رگرسیون]] استفاده کرد که یک [[همبستگی و وابستگی|همبستگی]] بین [[متغیرهای مستقل و وابسته]] وجود داشته باشد. این [[همبستگی و وابستگی|همبستگی]] را می‌توان به عنوان مثال از [[ضریب همبستگی پیرسون|ضریب همبستگی پیرسن]] که عددی در بازه <math>[-1,\, +1]</math> است به‌دست‌آورد. ضریب همبستگی مثبت به این معنی است که با افزایش یک متغیر، متغیر دیگر هم افزایش می‌یابد و بالعکس، اما ضریب همبستگی منفی نشان‌دهنده رابطه معکوس بین دو متغیر است یعنی با افزایش یکی دیگری کاهش می‌یابد و بالعکس. ضریب صفر به این معنی است که هیچ رابطه‌ای بین دو متغیر نیست و دو متغیر نسبت به هم مستقلند.<ref name="Boddy">{{cite book|last1=Boddy|first1=Richard|last2=Smith|first2=Gordon|title=Statistical methods in practice: for scientists and technologists|date=2009|publisher=Wiley|location=Chichester, U.K.|isbn=978-0-470-74664-6|pages=95-96}}</ref>

هدف مدل‌های همبستگی بررسی میزان رابطهٔ دو یا چند متغیر است. رگرسیون اما به دنبال پیش‌بینی یک یا چند متغیر براساس یک یا چند متغیر دیگر است. به بیان دیگر، همبستگی میزان و شدت رابطهٔ متغیرها را نشان می‌دهد اما رگرسیون معادله‌ای را برای پیش‌بینی متغیرها ارائه می‌کند.<ref name="Hilary L. Seal 1967 1–24"/>

آنچه در خروجی نتایج رگرسیون و همبستگی باعث ایجاد تفاوت می‌شود آن است که در همبستگی همیشه اثرات متغیرها به صورت دو به دو مورد سنجش قرار می‌گیرد اما در یک مدل رگرسیون اثرات متغیرها به صورت همزمان بررسی می‌شود. یعنی در همبستگی رابطه متغیر <math>X</math> با متغیر <math>Y</math> به وجود یا عدم وجود متغیر <math>Z</math> ارتباطی ندارد اما اما در رگرسیون تأثیر متغیر <math>X</math> بر متغیر <math>Y</math> به وجود یا عدم وجود متغیر <math>Z</math> بستگی دارد (به شرط آن که متغیر <math>Z</math> هم در مدل رگرسیون به کار گرفته شود؛ چنین مدل رگرسیون خطی را «چندگانه» می‌نامند).

=== رگرسیون خطی چندگانه ===
==== صورت مسئله ====
[[پرونده:کمترین مربعات سه بعدی.png|بندانگشتی|رگرسیون خطی در این شکل صفحه‌ای است که مجموع فواصل نقطه‌های قرمز تا صفحه را به حداقل می‌رساند.]]
در بسیاری از مسائل رایج رگرسیون، ورودی چندمتغیره است.<ref>{{یادکرد کتاب|نشانی=https://books.google.com/books?id=0g-PAuKub3QC&pg=PA19|عنوان=Methods of Multivariate Analysis|نام خانوادگی=Rencher|نام=Alvin C.|نام خانوادگی۲=Christensen|نام۲=William F.|تاریخ=2012-08-15|ناشر=John Wiley & Sons|سال=|شابک=9781118391679|مکان=|صفحات=19|زبان=English|پیوند بایگانی=https://web.archive.org/web/20241004183607/https://books.google.com/books?id=0g-PAuKub3QC&pg=PA19#v=onepage&q&f=false#v=onepage&q&f=false|تاریخ بایگانی=۴ اكتبر ۲۰۲۴|access-date=۲۵ سپتامبر ۲۰۱۸|url-status=dead}}</ref> اگر فرض کنیم متغیر ما <math>m</math> بُعد دارد، یعنی <math>\vec{x} = [x_1, x_2, \dots, x_m]</math>، مسئلهٔ رگرسیون به یک مسئلهٔ [[بهینه‌سازی]] برای پیدا کردن <math>m+1</math> پارامتر تبدیل می‌شود، به این معنی که ما یک پارامتر چندمتغیره به اسم <math>\vec{\beta} = [\beta_0, \beta_1, \cdots, \beta_m]</math> داریم و سعی می‌کنیم که متغیر وابسته که همان <math>y</math> است را با بردار '''<math>\vec{x}</math>'''، تخمین بزنیم که یعنی <math>y \approx \beta_0 + \sum_{i=1}^m \beta_i\times x_i</math>. حال اگر یک بعد دیگر به متغیر '''<math>\vec{x}</math>''' اضافه کنیم و مقدارش را همیشه عدد ثابت <math>1
</math> در نظر بگیریم (<math>x_0 = 1</math>) و '''<math>\vec{x}</math>''' را به صورتِ <math>\vec{x} = [1, x_1, x_2, \dots, x_m]</math> تغییر دهیم، تخمینی که از '''<math>y</math>''' داریم در واقع [[ضرب داخلی|ضرب نقطه‌ای]] بردار ورودی و بردار پارامترهای ماست یعنی <math>y \approx \sum_{i=0}^ m \beta_i \times x_i = \vec{\beta} \,\,.\, \vec{x}</math>. حال فرض کنیم که تعداد مثال‌هایی که قرار است برای تخمین پارامترها استفاده کنیم <math>n
</math> است و این مثال‌ها را به این شکل نمایش دهیم <math>D = (\vec{x_{1}}, y_1), \cdots (\vec{x_{n}}, y_n)</math>. در چنین مدلی پارامتر بهینه آن پارامتری است که یک تابع هزینه را به حداقل برساند و تخمین‌های ما را به متغیر وابسته بسیار نزدیک کند. تابع هزینه را با جمع مربع تفاضل تخمین‌ها با متغیر وابسته تعریف می‌کنیم، به این شکل که <math>L(D, \vec{\beta}) = \sum_{i=1}^{n} (\vec{\beta} \, . \, \vec{x_{i}} - y_i)^2</math>، و با این حساب پارامتر بهینه عبارت است از:
{{وسط‌چین}}
<math>\vec{\hat{\beta}} = \underset{\vec{\beta}} \mbox{arg min}\,L(D, \vec{\beta}) = \underset{\vec{\beta}}\mbox{arg min} \sum_{i=1}^{n} (\vec{\beta} \, . \, \vec{x_{i}} - y_i)^2</math>
{{پایان وسط‌چین}}

==== کمترین مربعات ====
{{اصلی|کمترین مربعات}}
[[پرونده:Galton's correlation diagram 1875.jpg|جایگزین=تصویرگری از فرانسیس گالتون در سال ۱۸۷۵ که ارتباط بین قد فرزندان و والدین آنها را نشان می‌دهد. گالتون رابطه بیک این دو داده را با یک خط نشان داد (که با یک شیب و یک عرض از مبدأ تعریف می‌شد) و بر آن نامِ «برگشت (رگرسیون) به میانگین» نهاد. اگر چه این خط تمام داده‌ها را بر روی خود نمی‌گنجاند ولی میانگین قد فرزندان را بر حسب قد والدینی که قد یکسانی داشتند تخمین می‌زد. بیضی‌ای که در شکل دیده می‌شود سطح مقطع توزیع مشترک قد فرزندان و والدینشان را نشان می‌دهد که توسط یک توزیع طبیعی دو متغیره تخمین زده شده‌است. خطی که بر روی آن نوشته شده «locus of horizontal tangential points» قد فرزندان را از روی قد والدینشان از طریق کمترین مربعات تخمین می‌زند و خط «locus of vertical tangential points» قد والدین را از روی قد فرزندان از همین طریق (کمترین مربعات) محاسبه می‌کند.|بندانگشتی|354x354پیکسل|تصویرگری از [[فرانسیس گالتون]] در سال ۱۸۷۵ که ارتباط بین قد فرزندان و والدین آنها را نشان می‌دهد. گالتون رابطه بین این دو داده را با یک خط نشان می‌دهد (که با یک [[شیب]] و یک [[عرض از مبدأ]] تعریف می‌شد) و بر آن نامِ «برگشت (رگرسیون) به میانگین» می‌نهد. اگر چه این خط تمام داده‌ها را بر روی خود نمی‌گنجاند ولی میانگین قد فرزندان را بر حسب قد والدینی که قد یکسانی داشتند تخمین می‌زد. بیضی‌ای که در شکل دیده می‌شود سطح مقطع [[توزیع طبیعی|توزیع مشترک]] قد فرزندان و والدینشان را نشان می‌دهد که توسط یک [[توزیع طبیعی]] دو متغیره تخمین زده شده‌است. خطی که بر روی آن «locus of horizontal tangential points» نوشته شده قد فرزندان را از روی قد والدینشان از طریق [[کمترین مربعات]] تخمین می‌زند و خط «locus of vertical tangential points» بالعکس عمل می‌کند، به این معنی که قد والدین را از طریق قد فرزندانش محاسبه می‌کند.]]
در این روش برای به‌دست آوردن <math>\vec{\hat{\beta}}</math> یا همان پارامتر [[بهینه‌سازی|بهینه]]، از تابع <math>L(D, \vec{\beta})</math>نسبت به <math>\vec{\beta}</math> [[گرادیان]] می‌گیریم و این گرادیان را برابر صفر قرار می‌دهیم و پارامتر بهینه را به‌دست می‌آوریم.<ref name=":4">{{یادکرد کتاب|نشانی=https://books.google.com/books?id=MjNv6rGv8NIC&pg=PA1|عنوان=Linear Regression Analysis: Theory and Computing|نام خانوادگی=Yan|نام=Xin|تاریخ=2009|ناشر=World Scientific|شابک=9789812834119|زبان=en|پیوند بایگانی=https://web.archive.org/web/20241004183607/https://books.google.com/books?id=MjNv6rGv8NIC&pg=PA1#v=onepage&q&f=false#v=onepage&q&f=false|تاریخ بایگانی=۴ اكتبر ۲۰۲۴|access-date=۲۵ سپتامبر ۲۰۱۸|url-status=dead}}</ref> از آنجا که تابع <math>L(D, \vec{\beta})</math> نسبت به  <math>\vec{\beta}</math> تابعی کاملاً محدب است، در نقطهٔ کمینهٔ این تابع، گرادیان صفر خواهد بود و این روش پارامتر بهینه را به‌دست می‌دهد.<ref>{{یادکرد کتاب|نشانی=https://books.google.com/books?id=0g-PAuKub3QC&pg=PA19|عنوان=Methods of Multivariate Analysis|نام خانوادگی=Rencher|نام=Alvin C.|نام خانوادگی۲=Christensen|نام۲=William F.|تاریخ=2012-08-15|ناشر=John Wiley & Sons|سال=|شابک=9781118391679|مکان=|صفحات=155|زبان=English|پیوند بایگانی=https://web.archive.org/web/20241004183607/https://books.google.com/books?id=0g-PAuKub3QC&pg=PA19#v=onepage&q&f=false#v=onepage&q=least%20squares&f=false|تاریخ بایگانی=۴ اكتبر ۲۰۲۴|access-date=۲۵ سپتامبر ۲۰۱۸|url-status=dead}}</ref> برای تسهیل کار، شکل تابع را با به‌کارگیری چند [[ماتریس]] ساده می‌کنیم. دو ماتریس برای این کار نیاز داریم: ماتریس <math>X</math> و ماتریس <math>Y</math>. ماتریس <math>X</math> ماتریس ورودیهای چندمتغیرهٔ ماست. در این ماتریس هر سطر معادل یک نمونه از دادهٔ ماست، مثلاً سطر <math>i</math>ام برابر است با <math>i</math>امین نمونه ورودی ما یعنی بردار <math>\vec{x_{i}}</math>، از اینرو <math>X</math> یک ماتریس <math>n\times (m+1)</math> خواهد بود. ماتریس <math>Y</math> از طرف دیگر برابر است با مجموعه متغیرهای وابسته در دادهٔ ما. سطر <math>i</math>ام این ماتریس برابر است با متغیر وابسته برای <math>i</math>امین نمونهٔ داده ما یا همان <math>y_i</math>. ماتریس <math>Y</math> یک ماتریس <math>n\times 1</math> است. با کمک این دو ماتریس می‌توان [[تابع هزینه]] را به شکل ذیل تعریف کرد:
{{وسط‌چین}}
<math>
\begin{align}
L(D, \vec{\beta})&= ||X\vec{\beta} - Y||^2 \\ &= (X\vec{\beta} - Y)^{\top} (X\vec{\beta} - Y) \\&= Y^{\top}Y- Y^{\top}X\vec{\beta}- \vec{\beta}^{\top}X^{\top}Y+\vec{\beta}^{\top}X^{\top}X\vec{\beta}
\end{align}
</math>
{{پایان وسط‌چین}}

حال گرادیان این تابع را نسبت به <math>\vec{\beta}</math> پیدا می‌کنیم که می‌شود:
{{وسط‌چین}}
<math>
\begin{align}
\frac{\partial L(D, \vec{\beta})}{\partial \vec{\beta}} &= \frac{\partial \left(Y^{\top}Y- Y^{\top}X\vec{\beta}- \vec{\beta}^{\top}X^{\top}Y+\vec{\beta}^{\top}X^{\top}X\vec{\beta}\right)}{\partial \vec{\beta}} \\ &= -2X^{\top}Y + 2X^{\top}X\vec{\beta}
\end{align}
</math>
{{پایان وسط‌چین}}

با برابر قرار دادن گرادیان با صفر پارامتر بهینه به‌دست می‌آید:
{{وسط‌چین}}
<math>
\begin{align}
-2X^{\top}Y &+ 2X^{\top}X\vec{\beta} = 0 \\ &\Rightarrow X^{\top}Y  = X^{\top}X\vec{\beta} \\ &\Rightarrow \vec{\hat{\beta}} = (X^{\top}X)^{-1}X^{\top}Y
\end{align}
</math>
{{پایان وسط‌چین}}در روش کمترین مربعات معمولاً برای جلوگیری از از [[بیش‌برازش]] یا مقابله با مشکل عدم [[ماتریس وارون|وارونپذیری]]ِ <math>X^{\top}X</math>  از روش [[تنظیم تیخونوف]]<ref>{{Cite journal|last=Golub|first=Gene H.|last2=Hansen|first2=Per Christian.|last3=O'Leary|first3=Dianne P.|date=1999-01-01|title=Tikhonov Regularization and Total Least Squares|url=https://epubs.siam.org/doi/abs/10.1137/S0895479897326432|journal=SIAM Journal on Matrix Analysis and Applications|volume=21|issue=1|pages=185–194|doi=10.1137/S0895479897326432|issn=0895-4798|access-date=19 دسامبر 2019|archive-date=10 سپتامبر 2014|archive-url=https://web.archive.org/web/20140910000338/http://epubs.siam.org/doi/abs/10.1137/S0895479897326432}}</ref>{{یادچپ|Tikhonov regularization}}، [[حداقل مربعات جزئی|کمترین مربعات جزئی]]، یا [[رگرسیون مؤلفه‌های اصلی]]<ref>{{Cite journal|last=Jolliffe|first=Ian T.|year=1982|title=A note on the Use of Principal Components in Regression|journal=[[Journal of the Royal Statistical Society, Series C]]|volume=31|issue=3|pages=300–303|doi=10.2307/2348005|jstor=2348005}}</ref> استفاده می‌شود.

===== کمترین مربعات جزئی =====
{{اصلی|کمترین مربعات جزئی}}
[[کمترین مربعات جزئی]] یکی از روش‌های جلوگیری از از [[بیش‌برازش]] یا مقابله با مشکل عدم [[ماتریس وارون|وارونپذیری]]ِ <math>X^{\top}X</math>  است. این روش متناوباً مولفه‌هایی [[متعامدسازی گرام -اشمیت|متعامد]] (<math> Z_{i} \in \mathbb {R} ^{n} </math>  در پایین) که [[ترکیب خطی|ترکیبی خطی]] از مقادیر متغیرهای مستقل (<math> X_{j} \in \mathbb {R} ^{n} </math> در پایین) هستند تولید می‌کند و در نهایت راه حل کمترین مربعات را بر روی این بردارها اعمال می‌کند. ضرایب این مولفه‌ها با ضرب نقطه‌ایِ مقادیر متغیرهای وابسته و مستقل برابر است. مقادیر متغیرهای مستقل در ابتدای کار استاندارد شده‌اند به این معنی که [[میانگین]] صفر و [[واریانس]] یک دارند. در پایان هر مرحله مقادیر متغیرهای مستقل نسبت به مولفه آن مرحله متعامد می‌شوند. این کار باعث می‌شود که در پایان تمام مولفه‌ها نسبت به هم متعامد باشند و ضریب رگرسیون مولفه <math> {Z_{i}}  </math>  با <math> {\langle Z_{i}\,,\, {Y} \rangle}/{\langle Z_{i}\,,\, Z_{i}\rangle } </math> برابر باشد. [[الگوریتم]] تولید مولفه‌ها برای <math> k\leq m </math>  به شکل پایین است (<math> k </math>  از [[روش اعتبارسنجی متقابل]] محاسبه می‌شود):{{وسط‌چین}}
<math> {\begin{cases}\,\,{\mbox{ for }}\,\,j\,\,=\,\,1,\cdots ,m:\\\,\,\,\,\,\,\,\,\,\, {X} _{j}^{(0)}= {X} _{j}\\\,\,{\mbox{ for }}\,\,i=\,\,1,\cdots ,k:\\\,\,\,\,\,\,\,\,\,\, {Z} _{i}=\sum _{j=1}^{m}\left\langle  {X} _{j}^{(i-1)}, {Y} \right\rangle  {X} _{j}^{(i-1)}\\\,\,\,\,\,\,\,\,\,{\mbox{ for }}\,\,j\,\,=\,\,1,\cdots ,m:\\\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, {X} _{j}^{(i)}= {X} _{j}^{(i)}-{\frac {\langle  {Z} _{i}\,,\, {Y} \rangle }{\langle  {Z} _{i}\,,\, {Z} _{i}\rangle }} {Z} _{i}\\\,\,{\hat { {Y} }}={\bar { {Y} }} \mathbf{1} +\sum _{i=1}^{k}{\frac {\langle  {Z} _{i}\,,\, {Y} \rangle }{\langle  {Z} _{i}\,,\, {Z} _{i}\rangle }} {Z} _{i}\\\end{cases}} </math>
{{پایان وسط‌چین}}از آنجا که <math> {\hat {{Y}}} </math>  یا همان مقدار پیش‌بینی شده، ترکیبی خطی از <math> {Z} _{i} </math>‌ها است و خود <math> {Z} _{i} </math>‌ها هم ترکیبی خطی از مقادیر متغیرهای مستقل هستند، در نهایت مدل رگرسیون ترکیبی خطی از مقادیر متغیرهای مستقل خواهد بود.<ref name=":03">{{Cite journal|last=Hastie|first=Trevor|last2=Tibshirani|first2=Robert|last3=Friedman|first3=Jerome|date=2009|title=The Elements of Statistical Learning|url=https://link.springer.com/book/10.1007/978-0-387-84858-7|journal=Springer Series in Statistics|language=en-gb|volume=|pages=80-82|doi=10.1007/978-0-387-84858-7|issn=0172-7397|via=|access-date=30 دسامبر 2019|archive-date=27 دسامبر 2019|archive-url=https://web.archive.org/web/20191227062212/https://link.springer.com/book/10.1007/978-0-387-84858-7}}</ref>

==== گرادیان کاهشی تصادفی ====
{{اصلی|گرادیان کاهشی تصادفی}}
روش پارامتر تخمین پارامتر بهینه از طریق [[کمترین مربعات]] ممکن است چند اشکال اساسی داشته باشد. یکی آنکه محاسبهٔ<math>(X^{\top}X)^{-1}</math> ممکن است زمانبر باشد. بُعدِ ماتریس مربعی <math>X^{\top}X</math> برابر است با <math>(m+1) \times (m+1)</math> و اگر مقدار <math>m</math> زیاد باشد زمان محاسبه [[ماتریس وارون|معکوس این ماتریس]] می‌تواند مسئله ساز شود. به علاوه این ماتریس ممکن است اساساً معکوس پذیر نباشد. از این رو روش‌های کاراتر و سریعتری برای تخمین پارامتر بهینه مورد استفاده قرار می‌گیرد. یکی از این روش‌ها روش گرادیان کاهشی تصادفی است.<ref name=":3">{{Cite journal|last=Zhang|first=Tong|date=2004|title=Solving Large Scale Linear Prediction Problems Using Stochastic Gradient Descent Algorithms|url=http://doi.acm.org/10.1145/1015330.1015332|journal=Proceedings of the Twenty-first International Conference on Machine Learning|series=ICML '04|location=New York, NY, USA|publisher=ACM|pages=116–|doi=10.1145/1015330.1015332|isbn=978-1-58113-838-2|archive-url=https://web.archive.org/web/20081007221959/http://doi.acm.org/10.1145/1015330.1015332|archive-date=۷ اکتبر ۲۰۰۸|access-date=۱۷ مه ۲۰۱۹|dead-url=no}}</ref> در این روش هر بار یک مثال را به‌صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان تابع هزینه را حساب می‌کنیم و کمی در جهت خلاف گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای بیشترین کاهش موضعی در خلاف جهت گرادیان باید حرکت کرد. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. به‌جای اینکه داده‌ها را به‌صورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره <math>1</math> تا داده شماره  <math>n</math> را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را چندین بار تکرار کنیم تا گرادیان تابع به اندازهٔ کافی به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد: پارامتر <math>\vec{\beta}</math> را در ابتدا به‌صورت تصادفی مقدار دهی می‌کنیم و بعد برای داده  <math>i</math> ام و تمامی  <math>j</math>‌ها، یعنی از  <math>j=1</math> تا <math>j=m+1</math> تغییر پایین را اعمال می‌کنیم، دراینجا <math>\alpha</math> همان مقداری است که در جهت گرادیان هربار حرکت می‌کنیم و <math>
\left(y_i - \vec{x_i}.\vec{\beta}\right)\vec{x_{i,j}}</math> مشتق جزئی داده  <math>i</math> ام در بُعد <math>j</math> ام است:<ref name=":3"/>
{{وسط‌چین}}
<math>
 \begin{cases}\mbox{Initialize}\,\,\vec{\beta^{\,old}}\,\, \mbox{randomly}\\\mbox{loop until convergence :}\\ \,\,\mbox{for}\,\,\,\,i=0\,\,\,\,\mbox{to}\,\,\,\,n :\\\,\,\,\,\,\,\mbox{for}\,\,\,\,j=0\,\,\,\,\mbox{to}\,\,\,\,m: \\ \,\,\,\,\,\,\,\,\,\,\,\,\vec{\beta^{\,new}_j} = \vec{\beta^{\,old}_j} + \alpha \left(y_i - \vec{\beta^{\,old}}\, . \,\vec{x_i}\right)\vec{x_{i,j}}\\\,\,\,\,\,\,\beta^{\,old}= \beta^{\,new}\end{cases}
 </math>
{{پایان وسط‌چین}}

==== برآورد درست‌نمایی بیشینه ====
{{اصلی|برآورد درست‌نمایی بیشینه}}
همچنان که پیشتر گفته شد، برای به‌دست آوردن پارامتر بهینه <math>\vec{\hat{\beta}}</math> می‌بایست تابع هزینه یعنی <math>L(D, \vec{\beta})</math> را به حداقل برسانیم. می‌توان به همین پارامتر بهینه از روش برآورد درست‌نمایی بیشینه هم رسید. فرض می‌کنیم که متغیر وابسته یعنی <math>y</math> یک [[متغیر تصادفی]] است که مقدارش از یک [[توزیع طبیعی]] ([[توزیع گاوسی]]) پیروی می‌کند. این توزیع احتمال، واریانس ثابتی به اسم <math>\sigma</math> دارد ولی میانگین آن ترکیبی خطی از متغیرهای مستقل یعنی <math>\vec{x} = [1, x_1, x_2, \dots, x_m]</math> است. به عبارت دیگر میانگین آن برابر است با <math>\vec{\beta} \, . \, \vec{x}</math>. با احتساب میانگین و واریانس، توزیع متغیر وابسته عبارت است از <math>y\sim N(\vec{\beta} \, . \, \vec{x}, \sigma)</math>. حال اگر فرض کنیم داده‌ها نسبت به یکدیگر مستقل هستند آن گاه [[تابع درست‌نمایی]] برای تمام داده‌ها می‌شود:<ref name=":2">[https://doc.lagout.org/science/Artificial%20Intelligence/Machine%20learning/Machine%20Learning_%20A%20Probabilistic%20Perspective%20%5BMurphy%202012-08-24%5D.pdf Machine learning: a probabilistic perspective] {{Webarchive|url=https://web.archive.org/web/20181104172909/https://doc.lagout.org/science/Artificial%20Intelligence/Machine%20learning/Machine%20Learning_%20A%20Probabilistic%20Perspective%20%5BMurphy%202012-08-24%5D.pdf |date=۴ نوامبر ۲۰۱۸}}, Kevin P Murphy, 2012, p. 225, Cambridge, MA</ref>
{{وسط‌چین}}
<math>
\begin{align}
H(D, \vec{\beta}) &= \prod_{i=1}^{n}Pr(y_i|\vec{x_i}\,\,;\vec{\beta}, \sigma) \\ &= \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{\left(y_i - \vec{\beta} \, . \, \vec{x_i} \right)^2}{2\sigma^2}\right)
\end{align}
</math>
{{پایان وسط‌چین}}

حال باید به دنبال پارامتری باشیم که این تابع [[بزرگنمایی]] را بیشینه کند. از آنجا که تابع [[لگاریتم]] مطلقاً صعودیست، به‌جای بیشینه کردن این تابع لگاریتمش را هم می‌شود بیشینه کرد و پارامتر بهینه را از آن طریق پیدا کرد:
{{وسط‌چین}}
<math>
\begin{align}
I(D, \vec{\beta}) &= \log\prod_{i=1}^{n}Pr(y_i|\vec{x_i}\,\,;\vec{\beta}, \sigma) \\ &= \log\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{\left(y_i - \vec{\beta} \, . \, \vec{x_i} \right)^2}{2\sigma^2}\right) \\ &= n\log\frac{1}{\sqrt{2\pi}\sigma} - \frac{1}{2\sigma^2}\sum_{i=1}^n \left(y_i - \vec{\beta} \, . \, \vec{x_i} \right)^2
\end{align}
</math>
{{پایان وسط‌چین}}

پارامتر بهینه از این طریق برابر است با:
{{وسط‌چین}}
<math>
\begin{align}
\underset{\vec{\beta}}\mbox{arg max}\, I(D, \vec{\beta}) &= \underset{\vec{\beta}}\mbox{arg max} \left(n\log\frac{1}{\sqrt{2\pi}\sigma} - \frac{1}{2\sigma^2}\sum_{i=1}^n \left(y_i - \vec{\beta} \, . \, \vec{x_i} \right)^2\right) \\ &= \underset{\vec{\beta}}\mbox{arg min} \sum_{i=1}^n \left(y_i - \vec{\beta} \, . \, \vec{x_i} \right)^2 \\ &= \underset{\vec{\beta}}\mbox{arg min} \,L(D, \vec{\beta}) \\ &= \vec{\hat{\beta}}
\end{align}
</math>
{{پایان وسط‌چین}}

به این ترتیب پارامتری که <math>I(D, \vec{\beta})</math> را بیشینه می‌کند همان پارامتری است که <math>L(D, \vec{\beta})</math> را به حداقل می‌رساند. این یعنی در رگرسیون خطی نتیجهٔ روش کمترین مربعات با روش برآورد درست‌نمایی بیشینه یکی است.<ref>[https://doc.lagout.org/science/Artificial%20Intelligence/Machine%20learning/Machine%20Learning_%20A%20Probabilistic%20Perspective%20%5BMurphy%202012-08-24%5D.pdf Machine learning: a probabilistic perspective] {{Webarchive|url=https://web.archive.org/web/20181104172909/https://doc.lagout.org/science/Artificial%20Intelligence/Machine%20learning/Machine%20Learning_%20A%20Probabilistic%20Perspective%20%5BMurphy%202012-08-24%5D.pdf |date=۴ نوامبر ۲۰۱۸}}, Kevin P Murphy, 2012, p. 217, Cambridge, MA</ref>

=== تنظیم مدل ===
پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر [[بیش‌برازش]]{{یادچپ|overfitting}} برای مدل بیشتر است.<ref>{{Cite journal|last=Bühlmann|first=Peter|last2=van de Geer|first2=Sara|date=2011|title=Statistics for High-Dimensional Data|url=https://link.springer.com/book/10.1007/978-3-642-20192-9|journal=Springer Series in Statistics|language=en-gb|doi=10.1007/978-3-642-20192-9|issn=0172-7397|archive-url=https://web.archive.org/web/20190221163928/https://link.springer.com/book/10.1007/978-3-642-20192-9|archive-date=۲۱ فوریه ۲۰۱۹|access-date=۵ اکتبر ۲۰۱۸|dead-url=no}}</ref> پدیدهٔ بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در داده، خود داده را به خاطر می‌سپارد. در این حالت، مدل برای آن مجموعه دادهٔ به‌خصوص خوب عمل می‌کند اما برای داده‌های مشابه دیگر عملکرد خوبی ندارد، که یعنی عمل یادگیری به خوبی انجام نشده‌است. برای جلوگیری از [[بیش‌برازش]] در مدل‌های خطی مانند رگرسیون خطی یا [[رگرسیون لجستیک]]، یک «جریمه»{{یادچپ|penalty}} به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار [[تنظیم (آمار)|تنظیم مدل]] گفته می‌شود. دو راه متداول تنظیم مدل‌های خطی روش‌های <math>L_1</math> و <math>L_2</math> هستند.<ref name=":0">{{یادکرد کتاب|نشانی=https://link.springer.com/chapter/10.1007/978-3-642-20192-9_8|عنوان=Theory for ℓ1/ℓ2-penalty procedures|نام خانوادگی=Bühlmann|نام=Peter|نام خانوادگی۲=van de Geer|نام۲=Sara|تاریخ=2011|ناشر=Springer Berlin Heidelberg|شابک=9783642201912|مکان=Berlin, Heidelberg|صفحات=249–291|زبان=en|doi=10.1007/978-3-642-20192-9_8|پیوند بایگانی=https://web.archive.org/web/20181005111928/https://link.springer.com/chapter/10.1007/978-3-642-20192-9_8|تاریخ بایگانی=۵ اکتبر ۲۰۱۸|access-date=۵ اکتبر ۲۰۱۸|url-status=live}}</ref> در روش <math>L_1</math> ضریبی از [[نرم (ریاضیات)|نُرمِ]] <math>L_1</math> به تابع هزینه اضافه می‌شود و در روش <math>L_2</math> ضریبی از نُرمِ <math>L_2</math> که همان نُرمِ اقلیدسی است به تابع هزینهٔ اضافه می‌شود. نام روش‌های <math>L_1</math> و <math>L_2</math>  از [[نرم (ریاضیات)|نُرمی]] که در این روش‌ها به تابع هزینه اضافه می‌شود گرفته شده‌است.<ref name="bishop2006"/>

در تنظیم مدل به روش  <math>L_1</math> تابع هزینه را به این شکل تغییر می‌دهیم:<ref name=":0"/>
{{وسط‌چین}}
<math>
\begin{align}
L_r(D, \vec{\beta}) &= L(D, \vec{\beta}) + \lambda ||\vec{\beta}||_1 \\ &= \sum_{i=1}^{n} (\vec{\beta} \, . \, \vec{x_{i}} - y_i)^2 + \lambda\sum_{k=0}^m |\beta_k|
\end{align}
</math>{{پایان وسط‌چین}}

این روش تنظیم مدل که به روش [[لسو|لَسو]]{{یاد|LASSO مخفف least absolute shrinkage and selection operator}} نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت{{یادچپ|sparse}} شود.<ref>{{Cite journal|last=Natarajan|first=B. K.|date=1995|title=Sparse Approximate Solutions to Linear Systems|url=https://epubs.siam.org/doi/10.1137/S0097539792240406|journal=SIAM Journal on Computing|language=en-US|volume=24|issue=2|pages=227–234|doi=10.1137/s0097539792240406|issn=0097-5397|via=|archive-url=https://www.webcitation.org/78blXpsGg?url=https://epubs.siam.org/doi/10.1137/S0097539792240406|archive-date=24 مه 2019|access-date=5 اکتبر 2018}}</ref>

در تنظیم مدل به روش <math>L_2</math> که به [[تنظیم تیخونوف|رگرسیون ستیغی]]{{یادچپ|ridge regression}} نیز شهرت دارد تابع هزینه را به این شکل تغییر می‌دهیم:<ref name=":0"/>
{{وسط‌چین}}
<math>
\begin{align}
L_r(D, \vec{\beta}) &= L(D, \vec{\beta}) + \lambda ||\vec{\beta}||^2_2\\ &= \sum_{i=1}^{n} (\vec{\beta} \, . \, \vec{x_{i}} - y_i)^2 + \lambda\sum_{k=0}^m \beta_k^2
\end{align}
</math>{{پایان وسط‌چین}}

در روش تنظیم از طریق <math>L_2</math> سعی می‌شود طول اقلیدسی بردار <math> \vec{\beta}</math> کوتاه نگه داشته شود. <math>\lambda</math> در هر دو روش <math>L_1</math> و <math>L_2</math> یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر <math>\lambda</math>کوچکتر باشد جریمهٔ کمتری برای بزرگی [[نرم (ریاضیات)|نرم]] بردار پارامترها یعنی <math>\vec{\beta}</math> محاسبه می‌شود. مقدار بهینهٔ <math>\lambda</math> از طریق آزمایش بر روی بخشی از داده‌ها پیدا می‌شود که در یادگیری مدل دخالت داده نشده‌اند؛ به این بخش از داده‌ها، دادهٔ اعتبار{{یادچپ|validation data}} یا مجموعهٔ اعتبارسنجی{{یادچپ|validation set}} گفته می‌شود.<ref name=":2"/>

با استفاده از [[ضرایب لاگرانژ]] می‌توان اثبات کرد که تنظیم مدل <math>L_1</math> و <math>L_2</math> نوعی [[بهینه‌سازی]] مقید هستند. در تنظیم مدل <math>L_1</math> تابع هزینه به نحوی کمینه می‌شود که نرمِ <math>L_1</math> از یک مقدار مشخصی که بستگی به <math>\lambda</math> دارد بیشتر نشود. به همین نحو، تنظیم مدل <math>L_2</math> تابع هزینه را همزمان با مقید کردن نرم <math>L_2</math> کاهش می‌دهد.<ref name="bishop2006">{{citation|first=C. M.|last=Bishop|year=2006|title=Pattern Recognition and Machine Learning|publisher=Springer|isbn=978-0-387-31073-2|page=146}}</ref>
[[پرونده:Regularization.jpg|بندانگشتی|446x446پیکسل|کانتورهای قرمز تابع هزینه را نمایش می‌دهند و اشکال آبی مقید سازی نرم پارامتر را. شکل سمت چپ مربوط به <math>L_1</math> است که پارامتر <math>\beta</math> با نابرابری <math>|\beta_1| + |\beta_2| \leq t</math> مقید شده‌است و شکل سمت راست مربوط به <math>L_2</math> است که پارامتر آن با نابرابری <math>\beta_1^2 + \beta_2^2 \leq t^2</math>  مقید شده‌است.<ref name="bishop2006"/>]]

==== تفسیر احتمالی تنظیم مدل ====
اگر به جای روش برآورد درست‌نمایی بیشینه از روش بیشینه‌سازی [[احتمال پسین]] استفاده شود ساختار «تنظیم مدل» به دست می‌آید.<ref>{{یادکرد کتاب|نشانی=https://books.google.com/books?id=kOXDtAEACAAJ&dq=pattern+recognition+and+machine+learning&hl=en&sa=X&ved=0ahUKEwiNrZ7O1tveAhWtmeAKHRTvAeAQ6AEIKjAA|عنوان=Pattern Recognition and Machine Learning|نام خانوادگی=Bishop|نام=Christopher M|تاریخ=2016-08-23|ناشر=Springer New York|سال=2016|شابک=9781493938438|مکان=New York|صفحات=30|زبان=English|پیوند بایگانی=https://web.archive.org/web/20220407034521/https://books.google.com/books?id=kOXDtAEACAAJ&dq=pattern+recognition+and+machine+learning&hl=en&sa=X&ved=0ahUKEwiNrZ7O1tveAhWtmeAKHRTvAeAQ6AEIKjAA|تاریخ بایگانی=۷ آوریل ۲۰۲۲|access-date=۱۷ نوامبر ۲۰۱۸|url-status=dead}}</ref> اگر مجموعهٔ داده را با <math>D</math> و پارامتری که به دنبال تخمین آن هستیم را با <math>\vec{\beta}</math> نمایش بدهیم، طبق [[قانون بیز]] احتمال پسین یعنی <math>Pr\left(\vec{\beta}\,|\,D\right)</math>متناسب خواهد بود با حاصلضرب درست‌نمایی یعنی <math>Pr\left(D\,|\,\vec{\beta}\right)</math> و احتمال پیشین یعنی <math>Pr\left(\vec{\beta}\right)</math>:<ref name=":1">{{Cite journal|last=Robert|first=Christian|date=2014-04-03|title=Machine Learning, a Probabilistic Perspective|url=https://www.tandfonline.com/doi/full/10.1080/09332480.2014.914768|journal=CHANCE|language=en|volume=27|issue=2|pages=62–63|doi=10.1080/09332480.2014.914768|issn=0933-2480|archive-url=https://web.archive.org/web/20190408070908/https://www.tandfonline.com/doi/full/10.1080/09332480.2014.914768|archive-date=۸ آوریل ۲۰۱۹|access-date=۱۵ نوامبر ۲۰۱۸|dead-url=no}}</ref>
{{وسط‌چین}}
<math>
Pr\left(\vec{\beta}\,|\,D\right) = \frac{Pr\left(D\,|\,\vec{\beta}\right)\times Pr\left(\vec{\beta}\right)}{Pr\left(D\right)}
</math>
{{پایان وسط‌چین}}

از این رو:
{{وسط‌چین}}
<math>
\begin{align}
\underset{\vec{\beta}}\mbox{arg max} \,Pr\left(\vec{\beta}\,|\,D\right) &= \underset{\vec{\beta}}\mbox{arg max} \,\frac{Pr\left(D\,|\,\vec{\beta}\right)\times Pr\left(\vec{\beta}\right)}{Pr\left(D\right)} \\ &=
\underset{\vec{\beta}}\mbox{arg max} \,Pr\left(D\,|\,\vec{\beta}\right)\times Pr\left(\vec{\beta}\right)
\end{align}</math>
{{پایان وسط‌چین}}

معادلهٔ خط پیشین نشان می‌دهد که برای یافتن پارامتر بهینه فقط کافیست که احتمال پیشین را نیز در معادله دخیل کنیم. اگر احتمال پیشین را یک توزیع گاوسی با میانگین صفر و [[کوواریانس]] <math>\tau^2I</math>در نظر بگیریم به معادلهٔ پایین می‌رسیم:<ref name=":1"/>
{{وسط‌چین}}
<math>
\begin{align}
\underset{\vec{\beta}}\mbox{arg max} \,\, \log Pr\left(D\,|\,\vec{\beta}\right) &=
\underset{\vec{\beta}}\mbox{arg max} \,\,
\log \prod_{i=1}^{n}Pr(y_i|\vec{x_i}\,\,;\vec{\beta}, \sigma) Pr\left(\vec{\beta}\right) \\ &=
\underset{\vec{\beta}}\mbox{arg max} \,\,
\log \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{\left(y_i - \vec{\beta} \, . \, \vec{x_i} \right)^2}{2\sigma^2}\right)
\frac{1}{\sqrt{2\pi}\tau}\exp\left(-\frac{||\vec{\beta}||^2}{2\tau^2}\right)
\end{align}
</math>
{{پایان وسط‌چین}}

با ساده کردن این معادله به جواب زیر می‌رسیم که در آن <math>\lambda</math> برابر است با <math>\frac{\sigma^2}{\tau^2}</math>:
{{وسط‌چین}}
<math>
\begin{align}
\underset{\vec{\beta}}\mbox{arg max} \,\, Pr\left(D\,|\,\vec{\beta}\right) &=
\underset{\vec{\beta}}\mbox{arg max}
\left(n\log\frac{1}{\sqrt{2\pi}\sigma} - \frac{1}{2\sigma^2}\sum_{i=1}^n \left(y_i - \vec{\beta} \, . \, \vec{x_i} \right)^2
+ \log\frac{1}{\sqrt{2\pi}\tau}
- \frac{1}{2\tau^2} ||\vec{\beta}||^2\right)
\\ &= \underset{\vec{\beta}}\mbox{arg min} \left(\sum_{i=1}^n \left(y_i - \vec{\beta} \, . \, \vec{x_i} \right)^2 + \lambda ||\vec{\beta}||^2\right)
\end{align}
</math>
{{پایان وسط‌چین}}

این جواب برابر با نتیجهٔ تنظیم مدل با نرم <math>L_2</math>است.

به‌طور مشابه، اگر احتمال پیشین را از نوع [[توزیع لاپلاس]] با میانگین صفر در نظر بگیریم به تنظیم مدل با نرم <math>L_1</math> خواهیم رسید.<ref name=":1"/>

=== انتخاب متغیر ===
معمولاً تعدادِ زیادِ متغیرهای مستقل، تعبیرپذیری مدلِ نهائی را دچار مشکل می‌کند. مضاف بر این بعضی از متغیرهای مستقل ممکن است باعث کاهش دقت مدل شوند. به همین دلیل حذف این متغیرها و استفاده از تنها یک زیرمجموعه بهینه از متغیرهای مستقل می‌تواند مدلی با کارایی بالاتری تولید کند.<ref name=":03"/> روشهای مختلفی برای انتخاب متغیرها وجود دارد. یکی از ساده‌ترین راه‌ها محاسبه تابع هزینه به ازای تمام زیرمجموعه‌های ممکن و انتخاب زیرمجموعه بهینه با کمترین میزان هزینه است. در این روش مسئله رگرسیون خطی باید به ازای تمامی زیرمجموعه‌ها، یعنی <math>2^{m}</math>  بار، حل شود. از این‌رو این روش معمولاً برای مسائلی که داده‌های زیادی دارند یا تعداد متغیرهای مستقل آن بزرگ است (معمولاً <math>m \geq 40</math>) راه حل مناسبی نیست. روشهای پیش‌رو و پس‌رو که متناوباً متغیرهای مستقل را انتخاب یا حذف می‌کنند یا روشهای کوچک سازی که از طریق اعمال محدودیت بر روی پارامترها میزان اثرگذاری آنها را در مدل نهائی مهار می‌کنند، راه‌های بهتری برای انتخاب متغیر هستند.<ref name=":03"/>

در روش پیش‌رو، ابتدا [[عرض از مبدأ]] از طریق محاسبه [[میانگین]] مقادیر [[متغیر وابسته و مستقل|متغیر وابسته]] به‌دست می‌آید، سپس به تناوب در هر مرحله متغیری که باعث بیشترین کاهش [[تابع هزینه]] می‌شود به مدل افزوده می‌شود. به زبان دقیق‌تر در مرحله <math>k</math>، یک متغیر از [[متغیرهای مستقل]] که تا به حال انتخاب نشده به <math>k-1</math>  متغیر منتخب اضافه می‌شود. در نهایت بهترین زیرمجموعه از میانِ <math>m</math>  زیرمجموعه‌ای که متناوباً ساخته شده با استفاده از [[روش اعتبارسنجی متقابل|اعتبارسنجی متقابل]] محاسبه می‌شود.<ref name=":033">{{Cite journal|last=Hastie|first=Trevor|last2=Tibshirani|first2=Robert|last3=Friedman|first3=Jerome|date=2009|title=The Elements of Statistical Learning|url=https://link.springer.com/book/10.1007/978-0-387-84858-7|journal=Springer Series in Statistics|language=en-gb|volume=|pages=58|doi=10.1007/978-0-387-84858-7|issn=0172-7397|via=|access-date=30 دسامبر 2019|archive-date=27 دسامبر 2019|archive-url=https://web.archive.org/web/20191227062212/https://link.springer.com/book/10.1007/978-0-387-84858-7}}</ref> برای تسریع انتخاب متغیر مستقل بهینه در هر مرحله می‌توان از [[تجزیه کیوآر]] استفاده کرد.<ref name=":033"/> روش پس‌رو مانند روش پیش‌رو عمل می‌کند با این تفاوت که در ابتدا تمام متغیرهای مستقل مورد استفاده قرار می‌گیرند و در هر مرحله یک متغیر مستقل حذف می‌شود. بهترین متغیر برای حذف در هر مرحله متغیری است که کمترین [[معیار نمره طبیعی|امتیاز طبیعی]] را داشته باشد.<ref name=":033"/>

در روشهای کوچک سازی که همان روشهای [[تنظیم مدل]] است، سعی بر این است که برای جلوگیری از [[بیش‌برازش]]، میزان اثرگذاری پارامترها مهار شود. به همین منظور مسئله [[بهینه‌سازی]] به یک بهینه‌سازی مقید تغییر داده می‌شود تا نُرمِ <math>L_1</math> یا <math>L_2</math> از یک مقدار معینی زیادتر نشود. در روش کوچک سازی <math>L_1</math> [[مسئله بهینه‌سازی]] به عبارت پایین تغییر شکل می‌دهد که معادل تنظیم مدل [[لسو]] است. این روش باعث می‌شود که مدل نهائی به اصطلاح خلوت شود و ضریب بسیاری از متغیرها صفر گردد.<ref name=":035">{{Cite journal|last=Hastie|first=Trevor|last2=Tibshirani|first2=Robert|last3=Friedman|first3=Jerome|date=2009|title=The Elements of Statistical Learning|url=https://link.springer.com/book/10.1007/978-0-387-84858-7|journal=Springer Series in Statistics|language=en-gb|volume=|pages=68-69|doi=10.1007/978-0-387-84858-7|issn=0172-7397|via=|access-date=30 دسامبر 2019|archive-date=27 دسامبر 2019|archive-url=https://web.archive.org/web/20191227062212/https://link.springer.com/book/10.1007/978-0-387-84858-7}}</ref>{{وسط‌چین}}<math>
\min_{ \beta} L(D, \vec{\beta}) \text{ subject to } \| \beta \|_1 \leq t
</math>{{پایان وسط‌چین}}به صورت مشابه در روش کوچک سازی <math>L_2</math>، مسئله بهینه‌سازی با معادله پایین برابر خواهد بود که معادل [[تنظیم تیخونوف|رگرسیون ستیغی]] است. این روش باعث می‌شود که ضرایب رگرسیون زیاد بزرگ نشوند.<ref name=":034">{{Cite journal|last=Hastie|first=Trevor|last2=Tibshirani|first2=Robert|last3=Friedman|first3=Jerome|date=2009|title=The Elements of Statistical Learning|url=https://link.springer.com/book/10.1007/978-0-387-84858-7|journal=Springer Series in Statistics|language=en-gb|volume=|pages=61-64|doi=10.1007/978-0-387-84858-7|issn=0172-7397|via=|access-date=30 دسامبر 2019|archive-date=27 دسامبر 2019|archive-url=https://web.archive.org/web/20191227062212/https://link.springer.com/book/10.1007/978-0-387-84858-7}}</ref>{{وسط‌چین}}<math>
\min_{ \beta} L(D, \vec{\beta}) \text{ subject to } \| \beta \|^2 \leq t
</math>{{پایان وسط‌چین}}

== تعمیم ==
=== رگرسیون چندک و میانه ===
{{اصلی|رگرسیون چندک}}
رگرسیونهای خطی که بر [[کمترین مربعات]] استوارند، معمولاً سعی دارند که میانگین متغیر وابسته را بر اساس توزیع شرطی این متغیر و با کمک ترکیبی خطی از متغیرهای مستقل تخمین بزنند. در مقایسه، [[رگرسیون چندک]]{{یادچپ |quantile regression}} هدف را بر محاسبه یک یا چند [[چندک]]ِ متغیر وابسته می‌گذارد.<ref name="Koenker20052">{{cite book|last=Koenker|first=Roger|year=2005|title=Quantile Regression|url=https://archive.org/details/quantileregressi0000koen|publisher=Cambridge University Press|isbn=978-0-521-60827-5|ref=harv}}</ref> [[رگرسیون چندک]] معمولاً با [[داده پرت|داده‌های پرت]] بهتر از رگرسیون معمولی کار می‌کند و پیش‌فرضهای کمتری دارد من‌جمله اینکه توزیع شرطی متغیر وابسته ضرورتاً لازم نیست توزیعی طبیعی باشد. همچنین رگرسیون چندک در مسائلی به کار می‌رود که هدف به‌دست آوردن توزیع مشروط متغیر وابسته باشد نه فقط یک آماره از آن مانند میانگین؛ چه که با استفاده از چندک‌های یک توزیع می‌توان کل توزیع را تقریب زد.<ref name="Koenker20052"/> اگر  <math>F_{Y}(y)=P(Y\leq y)</math> [[تابع توزیع تجمعی|تابع توزیع تجمعیِ]] متغیر  <math>Y</math> باشد، و <math>\tau</math> عددی در  <math>(0,1)</math> باشد، آنگاه چندک مرتبط با این عدد به این شکل تعریف می‌شود:<ref name="Koenker20052"/> {{وسط‌چین}}
<math>Q_{Y}(\tau)=F_{Y}^{-1}(\tau)=\inf\left\{ y:F_{Y}(y)\geq\tau\right\}</math>
{{پایان وسط‌چین}}
می‌توان نشان‌داد که:
{{وسط‌چین}}
<math>Q_{Y}(\tau) = \underset{u}{\min}\,E(\rho_{\tau}(Y-u))=\underset{u}{\min}\,\left\{(\tau-1)\int_{-\infty}^{u}(y-u)dF_{Y}(y)+\tau\int_{u}^{\infty}(y-u)dF_{Y}(y)\right\}</math>
{{پایان وسط‌چین}}
که در اینجا <math>\rho_{\tau}(y)=y(\tau-\mathbb{I}_{(y<0)})</math>است. حال اگر [[تابع توزیع تجمعی]] را نداشته باشیم و فقط  <math>n</math> نمونه از توزیع متغیر داشته باشیم آنگاه چندک متغیر را با بهینه‌سازی پایین می‌توان به‌دست‌آورد.<ref name="Koenker20052"/>{{وسط‌چین}}
<math>\hat{Q}_{Y}(\tau)=\underset{u\in \mathbb{R}}{\mbox{arg min}}\sum_{i=1}^{n}\rho_{\tau}\left(y_{i}-u\right)=\underset{u\in \mathbb{R}}{\mbox{arg min}}  \left[(\tau - 1)\sum_{y_{i}<u}(y_{i}-u)+\tau\sum_{y_{i}\geq u}(y_{i}-u) \right]</math>
{{پایان وسط‌چین}}
حال اگر چندکِ متغیر وابسته را با ترکیبی خطی از متغیرهای مستقل تخمین بزنیم آنگاه هدف مسئله رگرسیون خطی پیدا کردن ضرایبی خواهد بود که داده‌های وابسته را به چندکشان نزدیک کند:
{{وسط‌چین}}
<math>\vec{\hat{\beta}}_\tau=\underset{\vec{\beta}}{\mbox{arg min}}\sum_{i=1}^{n}\rho_{\tau}\left(y_{i}-\vec{\beta} \, . \, \vec{x}_i\right)</math>
{{پایان وسط‌چین}}
این مسئله [[بهینه‌سازی]] با کمک [[برنامه‌ریزی خطی]] حل می‌شود.

اگر  <math>\tau</math>با <math>0.5</math> برابر باشد، رگرسیون خطی، [[میانه (آمار)|میانه]] را تخمین خواهد زد و تابع هزینه به مجموع [[قدر مطلق (ریاضی)|قدر مطلق]] تفاضل پیش‌بینی و داده وابسته تغییر شکل می‌یابد:{{وسط‌چین}}
<math>\vec{\hat{\beta}}_{0.5}=\underset{\vec{\beta}}{\mbox{arg min}}\sum_{i=1}^{n}\rho_{0.5}\left(y_{i}-\vec{\beta} \, . \, \vec{x}_i\right) = \underset{\vec{\beta}}{\mbox{arg min}}\sum_{i=1}^{n}\left|y_{i}-\vec{\beta} \, . \, \vec{x}_i\right|</math>
{{پایان وسط‌چین}}[[رگرسیون چندک]] در علوم [[بوم‌شناسی]] کاربرد فراوانی دارد.<ref name=":8">{{cite journal|last=Cade|first=Brian S.|last2=Noon|first2=Barry R.|year=2003|title=A gentle introduction to quantile regression for ecologists|url=http://www.econ.uiuc.edu/~roger/research/rq/QReco.pdf|journal=Frontiers in Ecology and the Environment|volume=1|issue=8|pages=412–420|doi=10.2307/3868138|jstor=3868138|access-date=۱۷ اوت ۲۰۱۹|archive-url=https://web.archive.org/web/20190107205535/http://www.econ.uiuc.edu/~roger/research/rq/QReco.pdf|archive-date=۷ ژانویه ۲۰۱۹|dead-url=no}}</ref> معمولاً به علت پیچیدگی و تعداد زیاد عوامل اثرگذار در یک رویداد طبیعی، توزیع‌های شرطی متغیرهای وابسته اغلب واریانس بالا و غیر همسانی دارند که باعث می‌شود رابطه بین متغیرهای مستقل و میانگین توزیع شرطی ضعیف شود؛ تقریب کل توزیع شرطی با استفاده از تخمین خطی چندک‌های توزیع شرطی حاوی اطلاعات بیشتری برای پژوهشگران این رشته‌است و این تقریب از طریق [[رگرسیون چندک]] به دست می‌آید.<ref name=":8"/> [[File:Larsdiabetes.png|پیوند=https://en.wikipedia.org/wiki/File:Larsdiabetes.png|بندانگشتی|نحوه تخمین افزایشی ضرایب در رگرسیون کمترین زاویه ([[رگرسیون لارس|لارس]])، در این شکل [[رگرسیون لارس|لارس]] ۱۱ ضریب برای مدل رگرسیون تولید می‌کند که با ۱۱ رنگ در شکل نشان داده شده‌اند. محور افقی مجموع نرمالیزه شده ضرایب را در ۱۱ مرحله نشان می‌دهد به این معنی که در هر مرحله مجموع ضرایب آن مرحله تقسیم بر مجموع ضرایب مرحله آخر می‌شود. محور عمودی اندازه ضرایب را در هر مرحله نشان می‌دهد. هر خطی سیاه عمودی نشان‌دهنده اضافه شدن یک ضریب جدید به مدل است. همان‌طور شکل نشان می‌دهد هر ضریب بعد از انتخاب شدن مرتباً تغییر خواهد کرد و این تغییر در راستای جهتی است که کمترین مربعات با متغیرهای مستقل اضافه شده ساخته‌است.<ref name=":10"/> |جایگزین=|340x340پیکسل]]

=== رگرسیون کمترین زاویه (لارس) ===
{{اصلی|رگرسیون لارس}}
در رگرسیون کمترین زاویه که به آن [[رگرسیون لارس]]{{یادچپ|least-angle regression (LARS)}} هم گفته می‌شود، ضرایب رگرسیون در یک فرایند افزایشی به شکل زیر تخمین زده می‌شوند:<ref>{{cite journal|author=Efron, Bradley|first=|author2=Hastie, Trevor|author3=Johnstone, Iain|author4=Tibshirani, Robert|date=|year=2004|title=Least Angle Regression|url=http://statweb.stanford.edu/~tibs/ftp/lars.pdf|journal=Annals of Statistics|volume=32|issue=2|pages=''pp.'' 407&ndash;499|arxiv=math/0406456|doi=10.1214/009053604000000067|mr=2060166|via=|access-date=۴ اوت ۲۰۱۹|archive-url=https://web.archive.org/web/20180619033259/http://statweb.stanford.edu/~tibs/ftp/lars.pdf|archive-date=۱۹ ژوئن ۲۰۱۸|dead-url=no}}</ref>
* در ابتدا تمام ضرایب <math>\beta_i</math> با عدد صفر مقداردهی می‌شوند.
* متغیر مستقل <math>x_j</math> که بیشترین ضریب همبستگی را با متغیر وابسته <math>y</math> دارد انتخاب می‌شود.
* <math>\beta_j</math> در جهت علامت ضریب همبستگی افزایش می‌یابد تا جایی که همبستگی متغیر دیگری مانند <math>x_k</math> با مانده <math>r = y - \hat{y}</math> از همبستگی <math>x_j</math> با مانده فزونی بیابد.
* حال (<math>\beta_j</math>, <math>\beta_k</math>) در جهت بردار بهینه‌ای که از کمترین مربعاتِ (<math>x_j</math>, <math>x_k</math>) به‌دست آمده افزایش داده می‌شود و همزمان مانده‌ها نیز محاسبه می‌شوند. متغیر دیگری پیدا می‌شود که همبستگی بیشتری با مانده متغیرهایی که تا به حال انتخاب شده‌اند داشته باشد، و به جمع متغیرهایی انتخاب شده اضافه می‌شود و این روند تا انتخاب تمام متغیرها ادامه خواهد یافت.

[[رگرسیون لارس]] مانند [[لسو|رگرسیون لَسو]] باعث می‌شوند مدل نهائی خلوت شود و بسیاری از ضرایبِ مدل صفر شود. این مدل برای داده‌هایی بُعد بالا مورد استفاده قرار می‌گیرد.<ref name=":10">{{Cite journal|last=Fraley|first=Chris|last2=Meier|first2=Lukas|last3=Choi|first3=Nam Hee|last4=Hesterberg|first4=Tim|date=2008|title=Least angle and ℓ1 penalized regression: A review|url=https://projecteuclid.org/euclid.ssu/1211317636|journal=Statistics Surveys|language=EN|volume=2|pages=61–93|doi=10.1214/08-SS035|issn=1935-7516|access-date=۱۷ اوت ۲۰۱۹|archive-url=https://web.archive.org/web/20190329004239/https://projecteuclid.org/euclid.ssu/1211317636|archive-date=۲۹ مارس ۲۰۱۹|dead-url=no}}</ref>

=== رگرسیون خطی با وزنهای موضعی ===
رگرسیون خطی با وزنهای موضعی{{یادچپ|locally weighted linear regression}} همانند کمترین مربعات کار می‌کند با این تفاوت که مسئله پیش‌بینی برای هر کدام از داده‌های جدید متفاوت خواهد بود. در رگرسیون خطی معمولی یک بار مدل تخمین زده می‌شود و بعد برای پیش‌بینی داده‌های جدید از آن استفاده می‌شود. در مدل رگرسیون خطی با وزنهای موضعی اما برای هر داده جدید یک تخمین جدید رخ خواهد داد به گونه‌ای که داده‌های آموزشیِ نزدیکتر به داده جدید وزن بالاتری در مسئله بهینه‌سازی بگیرند و رگرسیون خطی به صورت موضعی انجام شود:<ref name=":11">{{Cite journal|last=Cleveland|first=William S.|last2=Devlin|first2=Susan J.|date=1988-09-01|title=Locally Weighted Regression: An Approach to Regression Analysis by Local Fitting|url=https://www.tandfonline.com/doi/abs/10.1080/01621459.1988.10478639|journal=Journal of the American Statistical Association|volume=83|issue=403|pages=596–610|doi=10.1080/01621459.1988.10478639|issn=0162-1459|access-date=۴ اوت ۲۰۱۹|archive-url=https://web.archive.org/web/20190522011109/https://www.tandfonline.com/doi/abs/10.1080/01621459.1988.10478639|archive-date=۲۲ مه ۲۰۱۹|dead-url=no}}</ref> {{وسط‌چین}}
<math>\vec{\hat{\beta}}(\vec{x}) = \underset{\vec{\beta}}\mbox{arg min} \sum_{i=1}^{n} w_i(\vec{x})\times(\vec{\beta} \, . \, \vec{x_{i}} - y_i)^2</math>
{{پایان وسط‌چین}}در اینجا  <math>w_i(\vec{x})</math> وزن موضعی داده جدید <math>\vec{x}</math> را با داده آموزشی <math>\vec{x}_i</math> نشان می‌دهد که با فاصله این دو داده نسبت به هم نسبت عکس دارد مانند نمونه پایین: {{وسط‌چین}}
<math> w_i(\vec{x}) = \exp\left(-\frac{||\vec{x} - \vec{x_i}||^2}{2\sigma^2}\right)
</math>
{{پایان وسط‌چین}}در این نوع رگرسیون داده‌های آموزشی که به داده جدید نزدیکترند وزن بیشتری خواهند گرفت و داده‌های دورتر عملاً نادیده گرفته می‌شوند.<ref name=":11"/> [[پرونده:Poly-reg-3.png|بندانگشتی|350x350px|رگرسیون چندجمله‌ای با چند درجه مختلف (۳، ۵ و ۹)|جایگزین=]]

=== رگرسیون خطی تعمیم‌یافته ===
در رگرسیون خطی تعمیم یافته{{یادچپ|generalized linear regression}} برای پیش‌بینی [[متغیر وابسته و مستقل|متغیر وابسته]] یک ترکیب خطی از [[نگاشت خطی|نگاشتی]] از متغیرهای مستقل را در نظر می‌گیرند نه خود آن متغیرها را. به بیان دیگر:<ref name=":9">{{Cite journal|last=Goldberger|first=Arthur S.|date=1962-06-01|title=Best Linear Unbiased Prediction in the Generalized Linear Regression Model|url=https://www.tandfonline.com/doi/abs/10.1080/01621459.1962.10480665|journal=Journal of the American Statistical Association|volume=57|issue=298|pages=369–375|doi=10.1080/01621459.1962.10480665|issn=0162-1459|access-date=4 اوت 2019|archive-date=18 فوریه 2021|archive-url=https://web.archive.org/web/20210218143653/https://www.tandfonline.com/doi/abs/10.1080/01621459.1962.10480665}}</ref>
{{وسط‌چین}}
<math> f(\vec{x}) = \beta_0 + \beta_1 \phi(\vec{x})_{1} + \cdots + \beta_h \phi(\vec{x})_{h}</math>
{{پایان وسط‌چین}}در این تابع، <math> \vec{x}</math> از فضای <math> d</math> بُعدی به یک فضای <math> h</math> بُعدی از طریق نگاشت <math> \phi</math> منتقل شده‌است و سپس در آن فضا مقادیر جدید از طریق ترکیبی خطی با هم ترکیب شده‌اند. به عنوان مثال در رگرسیون خطی ساده می‌توان چندین متغیر جدید را از طریق یک [[چندجمله‌ای|چند جمله‌ای]] درجه <math> h</math> تولید کرد و سپس رگرسیون خطی را به‌وسیلهٔ آنها انجام داد، که این کار معادل نگاشت متغیر مستقل به یک فضای <math> h</math> بعدی و انجام رگرسیون در آن فضاست:{{وسط‌چین}}
<math>f(x) = \beta_0 + \beta_1 x + \beta_2 x^2 + \cdots + \beta_h x^h</math>
{{پایان وسط‌چین}}رگرسیون خطی تعمیم‌یافته را می‌توان زمانی به کار برد که رابطهٔ بین متغیر وابسته و مستقل یک خط راست نباشد اما بتوان از طریق یک انگاشت آن را به خطی راست تبدیل کرد.<ref name=":9"/> به عنوان مثال برای پیش‌بینی میزان تنش در یک سازه ساختمانی از رگرسیون چند جمله‌ای استفاده می‌کنند چه که رابطهٔ متغیر مستقل و وابسته خطی نیست و شباهت بیشتری به یک تابع درجه دو دارد.<ref>{{یادکرد وب|عنوان=(PDF) Application of polynomial regression models for prediction of stress state in structural elements|نشانی=https://www.researchgate.net/publication/306101968_Application_of_polynomial_regression_models_for_prediction_of_stress_state_in_structural_elements|وبگاه=ResearchGate|بازبینی=2019-08-17|کد زبان=en|archive-date=18 فوریه 2021|archive-url=https://web.archive.org/web/20210218143657/https://www.researchgate.net/publication/306101968_Application_of_polynomial_regression_models_for_prediction_of_stress_state_in_structural_elements}}</ref>
[[پرونده:Polyreg scheffe.svg|جایگزین=رگرسیون چند جمله‌ای درجه سوم (خط سبز)، همراه با بازه اطمینان ۹۵ درصدی (دو خط قرمز) و داده مرجع (خط آبی)|بندانگشتی|350x350پیکسل|رگرسیون چند جمله‌ای درجه سوم (خط سبز)، همراه با بازه اطمینان ۹۵ درصدی (دو خط قرمز) و داده مرجع (خط آبی)]]

=== مدل سلسله مراتبی ===
{{اصلی|مدل سلسله‌مراتبی}}
[[مدل سلسله‌مراتبی|مدل سلسله مراتبی]]{{یادچپ|hierarchical model}} (یا مدل چند سطحی{{یادچپ|multilevel model}}) مدل رگرسیونی است که پارامترهای آن بر اساس [[خوشه‌بندی|خوشه]] یا سطحی که داده به آن تعلق دارد ممکن است تغییر کند.<ref name="Raud">{{cite book|last=Bryk|first=Stephen W. Raudenbush, Anthony S.|title=Hierarchical linear models: applications and data analysis methods|year=2002|publisher=Sage Publications|location=Thousand Oaks, CA [u.a.]|isbn=978-0-7619-1904-9|edition=2. ed. , [3. Dr.]}}</ref> به عنوان مثال در مسئله پیش‌بینی میزان سلامتی فرد از طریق مقدار درآمد او، از آنجا که افرادی که در یک محله زندگی می‌کنند میزان درآمد و سلامتی آنها به هم وابستگی بیشتری نسبت به بقیهٔ افراد دارد، بهتر است هر محله مدل رگرسیونِ جداگانه خود را داشته باشند.<ref name="Raud"/> در این مثال یک مدل رگرسیون خطی در سطح اول (سطح فرد در محله) ساخته می‌شود که بعضی یا همه پارامترهای آن می‌تواند برای هر محله متفاوت باشد. پارامترهای متفاوت می‌تواند خود از یک مدل رگرسیون دیگر در سطح دوم (سطح محله‌ها) یا به‌صورت تصادفی تخمین زده شوند.<ref name="Fidell">{{cite book|last=Fidell|first=Barbara G. Tabachnick, Linda S.|title=Using multivariate statistics|year=2007|publisher=Pearson/A & B|location=Boston ; Montreal|isbn=978-0-205-45938-4|edition=5th}}</ref>

اگر محلهٔ <math>j</math>، <math>n_j</math>  داده (فرد) داشته باشد، آنگاه برای این محله باید دو پارامتر <math>\beta_{0j}</math> و  <math>\beta_{1j}</math>  را پیدا کرد. برای داده <math>i</math> (<math>1\leq i\leq n_j</math>) رابطه میان میزان درآمد فرد (<math>X_{ij}</math>) و میزان سلامتی او (<math>Y_{ij}</math>) را به صورت پایین نشان می‌دهیم؛ در اینجا <math>e_{ij}</math>  مقدار خطای تصادفی است که معمولاً از یک [[توزیع طبیعی]] پیروی می‌کند:
{{وسط‌چین}}
<math>Y_{ij} = \beta_{0j} + \beta_{1j}X_{ij} + e_{ij}</math>
{{پایان وسط‌چین}}
حال می‌توان یا <math>\beta_{0j}</math> یا  <math>\beta_{1j}</math>  یا هر دو را برای هر محله متفاوت در نظر گرفت. این تفاوت می‌تواند تصادفی مدل‌سازی شود یا خود از یک مدل رگرسیون خطی دیگر که دارای یک یا چند متغیر مستقل در سطح دو (سطح محله) است برآورد شود. اگر فرض کنیم هر دوی <math>\beta_{0j}</math> و <math>\beta_{1j}</math>  از یک مدل رگرسیون دیگر می‌آیند آنگاه می‌توان به صورت پایین آنها را تخمین زد؛ در این دو معادله <math>W_j</math>  یک متغیر مستقل در سطح دو (سطح محله) است که به عنوان نمونه می‌تواند میزان ثروت محله باشد و <math>u_{0j}</math>  و <math>u_{1j}</math>  خطاهای تصادفی است.<ref name="Fidell"/>
{{وسط‌چین}}
<math>\beta_{0j} = \gamma_{00} + \gamma_{01} W_j + u_{0j}</math>
{{پایان وسط‌چین}}
{{وسط‌چین}}
<math>\beta_{1j} = \gamma_{10} + \gamma_{11} W_j + u_{1j}</math>
{{پایان وسط‌چین}}

== تجزیه و تحلیل مدل ==
از مدل رگرسیون خطی می‌توان برای تحلیل رابطه متغیرهای مستقل با متغیر وابسته استفاده کرد. اگر یک متغیر مستقل مانند <math>x_j</math> را در نظر بگیریم و بقیه متغیرهای مستقل را ثابت فرض کنیم، ضریب این متغیر یعنی <math>\beta_j</math>، میانگین تغییر  <math>y</math> در ازای تغییر یک واحد در <math>x_j</math> را نشان می‌دهد که معادل میانگین [[مشتق پاره‌ای|مشتق جزئی]]  <math>y</math> نسبت به  <math>x_j</math> یا همان [[شیب|شیب خط]] رگرسیون با ثابت گرفتن سایر متغیرهای مستقل است. از این تأثیر با عنوان «تأثیر منحصر به فرد» <math>x_j</math> بر روی  <math>y</math> نیز یاد می‌شود. از طرفی دیگر «تأثیر حاشیه‌ای» <math>x_j</math> بر روی  <math>y</math> از طریق رگرسیون خطی ساده (مدلی که فقط یک متغیر مستقل به اسم  <math>x_j</math> دارد) به‌دست می‌آید.<ref>{{cite journal|last1=Warne|first1=Russell T.|date=2011|title=Beyond multiple regression: Using commonality analysis to better understand R2 results|url=https://archive.org/details/sim_gifted-child-quarterly_fall-2011_55_4/page/313|journal=Gifted Child Quarterly|volume=55|issue=4|pages=313–318|doi=10.1177/0016986211422217}}</ref>

این امکان وجود دارد که با وجود تأثیر حاشیه‌ای بزرگ، تأثیر منحصر به فرد متغیر <math>x_j</math> تقریباً صفر باشد. این در شرایطی اتفاق خواهد افتاد که بعضی از متغیرهای مستقل دیگر بتوانند متغیر وابسته را به خوبی پیش‌بینی کنند و سهم <math>x_j</math> در مقایسه با سایر متغیرها ناچیز باشد. از طرف دیگر، این امکان نیز وجود دارد که با وجود تأثیر حاشیه‌ای تقریباً صفر، تأثیر منحصر به فرد <math>x_j</math> بزرگ باشد. این اتفاق زمانی رخ می‌دهد که سایر متغیرها میزان زیادی از تغییر <math>y</math> را توضیح می‌دهند و نقش <math>x_j</math> نقشی تکمیلی است. در این حالت متغیر  <math>x_j</math> بخشی از  <math>y</math> را که توسط سایر متغیرها توضیح‌ناپذیر است توضیح می‌دهد.<ref>{{cite journal|author=Berk, Richard A.|year=2007|title=Regression Analysis: A Constructive Critique|url=https://archive.org/details/sim_criminal-justice-review_2007-09_32_3/page/301|journal=Criminal Justice Review|volume=32|issue=3|pages=301–302|doi=10.1177/0734016807304871}}</ref>

معمولاً بعد از تخمین مدل رگرسیون، [[عیب‌یابی مدل رگرسیونی]]{{یادچپ|regression diagnostic}} صورت می‌گیرد. در این عیب‌یابی معمولاً پیش‌فرضهای رگرسیون خطی مورد راستی‌آزمایی قرار می‌گیرند و داده‌هایی که تأثیر بی‌مورد در مدل نهائی داشته‌اند شناسایی می‌شوند.<ref name="Everitt">Everitt, B.S. (2002) ''The Cambridge Dictionary of Statistics'', CUP. <templatestyles src="Module:Citation/CS1/styles.css" />[[International Standard Book Number|ISBN]]&nbsp;[[Special:BookSources/0-521-81099-X|0-521-81099-X]] (entry for ''Regression diagnostics'')</ref> برای بررسی پیش‌فرضهای رگرسیون خطی از چندین نمودار و معیار استفاده می‌شود. از [[نمودار چندک-چندک]] می‌توان برای مقایسه بین چندک‌های مانده‌های استاندارد شده و چندک‌های [[توزیع طبیعی|توزیع طبیعی استاندارد]] و بررسی پیش‌فرض توزیع طبیعی مانده‌ها استفاده کرد. در صورت برقرار بودن پیش‌فرض، نمودار باید کم و بیش یک خط راست با زاویهٔ ۴۵ درجه نسبت به محورهای نمودار باشد. برای بررسی پیش‌فرض خطی بودن رابطه پارامترها و متغیر وابسته نموداری از مانده‌ها و مقادیر پیش‌بینی شده ترسیم می‌شود، اگر رابطه بین این دو گروه یک خط راست نباشد، پیش‌فرض نقض شده‌است. از این نمودار همچنین می‌توان برای بررسی واریانس‌همسانی مانده‌ها استفاده کرد. در نهایت برای پیدا کردن داده‌هایی که تأثیر بی‌مورد در مدل رگرسیون دارند از معیاری به اسم [[فاصله کوک]]{{یادچپ|Cook's distance}} استفاده می‌شود. این معیار تأثیر هر داده را بر ضرایب نهائی مدل رگرسیون -با تخمین یک مدل جدید بدون آن داده و مقایسه آن با مدل قبلی- می‌سنجد. داده‌هایی که [[فاصله کوک]] آنها از یک آستانه از پیش تعیین شده بیشتر است تأثیری منفی بر مدل رگرسیون دارند.<ref>{{cite journal|last=Cook|first=R. Dennis|date=February 1977|title=Detection of Influential Observations in Linear Regression|url=https://archive.org/details/sim_technometrics_1977-02_19_1/page/15|journal=Technometrics|publisher=American Statistical Association|volume=19|issue=1|pages=15–18|doi=10.2307/1268249|jstor=1268249|mr=0436478|via=}}</ref>

== کاربردها و محدودیت‌ها ==
[[پرونده:Anscombe's quartet 3.svg|چپ|بندانگشتی|425x425پیکسل|در [[چهارتایی آنسکوم]] با اینکه آماره‌هایی نظیر [[میانگین]]، [[واریانس]]، [[ضریب همبستگی]] و مدل خطی به‌دست آمده از رگرسیون خطی برای تمام چهار مجموعه داده یکسان است اما نمودار این داده‌ها کاملاً با همان متفاوتند و تنها مجموعه بالا سمت چپ مدل رگرسیون خطی مناسبی دارد.<ref name="Anscombe22">{{cite journal|last=Anscombe|first=F. J.|date=|year=1973|title=Graphs in Statistical Analysis|url=|journal=American Statistician|volume=27|issue=1|pages=17–21|doi=10.1080/00031305.1973.10478966|jstor=2682899|via=}}</ref>]]
رگرسیون خطی به‌طور گسترده‌ای در [[علوم زیستی]]، رفتاری و اجتماعی<ref name=":5">{{Cite journal|last=Dodhia|first=Rahul M.|date=2005|title=Review of Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences|url=https://www.jstor.org/stable/3701351|journal=Journal of Educational and Behavioral Statistics|volume=30|issue=2|pages=227–229|issn=1076-9986|archive-url=https://www.webcitation.org/78blg74yQ?url=https://www.jstor.org/stable/3701351|archive-date=24 مه 2019|access-date=21 مه 2019}}</ref> برای توصیف روابط احتمالی بین متغیرها مورد استفاده قرار می‌گیرد و از مهترین ابزارها برای این کار است.<ref name=":5"/> رگرسیون خطی همچنین در [[قیمت‌گذاری]] دارایی‌های [[سرمایه اجتماعی|سرمایه‌ای]] و تحلیل و اندازه‌گیری خطر سرمایه‌گذاری مورد استفاده قرار می‌گیرد. این مدل مستقیماً از [[ضریب بتا]] در مدل رگرسیون خطی به دست می‌آید که بازده سرمایه را به بازده تمام دارایی‌ها با ریسک بالا مربوط می‌کند.<ref>{{Cite journal|last=Cook|first=Douglas O.|last2=Kieschnick|first2=Robert|last3=McCullough|first3=B. D.|date=2008-12-01|title=Regression analysis of proportions in finance with self selection|url=http://www.sciencedirect.com/science/article/pii/S0927539808000145|journal=Journal of Empirical Finance|volume=15|issue=5|pages=860–867|doi=10.1016/j.jempfin.2008.02.001|issn=0927-5398|archive-url=https://www.webcitation.org/78blkUax5?url=https://www.sciencedirect.com/science/article/abs/pii/S0927539808000145|archive-date=24 مه 2019|access-date=21 مه 2019}}</ref> همچنین در [[علم اقتصاد]] رگرسیون خطی یکی از مهم‌ترین و پراستفاده‌ترین ابزارهاست. به عنوان مثال، برای پیش‌بینی هزینه مصرف،<ref>{{cite book|last=Deaton|first=Angus|year=1992|title=Understanding Consumption|url=https://archive.org/details/understandingcon0000deat|publisher=Oxford University Press|isbn=978-0-19-828824-4}}</ref> هزینه [[سرمایه‌گذاری]] ثابت، سرمایه‌گذاری موجودی، خرید صادرات کشور،<ref name="Krugman2">{{cite book|last=Krugman|first=Paul R.|first2=M.|last2=Obstfeld|first3=Marc J.|last3=Melitz|year=2012|title=International Economics: Theory and Policy|edition=9th global|location=Harlow|publisher=Pearson|isbn=978-0-273-75409-1|pages=}}</ref> هزینه برای واردات،<ref name="Krugman2"/> تقاضا برای نگهداری دارایی‌های نقد،<ref>{{cite book|last=Laidler|first=David E. W.|year=1993|title=The Demand for Money: Theories, Evidence, and Problems|edition=4th|location=New York|publisher=Harper Collins|isbn=978-0-06-501098-5}}</ref> تقاضای کار،<ref name="Ehrenberg2">{{cite book|last=Ehrenberg|last2=Smith|title=Modern Labor Economics|publisher=Addison-Wesley|location=London|edition=10th international|year=2008|isbn=978-0-321-53896-3}}</ref> و عرضه نیروی کار<ref name="Ehrenberg2"/> از این مدل استفاده می‌شود. در علوم [[محیط زیست]] نیز رگرسیون خطی کاربردهای گسترده‌ای دارد. برای نمونه در [[کانادا]]، از رگرسیون خطی برای پیش‌بینی اثرات [[زیست‌محیطی]] کارخانه‌های کاغذسازی و معادن [[فلزات]] بر روی ماهی‌ها و مناطق [[دریابن|دریابُن]] استفاده می‌کنند.<ref>[http://www.ec.gc.ca/esee-eem/default.asp?lang=En&n=453D78FC-1 EEMP webpage] {{webarchive|url=https://web.archive.org/web/20110611114740/http://www.ec.gc.ca/esee-eem/default.asp?lang=En&n=453D78FC-1|date=2011-06-11}}</ref> رگرسیون خطی در علم پزشکی نیز کاربرد دارد. به عنوان مثال اولین تحقیقاتی که رابطه استعمال دخانیات و مرگ و میر را نشان می‌داد از مدل رگرسیون خطی استفاده می‌کرد.<ref>Doll, R. , Wheatley, K. , Gray, R. ''et al.'' "Mortality in relation to smoking: 40 years' observations on male British doctors ." ''[[BMJ]]'' 1994;309:901-911 (8 de octubre).</ref><ref name="tabaco">[http://ajrccm.atsjournals.org/cgi/content/full/158/1/170 "Environmental Tobacco Smoke and Adult Asthma"] {{Webarchive|url=https://web.archive.org/web/20090221173413/http://ajrccm.atsjournals.org/cgi/content/full/158/1/170|date=۲۱ فوریه 2009}} Division of Pulmonary and Critical Care Medicine, Division of Occupational and Environmental Medicine; Department of Medicine, Institute for Health Policy Studies; and Department of Epidemiology and Biostatistics, [[Universidad de California]], [[San Francisco (California)|San Francisco]], [[California]]. (en inglés)</ref> رگرسیون خطی در تخمین [[روند صعودی و نزولی|خط روند]] نیز کاربرد دارد.<ref name="tendencia">[https://web.archive.org/web/20080725103354/http://www.paritech.com/paritech-site/education/technical/indicators/trend/linear3.asp Utilización de las líneas de tendencia], Paritech (en inglés)</ref> [[روند صعودی و نزولی|خط روند]]، سیر تغییرات یک سری داده را در یک بازه زمانی طویل‌المدت نشان می‌دهد. معمولاً به صورت چشمی سیر صعودی یا نزولی بودن این تغییرات را می‌توان تشخیص داد ولی برای محاسبه دقیق‌تر شیب این تغییرات از رگرسیون خطی استفاده می‌شود. در مواردی که سیر تغییرات را با یک [[چندجمله‌ای]] تخمین می‌زنند از رگرسیون خطی تعمیم یافته استفاده می‌کنند.<ref name="tendencia"/> همچنین رگرسیون خطی و مشتقات آن یکی از ابزارهای شناخته شده و پرکاربرد در شاخه‌های [[هوش مصنوعی]] مخصوصاً در شاخه [[یادگیری ماشین]] است.<ref>{{cite web|title=Linear Regression (Machine Learning)|url=https://people.cs.pitt.edu/~milos/courses/cs2750-Spring03/lectures/class6.pdf|website=University of Pittsburgh|archive-url=https://web.archive.org/web/20170202235916/http://people.cs.pitt.edu/~milos/courses/cs2750-Spring03/lectures/class6.pdf|archive-date=۲ فوریه ۲۰۱۷|accessdate=۲۱ مه ۲۰۱۹|dead-url=no}}</ref>

گرچه رگرسیون خطی ابزاری بسیار انعطاف‌پذیر برای تحقیقات علوم مختلف است، اما بدون محدودیت هم نیست. همه مسائل پژوهشی در قالب مدلهای رگرسیون نمی‌گنجد، به ویژه مسائلی که یک متغیر خروجی ندارند. به عنوان نمونه، [[خوشه‌بندی|تجزیه و تحلیل خوشه‌ای]] یک ابزار آماری است که برای آشکار ساختن گروه‌های منسجم (یا خوشه‌ها) در داده‌ها به کار می‌رود. رگرسیون مدل مناسبی برای کشف این نوع الگو در داده‌ها نیست.<ref name=":7"/>

از آنجا که رگرسیون بر پیشینی متغیر خروجی (متغیر وابسته) متمرکز است، این شبهه ممکن است ایجاد شود که وجود رابطه بین متغیرهای مستقل و وابسته در مدل رگرسیون دال بر [[علیت]] این رابطه است. این نوع تعمیم نتایج مدل رگرسیونی نادرست است، و برای تحلیل علیت باید از روش‌های آماری و تحقیقی دیگری بهره جست.<ref name=":7"/>

در استفاده از مدل رگرسیون برای [[استنباط آماری]] نیز محدودیت‌هایی می‌تواند وجود داشته باشد. برای ارائهٔ استنباط معتبر، داده‌ها باید نمونه‌ای [[تصادفی]] از یک جمعیت باشند یا در مطالعهٔ تجربی مورد نظر تصادفی شده باشند. بیشتر نمونه‌ها در [[علوم اجتماعی]] این شرط را برآورده نمی‌کنند و استفاده از مدل رگرسیون برای تحلیل آن‌ها خالی از اشکال نیست. البته، این یک انتقاد از خود رگرسیون نیست بلکه از طراحی مطالعات تجربی و محدودیت‌های استنباط آماری با نمونه‌گیری غیر تصادفی است. با وجود همهٔ این محدودیت‌ها، رگرسیون و مدل‌های تعمیم‌یافتهٔ آن همچنان ابزاری فوق‌العاده مفید برای پژوهشگران علوم مختلف محسوب می‌شوند.<ref name=":7"/>

رگرسیون خطی برای بسیاری از مسائل مدل مناسبی نیست. این امکان وجود دارد که چندین مجموعه دادهٔ کاملاً متفاوت، مدل رگرسیون خطی یکسانی داشته باشند. [[چهارتایی آنسکوم]] نمونهٔ کلاسیک این حالت است. [[چهارتایی آنسکوم]] متشکل از چهار مجموعه داده‌است که نمودارهای کاملاً متفاوتی دارند ولی مدل رگرسیون خطی آنها کاملاً یکسان است. یک مجموعه در این مجموعهٔ چهارتایی (بالا سمت راست در شکل) دارای یک رابطهٔ کاملاً غیر خطی بین متغیرهاست. در یک مجموعه دیگر (پایین سمت چپ در شکل) با اینکه یک رابطهٔ خطی بین متغیرها حاکم است ولی به علت وجود یک [[داده پرت|دادهٔ پرت]]، مدل رگرسیون خطی به دست آمده نامناسب است. نهایتاً در یک مجموعه دیگر (پایین سمت راست در شکل) بین متغیرهای وابسته و مستقل هیچ [[همبستگی و وابستگی|همبستگی]] وجود ندارد ولی به علت وجود یک [[داده پرت|دادهٔ پرت]]، [[ضریب همبستگی]] این دو متغیر بالاست و یک مدل رگرسیون نامناسب برای پیش‌بینی متغیر وابسته تخمین زده شده‌است.<ref name="Anscombe22"/>

== جستارهای وابسته ==
* [[تحلیل رگرسیون]]
* [[رگرسیون لجستیک]]
* [[رگرسیون پواسون]]
*[[رگرسیون لارس]]
*[[رگرسیون چندک|رگسیون چندک]]

== یادداشت‌ها ==
{{چندستونه|۲}}
{{یادداشت}}
{{پایان چندستونه}}

== منابع ==
{{پانویس|۲|چپ‌چین=بله}}

== برای مطالعهٔ بیشتر ==
* {{یادکرد کتاب|عنوان=رگرسیون خطی کاربردی|نویسنده=سنفورد وایزبرگ|سال=۱۳۷۴|ترجمه=حسینعلی نیرومند|ناشر=دانشگاه فردوسی مشهد|شابک=9789646335196}}
* {{یادکرد کتاب|عنوان=رگرسیون خطی کاربردی|نویسنده=عبدالرضا بازرگان‌لاری|سال=۱۳۸۵|ناشر=دانشگاه شیراز|شابک=9644623746}}
* {{یادکرد کتاب|عنوان=تجزیه و تحلیل رگرسیون|نویسنده=تقی اخوان نیاکی، مجید خدمتی|سال=۱۳۹۴|ناشر=دانشگاه صنعتی شریف، مؤسسه انتشارات علمی|شابک=9789642081257}}
* {{یادکرد کتاب|عنوان=مقدمه ای بر تحلیل رگرسیون خطی|نویسنده=داگلاس مونتگمری، الیزابت پک|سال=۱۳۹۰|ناشر=دانشگاه شهید باهنر کرمان|شابک=978-964-2500-29-1|ترجمه=ابراهیم رضوی پاریزی}}
* {{یادکرد کتاب|عنوان=تحلیل سریهای زمانی: روشهای یک متغیری و چند متغیری|نویسنده=ویلیام وی|سال=۱۳۹۰|ناشر=دانشگاه فردوسی مشهد|شابک=9646335195|ترجمه=حسینعلی نیرومند}}

{{آمار}}

{{طرح آزمایش}}

[[رده:آمار پارامتری]]
[[رده:اقتصادسنجی]]
[[رده:برازش منحنی]]
[[رده:تحلیل رگرسیون]]
[[رده:طرح آزمایش]]
[[رده:مدل خطی تعمیم‌یافته]]
[[رده:نظریه برآورد]]