نمایش مبدأ برای کمترین مربعات جزئی

{{تحلیل رگرسیون}}
'''کمترین مربعات جزئی''' {{یاد|partial least squares}} (انگلیسی: '''Partial least squares regression''' ('''PLS regression''')) یکی از روش‌های [[تحلیل رگرسیون]] است. در این روش، راه حل [[کمترین مربعات|حداقل مربعات]] بر روی تعدادی مؤلفه [[متعامدسازی گرام -اشمیت|متعامد]] که [[ترکیب خطی|ترکیبی خطی]] از [[متغیرهای مستقل]] هستند و به صورت متناوب و با هدف بیشینه‌کردن [[کوواریانس]]ِ [[ترکیب خطی|تبدیل خطیِ]] [[متغیرهای مستقل]] و [[متغیر وابسته و مستقل|متغیرهای وابسته]] ایجاد شده‌اند، اعمال می‌شود.<ref name=":0">{{Cite journal|last=Hastie|first=Trevor|last2=Tibshirani|first2=Robert|last3=Friedman|first3=Jerome|date=2009|title=The Elements of Statistical Learning|url=https://link.springer.com/book/10.1007/978-0-387-84858-7|journal=Springer Series in Statistics|language=en-gb|volume=|pages=80-82|doi=10.1007/978-0-387-84858-7|issn=0172-7397|via=}}</ref><ref>{{cite journal|last1=de Jong|first1=S.|last2=ter Braak|first2=C.J.F.|year=1994|title=Comments on the PLS kernel algorithm|journal=J. Chemometrics|volume=8|issue=2|pages=169–174|doi=10.1002/cem.1180080208}}</ref>

کمترین مربعات جزئی توسط آماردان سوئدی، Herman O. A. Wold معرفی‌شد که سپس آن را با پسرش Svante Wold توسعه‌داد. یک اصطلاح جایگزین برای «حداقل مربعات جزئی»، '''نگاشت به ساختارهای پنهان''' است، اما هوز «حداقل مربعات جزئی» در بسیاری از حوزه‌ها اصطلاح رایج است. اگرچه کاربردهای اصلی آن در علوم اجتماعی بود، اما امروزه PLS بیشترین کاربرد را در [[شیمی آماری|شیمیِ آماری]] و حوزه‌های مرتبط دارد. همچنین در [[بیوانفورماتیک]]، حس سنجی، [[علوم اعصاب]] و [[انسان‌شناسی]] نیز استفاده می‌شود.

== رابطه ریاضی ==
فرض می‌کنیم <math> n </math> داده داریم که هر کدام از یک متغیر وابسته و  <math> p </math> متغیر مستقل تشکیل شده‌است؛ به کمک متغیرهای مستقل متغیر وابسته را پیش‌بینی می‌کنیم. مقادیر متغیرهای مستقل (به همراه یک بردار ثابت <math> 1 </math>) و مقادیر متغیر وابسته را به ترتیب در ماتریس‌های <math> \mathbf {X} _{n\times (p+1)} </math> و <math> \mathbf {Y} _{n\times 1} </math> به شکل پایین نمایش می‌دهیم؛ در اینجا  <math> \mathbf {X} _{i} </math> یک ماتریس <math> n\times 1 </math> از مقادیر <math> i </math> امین متغیر مستقل است:
{{وسط‌چین}}<math> \mathbf {X} _{n\times (p+1)}=\left(\mathbf {1} ,\mathbf {X} _{1},\ldots ,\mathbf {X} _{n}\right)^{\top} </math>{{پایان وسط‌چین}}
{{وسط‌چین}}<math> \mathbf {Y} _{n\times 1}=\left(y_{1},\ldots ,y_{n}\right)^{\top} </math>{{پایان وسط‌چین}}
هدف از رگرسیون خطی بدست آوردن پارامتر <math> {\boldsymbol {\beta }}\in \mathbb {R} ^{p+1} </math> است به شکلی که <math> \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }} </math> در اینجا <math> \varepsilon  </math> یک [[متغیر تصادفی]] است که خطای مدل را نشان می‌دهد. این خطا از [[توزیع نرمال|توزیع طبیعی]] با میانگین صفر و واریانس ثابت برای تمامی ابعاد پیروی می‌کند به این معنی که <math> \operatorname {E} \left({\boldsymbol {\varepsilon }}\right)=\mathbf {0} \; </math>  و <math> \;\operatorname {Var} \left({\boldsymbol {\varepsilon }}\right)=\sigma ^{2}I_{n\times n} </math>. از طریق روش حداقل مربعات می‌توان <math> ||\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}||^{2} </math>  یعنی مربع میزان خطاها را کمینه کرد و به پارامتر بهینه رسید. این پارامتر با <math> {\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }=(\mathbf {X} ^{\top}\mathbf {X} )^{-1}\mathbf {X} ^{\top}\mathbf {Y}  </math> برابراست. یکی از مشکلات اصلی این روش عدم وارونپذیری <math> (\mathbf {X} ^{\top}\mathbf {X} )^{-1} </math> است. برای حل این مشکل، حداقل مربعات جزئی، متناوباً مولفه‌هایی متعامد (<math> \mathbf {Z_{m}}  </math>  در پایین) که ترکیبی خطی از متغیرهای مستقل هستند تولید می‌کند و در نهایت راه حل حداقل مربعات را بر روی این مولفه‌ها اعمال می‌کند. ضرایب متغیرهای مستقل در مولفه‌ها با ضرب نقطه‌ایِ متغیرهای وابسته و مستقل برابر است. متغیرهای مستقل در ابتدای کار استاندارد شده‌اند یعنی میانگین صفر و واریانس یک دارند. در پایان هر مرحله متغیرهای مستقل نسبت به مولفه آن مرحله متعامد می‌شوند. این کار باعث می‌شود که در پایان تمام مولفه‌ها نسبت به هم متعامد باشند. الگوریتم تولید مولفه‌ها برای <math> k\leq p </math>  به شکل پایین است (<math> k </math>  از [[روش اعتبارسنجی متقابل]] محاسبه می‌شود):
{{وسط‌چین}}
<math> {\begin{cases}\,\,{\mbox{ for }}\,\,j\,\,=\,\,1,\cdots ,p:\\\,\,\,\,\,\,\,\,\,\,\mathbf {X} _{j}^{(0)}=\mathbf {X} _{j}\\\,\,{\mbox{ for }}\,\,m=\,\,1,\cdots ,k:\\\,\,\,\,\,\,\,\,\,\,\mathbf {Z} _{m}=\sum _{j=1}^{p}\left\langle \mathbf {X} _{j}^{(m-1)},\mathbf {Y} \right\rangle \mathbf {X} _{j}^{(m-1)}\\\,\,\,\,\,\,\,\,\,{\mbox{ for }}\,\,j\,\,=\,\,1,\cdots ,p:\\\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\mathbf {X} _{j}^{(m)}=\mathbf {X} _{j}^{(m)}-{\frac {\langle \mathbf {Z} _{m}\,,\,\mathbf {Y} \rangle }{\langle \mathbf {Z} _{m}\,,\,\mathbf {Z} _{m}\rangle }}\mathbf {Z} _{m}\\\,\,{\hat {\mathbf {Y} }}={\bar {\mathbf {Y} }}\mathbf {1} +\sum _{m=1}^{k}{\frac {\langle \mathbf {Z} _{m}\,,\,\mathbf {Y} \rangle }{\langle \mathbf {Z} _{m}\,,\,\mathbf {Z} _{m}\rangle }}\mathbf {Z} _{m}\\\end{cases}} </math>
{{پایان وسط‌چین}}
از آنجا که <math> {\hat {\mathbf {Y} }} </math>  یا همان مقدار پیش‌بینی شده، ترکیبی خطی از <math> \mathbf {Z} _{m} </math>‌ها است و خود <math> \mathbf {Z} _{m} </math>‌ها هم ترکیبی خطی از متغیرهای مستقل هستند، در نهایت مدل رگرسیون ترکیبی خطی از متغیرهای مستقل خواهد بود.<ref name=":0"/>

== الگوریتم PLS1 ==
PLS1 یک الگوریتم پرکاربرد است که وقتی از آن استفاده می‌شود که Y یک بردار باشد. این الگوریتم در [[شبه‌کد]] زیر بیان می‌شود (حروف بزرگ ماتریس هستند، حروف کوچک اگر بالانویس داشته باشند بردار، و اگر [[اندیس (معدن)|اندیس]] داشته‌باشند اسکالر هستند):

  {{چپ‌چین}}
  1 {{nowrap|'''function''' PLS1({{mvar|X, y, l}})}}
  2 {{nowrap|<math>X^{(0)} \gets X</math>}}
  3 {{nowrap|<math>w^{(0)} \gets X^\mathrm{T} y/||X^\mathrm{T}y||</math>}}, an initial estimate of {{mvar|w}}.
  4 {{nowrap|'''for''' <math>k = 0</math> '''to''' <math>l-1</math>}}
  5 {{nowrap|<math>t^{(k)} \gets X^{(k)}w^{(k)}</math>}}
  6 {{nowrap|<math>t_k \gets {t^{(k)}}^\mathrm{T} t^{(k)}</math> (note this is a scalar)}}
  7 {{nowrap|<math>t^{(k)} \gets t^{(k)} / t_k</math>}}
  8 {{nowrap|<math>p^{(k)} \gets {X^{(k)}}^\mathrm{T} t^{(k)}</math>}}
  9 {{nowrap|<math>q_k \gets {y}^\mathrm{T} t^{(k)}</math> (note this is a scalar)}}
 10 {{nowrap|'''if''' <math>q_k = 0</math>}}
 11 {{nowrap|<math>l \gets k</math>, '''break''' the '''for loop'''}}
 12 {{nowrap|'''if''' <math>k < (l-1)</math>}}
 13 {{nowrap|<math>X^{(k+1)} \gets X^{(k)} - t_k t^{(k)} {p^{(k)}}^\mathrm{T}</math>}}
 14 {{nowrap|<math>w^{(k+1)} \gets {X^{(k+1)}}^\mathrm{T} y </math>}}
 15 {{nowrap|'''end''' '''for'''}}
 16 '''define''' {{mvar|W}} to be the matrix {{nowrap|with columns <math>w^{(0)},w^{(1)},...,w^{(l-1)}</math>.}}
  Do the same to form the {{mvar|P}} matrix and {{mvar|q}} vector.
 17 {{nowrap|<math>B \gets W {(P^\mathrm{T} W)}^{-1} q</math>}}
 18 {{nowrap|<math>B_0 \gets q_0 - {P^{(0)}}^\mathrm{T} B</math>}}
 19 {{nowrap|'''return''' <math>B, B_0</math>}}

{{پایان چپ‌چین}}این شکل از الگوریتم نیازی به مرکزیت ورودی X و Y (کم کردن میانگین هر ستون از تک تک درایه‌های آن ستون در ماتریس) ندارد، زیرا این کار به‌طور ضمنی توسط الگوریتم انجام می‌شود. متغیر ''l'' (فراهم‌شده توسط کاربر) محدودیتی برای تعداد متغییرهای پنهان در رگرسیون است و اگر با رتبه ماتریس ''X'' برابر باشد، الگوریتم تخمین‌های رگرسیون [[کمترین مربعات]] را برای ''B و'' <math>B_0</math> به دست می‌دهد.

== جستارهای وابسته ==
[[تحلیل مؤلفه‌های اصلی|تحلیل مولفه‌های اصلی]]

[[تحلیل واریانس]]

[[رگرسیون خطی]]

== یادداشت‌ها ==
{{چندستونه|۲}}
{{یادداشت}}
{{پایان چندستونه}}

== منابع ==
{{پانویس|۲|چپ‌چین=بله}}

[[رده:کمترین مربعات]]
[[رده:مدل‌های متغییرهای پنهان]]