نمایش مبدأ برای رگرسیون خطی بیز

[[پرونده:Linear regression.svg|بندانگشتی|رگرسیون خطی بیز]]
در [[آمار]]، '''رگرسیون خطی بیز''' '''{{یادچپ|Bayesian linear regression}}''' یک رویکرد به [[رگرسیون خطی]] است که در آن تجزیه و تحلیل آماری در چارچوب [[استنباط بیزی]] انجام می‌شود. هنگامی که خطاهای مدل رگرسیون خطی از یک [[توزیع طبیعی]] پیروی کند، با در نظر گرفتن یک [[توزیع پیشین]] بر روی پارامترهای مدل، پیش‌بینی مدل از یک [[احتمال پسین|توزیع پسین]] که از قانون بیز به‌دست آمده، استفاده می‌کند.

== تعریف ریاضی ==
اگر داده‌ها را با ''<math>\mathbf{D} = [(\mathbf{x_1}, y_1), \cdots, (\mathbf{x_n}, y_n)]</math>'' نمایش دهیم، هدف تخمین خطی متغیر <math>y</math> از متغیر <math>\mathbf{x}</math> است. در [[رگرسیون خطی]] استاندارد متغیرِ میانگینِ [[توزیع احتمال شرطی|مشروط]] <math>y_i</math> به شرط بردار <math>\mathbf{x}_i</math> به این شکل برای <math>i=1,\ldots,n</math> به دست می‌آید:
{{وسط‌چین}}
<math>y_{i} = \mathbf{x}_i^{\rm T} \boldsymbol\beta + \varepsilon_i,</math>
{{پایان وسط‌چین}}
در اینجا ''<math>\boldsymbol\beta</math>'' و <math>\mathbf{x}_i</math> بردارهای ''<math>m \times 1</math>'' هستند، و <math>\varepsilon_i</math>ها متغیرهای تصادفیِ [[متغیرهای تصادفی مستقل با توزیع یکسان|مستقل و]] [[توزیع طبیعی|به‌طور]] [[متغیرهای تصادفی مستقل با توزیع یکسان|یکسان]] [[توزیع طبیعی|توزیع شده‌ای]] هستند که از توزیع پایین پیروی می‌کنند:
{{وسط‌چین}}
<math>\varepsilon_{i} \sim \mathcal{N}(0, \gamma^2).</math>
{{پایان وسط‌چین}}
با این حساب، احتمال مشروط <math>y_i</math> از [[تابع درست‌نمایی|تابع درست نمایی]] پایین پیروی می‌کند:
{{وسط‌چین}}<math>\rho({y}\mid\mathbf{X},\beta,\gamma^{-1}\mathbf{I}) = \mathcal{N}(y\mid\beta^t\mathbf{x}, \gamma^{-1}\mathbf{I}).</math>
{{پایان وسط‌چین}}
یکی از راه‌های به دست آوردن پارامتر بهینه روش [[حداقل مربعات معمولی|کمترین مربعات]] است که مجموع مربعات تفاضل خطاها، یعنی<math>\Sigma_{i}\left(y_i - \beta^t\mathbf{x_i}\right)^2</math> به حداقل می‌رساند:<ref>{{یادکرد کتاب|نشانی=https://books.google.com/books?id=0g-PAuKub3QC&pg=PA19#v=onepage&q=least%20squares&f=false|عنوان=Methods of Multivariate Analysis|نام خانوادگی=Rencher|نام=Alvin C.|نام خانوادگی۲=Christensen|نام۲=William F.|تاریخ=2012-08-15|ناشر=John Wiley & Sons|سال=|شابک=9781118391679|مکان=|صفحات=155|زبان=English}}</ref>
{{وسط‌چین}}
<math> \hat{\boldsymbol\beta} = (\mathbf{X}^{\rm T}\mathbf{X})^{-1}\mathbf{X}^{\rm T}\mathbf{y}</math>
{{پایان وسط‌چین}}
در اینجا <math>\mathbf{X}_{n\times k}</math> [[ماتریس]] <math>\mathbf{x}_i</math> هاست، به شکلی که در سطر <math>i</math> بردار <math>\mathbf{x}_i</math> قرار دارد. همچنین تمامی <math>y_i</math>‌ها در بردار <math>\mathbf{y}_{n\times1}</math> قرار دارد.

راه حل [[کمترین مربعات]] از یک رویکرد [[استنباط فراوانی‌گرایانه|فروانی‌گرا]] استفاده می‌کند که در آن مقادیر ''<math>\boldsymbol\beta</math>'' فقط از طریق داده‌های موجود تعیین می‌گردد. در [[استنباط بیزی|روش استنباط بیزی]] اما، داده‌ها با اطلاعات اضافی در قالب یک [[توزیع پیشین|توزیع احتمال پیشین]] مورد بررسی می‌گیرند و [[احتمال پسین|توزیع پسین]] که با استفاده از [[قانون بیز]]، [[توزیع پیشین]] و [[تابع درست‌نمایی|تابع درست نمایی]] به دست می‌آید برای پیش‌بینی مدل مورد استفاده قرار می‌گیرد.

در روش رگرسیون خطی بیز فرض می‌کنیم پارامتر ''<math>\boldsymbol\beta</math> ''خود یک متغیر تصادفی است که از توزیع طبیعی <math>\rho(\beta) = \mathcal{N}(\mathbf{0}, \alpha \mathbf{I}^{-1})</math> پیروی می‌کند و طبق قانون بیز توزیع پسین را به شکل پایین به دست می‌آوریم:<ref name="bishop20062">{{citation|first=C. M.|last=Bishop|year=2006|title=Pattern Recognition and Machine Learning|publisher=Springer|isbn=978-0-387-31073-2|pages=152-156}}</ref>
{{وسط‌چین}}
<math>\rho(\mathbf{\beta}\mid\mathbf{D}) = \frac{\rho(\mathbf{D}\mid\mathbf{\beta}) \times \rho(\mathbf{\beta})}{\rho(\mathbf{D})} = \mathcal{N}(\beta\mid\mathbf{\mu_n}, \mathbf{\Sigma_n})</math>
{{پایان وسط‌چین}}
در اینجا <math>\mathbf{\mu_n} = \mathbf{\beta}\mathbf{\Sigma_n}\mathbf{X}^t \mathbf{y}</math> و <math>\mathbf{\Sigma_n}^{-1} = \alpha \mathbf{I} + \beta \mathbf{X}^t\mathbf{X}</math>

برای پیش‌بینی یک بردار جدید <math>\mathbf{x}</math> از رابطه پایین استفاده می‌کنیم:<ref name="bishop200623">{{citation|first=C. M.|last=Bishop|year=2006|title=Pattern Recognition and Machine Learning|publisher=Springer|isbn=978-0-387-31073-2|pages=157}}</ref>
{{وسط‌چین}}
<math>\rho(y\mid\mathbf{x}, \mathbf{D}, \alpha, \gamma) = \int \rho(y\mid\beta, \gamma)\times p(\beta\mid \mathbf{D}, \alpha, \gamma) = \mathcal{N}(y\mid\mathbf{m^t_n}\mathbf{x}, \frac{1}{\gamma} + \mathbf{x}^t\mathbf{\Sigma_n}\mathbf{x})</math>
{{سخ}}
{{پایان وسط‌چین}}در اینجا <math>\mathbf{m_n} = \gamma \mathbf{\Sigma_n} \mathbf{X}^t\mathbf{y} </math>.

با استفاده از این تابع پیش‌بینی اگر میانگین یا میانه توزیع را به عنوان پیش‌بینی نهایی در نظر بگیریم جواب <math>\left(\gamma \mathbf{\Sigma_n} \mathbf{X}^t\mathbf{y}\right)^t\mathbf{x} </math> خواهد بود.<ref name="bishop2006">{{citation|first=C. M.|last=Bishop|year=2006|title=Pattern Recognition and Machine Learning|publisher=Springer|isbn=978-0-387-31073-2|pages=157}}</ref>

== جستارهای وابسته ==
* [[کمینه مربعات خطی]]
* [[رگرسیون خطی]]
* [[رگرسیون لجستیک|رگرسیون لجیستیک]]
* [[رگرسیون پواسون]]

== یادداشت‌ها ==
<references group="persian-alpha"/>
{{چندستونه|۲}}
{{یادداشت}}
{{پایان چندستونه}}

== پانویس ==
{{پانویس|۲|چپ‌چین=بله}}
{{نظریه کنترل}}

{{آمار-خرد}}

[[رده:آمار]]
[[رده:استنباط بیزی]]
[[رده:بهینه‌سازی ریاضی]]
[[رده:تحلیل رگرسیون]]
[[رده:کمترین مربعات]]