رگرسیون خطی بیز

رگرسیون خطی بیز

در آمار، رگرسیون خطی بیز الگو:یادچپ یک رویکرد به رگرسیون خطی است که در آن تجزیه و تحلیل آماری در چارچوب استنباط بیزی انجام می‌شود. هنگامی که خطاهای مدل رگرسیون خطی از یک توزیع طبیعی پیروی کند، با در نظر گرفتن یک توزیع پیشین بر روی پارامترهای مدل، پیش‌بینی مدل از یک توزیع پسین که از قانون بیز به‌دست آمده، استفاده می‌کند.

تعریف ریاضی

اگر داده‌ها را با $𝐃=[({𝐱}_{\mathrm{𝟏}},y_1),\cdots ,({𝐱}_{𝐧},y_n)]$ نمایش دهیم، هدف تخمین خطی متغیر $y$ از متغیر $𝐱$ است. در رگرسیون خطی استاندارد متغیرِ میانگینِ مشروط $y_i$ به شرط بردار ${𝐱}_i$ به این شکل برای $i=1,\dots ,n$ به دست می‌آید: الگو:وسط‌چین $y_i={𝐱}_i^{\mathrm{T}}\mathit{\beta }+{\epsilon }_i,$ الگو:پایان وسط‌چین در اینجا $\mathit{\beta }$ و ${𝐱}_i$ بردارهای $m\times 1$ هستند، و ${\epsilon }_i$ها متغیرهای تصادفیِ مستقل و به‌طور یکسان توزیع شده‌ای هستند که از توزیع پایین پیروی می‌کنند: الگو:وسط‌چین ${\epsilon }_i\sim 𝒩(0,{\gamma }^2).$ الگو:پایان وسط‌چین با این حساب، احتمال مشروط $y_i$ از تابع درست نمایی پایین پیروی می‌کند: الگو:وسط‌چین$\rho (y\mid 𝐗,\beta ,{\gamma }^{-1}𝐈)=𝒩(y\mid {\beta }^t𝐱,{\gamma }^{-1}𝐈).$ الگو:پایان وسط‌چین یکی از راه‌های به دست آوردن پارامتر بهینه روش کمترین مربعات است که مجموع مربعات تفاضل خطاها، یعنی${\mathrm{\Sigma }}_i{(y_i-{\beta }^t{𝐱}_{𝐢})}^2$ به حداقل می‌رساند: الگو:وسط‌چین $\hat{\mathit{\beta }}=({𝐗}^{\mathrm{T}}𝐗{)}^{-1}{𝐗}^{\mathrm{T}}𝐲$ الگو:پایان وسط‌چین در اینجا ${𝐗}_{n\times k}$ ماتریس ${𝐱}_i$ هاست، به شکلی که در سطر $i$ بردار ${𝐱}_i$ قرار دارد. همچنین تمامی $y_i$‌ها در بردار ${𝐲}_{n\times 1}$ قرار دارد.

راه حل کمترین مربعات از یک رویکرد فروانی‌گرا استفاده می‌کند که در آن مقادیر $\mathit{\beta }$ فقط از طریق داده‌های موجود تعیین می‌گردد. در روش استنباط بیزی اما، داده‌ها با اطلاعات اضافی در قالب یک توزیع احتمال پیشین مورد بررسی می‌گیرند و توزیع پسین که با استفاده از قانون بیز، توزیع پیشین و تابع درست نمایی به دست می‌آید برای پیش‌بینی مدل مورد استفاده قرار می‌گیرد.

در روش رگرسیون خطی بیز فرض می‌کنیم پارامتر $\mathit{\beta }$ خود یک متغیر تصادفی است که از توزیع طبیعی $\rho (\beta )=𝒩(\mathrm{𝟎},\alpha {𝐈}^{-1})$ پیروی می‌کند و طبق قانون بیز توزیع پسین را به شکل پایین به دست می‌آوریم: الگو:وسط‌چین $\rho (\mathit{\beta }\mid 𝐃)=\frac{\rho (𝐃\mid \mathit{\beta })\times \rho (\mathit{\beta })}{\rho (𝐃)}=𝒩(\beta \mid {\mathit{\mu }}_{𝐧},{\mathrm{\Sigma }}_{𝐧})$ الگو:پایان وسط‌چین در اینجا ${\mathit{\mu }}_{𝐧}=\mathit{\beta }{\mathrm{\Sigma }}_{𝐧}{𝐗}^t𝐲$ و ${{\mathrm{\Sigma }}_{𝐧}}^{-1}=\alpha 𝐈+\beta {𝐗}^t𝐗$

برای پیش‌بینی یک بردار جدید $𝐱$ از رابطه پایین استفاده می‌کنیم: الگو:وسط‌چین $\rho (y\mid 𝐱,𝐃,\alpha ,\gamma )=\int \rho (y\mid \beta ,\gamma )\times p(\beta \mid 𝐃,\alpha ,\gamma )=𝒩(y\mid m_{𝐧}^{𝐭}𝐱,\frac{1}{\gamma }+{𝐱}^t{\mathrm{\Sigma }}_{𝐧}𝐱)$ الگو:سخ الگو:پایان وسط‌چیندر اینجا ${𝐦}_{𝐧}=\gamma {\mathrm{\Sigma }}_{𝐧}{𝐗}^t𝐲$.

با استفاده از این تابع پیش‌بینی اگر میانگین یا میانه توزیع را به عنوان پیش‌بینی نهایی در نظر بگیریم جواب ${\left(\gamma {\mathrm{\Sigma }}_{𝐧}{𝐗}^t𝐲\right)}^t𝐱$ خواهد بود.

جستارهای وابسته

• کمینه مربعات خطی
• رگرسیون خطی
• رگرسیون لجیستیک
• رگرسیون پواسون