تابع پیش‌بینی‌کننده خطی

در آمار و یادگیری ماشینی، تابع پیش‌بینی‌کننده خطی یک تابع از ترکیب خطی متغیرهای مستقل (حاصل‌جمعِ ضرب یک سری از ضرایب با متغیرهای مستقل) است که برای پیش‌بینی یک متغیر وابسته استفاده می‌شود. ساده‌ترین نوع این توابع رگرسیون خطی، که در آن ضرایب، ضرایب رگرسیون نامیده می شوند. با این حال، آنها همچنین در انواع مختلف مدلهای دسته‌بندی مانند رگرسیون لجستیک، پرسپرون، ماشین‌های بردار پشتیبانی، و تجزیه و تحلیل تمایز خطی، و همچنین در مدل‌های مختلف دیگر مانند تجزیه و تحلیل مؤلفه اصلی و تحلیل عاملی. در بسیاری از این مدلها به ضرایب «وزن» گفته می‌شود.

تعریف ریاضی

اگر مجموع متغیرهای مستقل را $x$ بنامیم و متغیر وابسته را با $y$ نمایش دهیم پیش‌بینی $y$ بر اساس $x$ در توابع پیش‌بینی‌کننده خطی به شکل پایین صورت می‌پذیرد. به عبارت ساده‌تر برای پیش‌بینی متغیر وابسته فقط به ترکیب خطی متغیرهای مستقل نیاز است. در این فرمول فرض بر این است که تعداد ابعاد $x$، $p$ است: الگو:وسط‌چین $f(x)=g({\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p)$ الگو:پایان وسط‌چین در رگرسیون خطی، تابع $g(\cdot )$ تابع همانی است به این معنی که: الگو:وسط‌چین $f(x)={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p$ الگو:پایان وسط‌چین در رگرسیون لجیستیک تابع $f(\cdot )$به این شکل تعریف می‌شود، در این فرمول تابع سیگموید احتمال اینکه متغیر وابسته ۱ باشد را از طریق ترکیبی خطی از متغیرهای مستقل تعیین می‌کند: الگو:وسط‌چین $f(x)=\{\begin{array}{cc}1,& \text{if }\sigma ({\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p)>0.5\\ 0,& \text{otherwise}\end{array}$ الگو:پایان وسط‌چین در ماشین‌های بردار پشتیبانی $g(\cdot )$ تابع علامت است به این معنی که مقدار متغیر وابسته بسته به اینکه در کدام طرف اَبَرصفحه حاصل از ترکیب خطی متغیرهای مستقل قرار می‌گیرد تعیین می‌شود، در اینجا فرض بر این است که متغیرهای وابسته مقدار مثبت یا منفی یک می‌گیرند: الگو:وسط‌چین $f(x)=\text{sign}({\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p)$ الگو:پایان وسط‌چین

تابع تعمیم یافته

برای پیش‌بینی بهتر متغیر وابسته گاهی ترکیب خطی از نگاشتی از متغیرهای مستقل را در نظر می‌گیرند نه خود آنها را به این معنی که: الگو:وسط‌چین $f(x)=g({\beta }_0+{\beta }_1\varphi (x{)}_1+\cdots +{\beta }_h\varphi (x{)}_h)$ الگو:پایان وسط‌چین در این تابع $x$ از فضای $p$ بُعدی به یک فضای $h$ بُعدی از طریق نگاشت $\varphi$ منتقل شده‌است و سپس در آن فضا مقادیر جدید از طریق ترکیب خطی با هم ترکیب شده‌اند.

به عنوان مثال در رگرسیون خطی تک متغیره می‌توان چندین متغیر وابسته را از طریق یک چند جمله‌ای درجه $h$ حساب کرد، که این کار معادل نگاشت متغیر مستقل به یک فضای $h$ بعدی و انجام رگرسیون در آن فضاست: الگو:وسط‌چین $f(x)={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+\cdots +{\beta }_h{x}^h$ الگو:پایان وسط‌چین