هسته چندجمله‌ای

در یادگیری ماشینی، هسته چندجمله‌ای یک تابع هسته است که معمولاً با ماشین‌های بردار پشتیبان (SVM) و سایر مدل‌های مبتنی بر هسته استفاده می‌شود.

نگاشت $\phi$. در سمت چپ مجموعه‌ای از نمونه‌ها در فضای ورودی، در سمت راست همان نمونه‌ها در فضای ویژگی که هسته چندجمله‌ای $K(x,y)$ (برای برخی از مقادیر پارامترها $c$ و $d$) محصول درونی است. ابرصفحه‌ای که در فضای ویژگی توسط یک ماشین بردار پشتیبان یادگرفته می‌شود، یک بیضی در فضای ورودی است.

این هسته شباهت بردارها (ورودی‌های آموزش) را در فضای ویژگی جدید که یک چندجمله‌ای ساخته‌شده از ورودی هاست نشان می‌دهد. با این کار ما امکان یادگیری مدل‌های غیرخطی را به‌دست می‌آوریم.

به‌طور شهودی، هسته چندجمله‌ای تنها از ویژگی‌های داده شده در نمونه‌های ورودی برای تعیین شباهت آنها استفاده نمی‌کند، بلکه ترکیبی از آنها را نیز در نظر می‌گیرد.

تعریف

برای چندجمله‌ای‌های درجه الگو:Mvar، هستهٔ چندجمله‌ای به صورت زیر تعریف می‌شود. الگو:وسط‌چین $K(x,y)=(x^{𝖳}y+c{)}^d$ الگو:پایان وسط‌چین که در آن الگو:Mvar و الگو:Mvar بردارهایی در فضای ورودی هستند، یعنی نمونه‌هایی که در دادگان آموزش یا تست وجود دارند.

الگو:ریاضی یک پارامتر آزاد است که تأثیر عبارات درجه بالاتر یا پایین‌تر را مشخص می‌کند. وقتی الگو:ریاضی باشد، هسته همگن نامیده می‌شود. (یک هستهٔ تعمیم‌یافته‌تر این است که الگو:ریاضی را بر یک پارامتر اسکالر مانند الگو:Mvar که توسط کاربر مشخص می‌شود تقسیم کنیم.)

به عنوان یک هسته، الگو:Mvar نتیجهٔ یک ضرب داخلی در یک فضای ویژگی جدید است. برای رفتن به فضای جدید از نگاشت الگو:Mvar استفاده می‌شود: الگو:وسط‌چین $K(x,y)=⟨\phi (x),\phi (y)⟩$ الگو:پایان وسط‌چین کارکرد الگو:Mvar را می‌توان در یک مثال بررسی کرد. الگو:ریاضی را در نظر بگیرید، بنابراین ما یک حالت خاص از هسته یعنی هستهٔ درجه دوم را داریم. الگو:وسط‌چین $K(x,y)={(\sum _{i=1}^n{x}_i{y}_i+c)}^2=\sum _{i=1}^n\left(x_i^2\right)\left(y_i^2\right)+\sum _{i=2}^n\sum _{j=1}^{i-1}\left(\sqrt{2}{x}_i{x}_j\right)\left(\sqrt{2}{y}_i{y}_j\right)+\sum _{i=1}^n\left(\sqrt{2c}{x}_i\right)\left(\sqrt{2c}{y}_i\right)+c^2$ الگو:پایان وسط‌چین بنابراین نگاشت الگو:Mvar به صورت زیر خواهد بود. الگو:وسط‌چین $\phi (x)=⟨x_n^2,\dots ,x_1^2,\sqrt{2}{x}_n{x}_{n-1},\dots ,\sqrt{2}{x}_n{x}_1,\sqrt{2}{x}_{n-1}{x}_{n-2},\dots ,\sqrt{2}{x}_{n-1}{x}_1,\dots ,\sqrt{2}{x}_2{x}_1,\sqrt{2c}{x}_n,\dots ,\sqrt{2c}{x}_1,c⟩$ الگو:پایان وسط‌چین حالت کلی ${({𝐱}^T𝐲+c)}^d$ ، زمانی که $𝐱\in {ℝ}^n$ ، $𝐲\in {ℝ}^n$ است برابر خواهد بود با: الگو:وسط‌چین $\begin{array}{cc}{({𝐱}^T𝐲+c)}^d& =\sum _{j_1+j_2+\dots +j_{n+1}=d}\frac{\sqrt{d!}}{\sqrt{j_1!\cdots j_n!j_{n+1}!}}{x}_1^{j_1}\cdots x_n^{j_n}{\sqrt{c}}^{j_{n+1}}\frac{\sqrt{d!}}{\sqrt{j_1!\cdots j_n!j_{n+1}!}}{y}_1^{j_1}\cdots y_n^{j_n}{\sqrt{c}}^{j_{n+1}}\\ & =\phi (𝐱{)}^T\phi (𝐲)\end{array}$ الگو:پایان وسط‌چین الگو:وسط‌چین $\phi (𝐱)=(a_1,\dots ,a_l,\dots ,a_{l_d})$ الگو:پایان وسط‌چین که آخرین عبارت به صورت $l_d=(\genfrac{}{}{0ex}{}{n+d}{d})$ است. و همچنین: الگو:وسط‌چین $a_l=\frac{\sqrt{d!}}{\sqrt{j_1!\cdots j_n!j_{n+1}!}}{x}_1^{j_1}\cdots x_n^{j_n}{\sqrt{c}}^{j_{n+1}}|j_1+j_2+\dots +j_n+j_{n+1}=d$ الگو:پایان وسط‌چین

کاربرد

اگرچه هسته تابع پایه شعاعی (RBF) در طبقه‌بندی به کمک ماشین بردار پشتیبانی از هسته چندجمله‌ای محبوب‌تر است، ولی هستهٔ چندجمله‌ای در پردازش زبان طبیعی بسیار محبوب‌تر است.

رایج‌ترین درجه الگو:ریاضی است، زیرا در مسائل پردازش زبان طبیعی درجات بزرگ‌تر تمایل به بیش‌برازش دارند.

مشکل

یکی از مشکلات هسته چندجمله‌ای این است که ممکن است پایداری عددی نداشته باشید به این معنا که وقتی الگو:ریاضی باشد آنگاه الگو:ریاضی با افزایش الگو:Mvar به صفر میل می‌کند در حالی که وقتی که داشته باشیم الگو:ریاضی آنگاه الگو:ریاضی به بی‌نهایت تمایل دارد.