تئوری کارانن-لوف

قضیهٔ کارهونِن-لُواِو (به انگلیسی: Karhunen-Loève Theorem) یا تبدیل کارهونِن-لُواِو، یک فرایند تصادفی در یک بازهٔ کران‌دار را با ترکیب خطی نامحدودی از توابع متعامد نمایش می‌دهد.

این قضیه به افتخار کاری کارهونِن و میشل لُواِو نامیده شده‌است، و به آن قضیه کُوسامبی-کارهونن-لواو (به انگلیسی: Kosambi-Karhunen-Loève) هم گفته می‌شود.

این تبدیل هم‌چنین به تبدیل هُتِلینگ و تبدیل بردار ویژه نیز شناخته می‌شود و با تحلیل مولفه اصلی (به انگلیسی: Principal Component Analysis, PCA) مرتبط است که در پردازش تصویر و آنالیز داده‌ها، فراوان استفاده می‌شود.

در مقایسه با تبدیل فوریه که ضرایب آن اعداد معیّن (deterministic) و پایه‌های آن توابع سینوسی هستند، ضرایب تبدیل کارهونن-لُواِو متغیرهای تصادفی هستند و پایه‌های آن بستگی به فرایند دارند. می‌توان گفت این تبدیل به‌گونه‌ای با فرایند تصادفی سازگار می‌شود که به بهترین پایه‌ها برای آن فرایند می‌انجامد.

برای یک فرایند تصادفی متمرکز الگو:ریاضی (الگو:ریاضی، الگو:ریاضی) می‌نویسیم:

$X_t=\sum _{k=1}^{\mathrm{\infty }}{Z}_k{c}_k(t)$

که در آن $Z_k$ها متغیرهای تصادفی، و دوبه‌دو ناهمبسته هستند و $c_k$ها، توابع پیوسته حقیقی در بازهٔ الگو:Math و دوبه‌دو در الگو:Math متعامد هستند. فرایندی که متمرکز نیست را می‌توان با الگو:Math متمرکز کرد.

اگر فرایند گاوسی باشد، $Z_k$ها گاوسی و مستقل آماری هستند. یک مثال از یک فرایند متمرکز در بازهٔ الگو:ریاضی، فرایند وینر است.

فرمول

• X_t یک فرایند تصادفی با میانگین صفر و انتگرال‌پذیر برای مربع آن در فضای احتمال الگو:ریاضی تعریف می‌شود و نمایه آن در بازهٔ بستهٔ الگو:ریاضی با تابع کوواریانس الگو:ریاضی. به این ترتیب:

$\mathrm{\forall }t\in [a,b]X_t\in L^2(\mathrm{\Omega },F,𝐏),$

$\mathrm{\forall }t\in [a,b]𝐄[X_t]=0,$

$\mathrm{\forall }t,s\in [a,b]K_X(s,t)=𝐄[X_s{X}_t].$

• یک عملگر خطی T_KX را در K_X اعمال می‌کنیم. T_KX به این صورت تعریف می‌شود:

$T_{K_X}:L^2([a,b])\to L^2([a,b]):f\mapsto T_{K_X}f=\underset{a}{\overset{b}{\int }}{K}_X(s,\cdot )f(s)ds$

ازآنجاکه T_KX یک عمل‌گر خطی‌ست، مقدار ویژه λ_k و تابع ویژه e_k دارد، که در معادله‌ انتگرالی زیر، به هم مربوط می‌شوند:

$\underset{a}{\overset{b}{\int }}{K}_X(s,t)e_k(s)ds={\lambda }_k{e}_k(t)$

بیانی از قضیه

قضیه. الگو:Mvar را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال الگو:Math و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس پیوستهٔ الگو:ریاضی در نظر می‌گیریم.

حال الگو:ریاضی یک هسته ی Mercer است و e_k را یک پایهٔ متعامد بر روی الگو:Math می‌گیریم که از توابع ویژهٔ T_KX دارای مقدار ویژهٔ الگو:Mvar تشکیل شده‌است. می‌توان الگو:Mvar را به صورت زیر بیان کرد

$X_t=\sum _{k=1}^{\mathrm{\infty }}{Z}_k{e}_k(t)$

که در L² هم‌گراست و

$Z_k=\underset{a}{\overset{b}{\int }}{X}_t{e}_k(t)dt$

همچنین متغیرهای تصادفی Z_k دارای میانگین صفر، ناهم‌بسته و دارای واریانس λ_k هستند

$𝐄[Z_k]=0,\mathrm{\forall }k\in \mathbb{N}\text{and}𝐄[Z_i{Z}_j]={\delta }_{ij}{\lambda }_j,\mathrm{\forall }i,j\in \mathbb{N}$

اثبات

• تابع کوواریانس K_X شرایط تعریف هسته‌ی Mercer را داراست. طبق تئوری Mercer، یک مجموعهٔ {λ_k, e_k(t)} وجود دارد که از مقدار ویژه‌ها و توابع ویژهٔ T_KX، یک مجموعه متعامد از L²([a,b]) تشکیل می‌دهند و K_X را نیز می‌توان به صورت زیر نمایش داد:

$K_X(s,t)=\sum _{k=1}^{\mathrm{\infty }}{\lambda }_k{e}_k(s)e_k(t)$

• فرایند X_t می‌تواند به صورت تابعی از e_kها به صورت زیر بسط پیدا کند:

$X_t=\sum _{k=1}^{\mathrm{\infty }}{Z}_k{e}_k(t)$

که در آن ضرایب (متغیرهای تصادفی) Z_k به صورت زیر به دست می‌آیند:

$Z_k=\underset{a}{\overset{b}{\int }}{X}_t{e}_k(t)dt$

• حال خواهیم داشت:

$\begin{array}{cc}𝐄[Z_k]& =𝐄[\underset{a}{\overset{b}{\int }}{X}_t{e}_k(t)dt]=\underset{a}{\overset{b}{\int }}𝐄[X_t]e_k(t)dt=0\\ [8pt]𝐄[Z_i{Z}_j]& =𝐄[\underset{a}{\overset{b}{\int }}\underset{a}{\overset{b}{\int }}{X}_t{X}_s{e}_j(t)e_i(s)dtds]\\ & =\underset{a}{\overset{b}{\int }}\underset{a}{\overset{b}{\int }}𝐄\left[X_t{X}_s\right]e_j(t)e_i(s)dtds\\ & =\underset{a}{\overset{b}{\int }}\underset{a}{\overset{b}{\int }}{K}_X(s,t)e_j(t)e_i(s)dtds\\ & =\underset{a}{\overset{b}{\int }}{e}_i(s)(\underset{a}{\overset{b}{\int }}{K}_X(s,t)e_j(t)dt)ds\\ & ={\lambda }_j\underset{a}{\overset{b}{\int }}{e}_i(s)e_j(s)ds\\ & ={\delta }_{ij}{\lambda }_j\end{array}$

که در آن از این نکته استفاده شده است که e_kها توابع ویژهٔ T_KX بوده و متعامد هستند.

• حال نشان می‌دهیم که همگرایی در L² است. فرض می‌کنیم

$S_N=\sum _{k=1}^N{Z}_k{e}_k(t).$

آنگاه:

$\begin{array}{cc}𝐄\left[{|X_t-S_N|}^2\right]& =𝐄\left[X_t^2\right]+𝐄\left[S_N^2\right]-2𝐄\left[X_t{S}_N\right]\\ & =K_X(t,t)+𝐄[\sum _{k=1}^N\sum _{l=1}^N{Z}_k{Z}_l{e}_k(t)e_l(t)]-2𝐄[X_t\sum _{k=1}^N{Z}_k{e}_k(t)]\\ & =K_X(t,t)+\sum _{k=1}^N{\lambda }_k{e}_k(t{)}^2-2𝐄[\sum _{k=1}^N\underset{a}{\overset{b}{\int }}{X}_t{X}_s{e}_k(s)e_k(t)ds]\\ & =K_X(t,t)-\sum _{k=1}^N{\lambda }_k{e}_k(t{)}^2\end{array}$

که طبق قضیهٔ Mercer به صفر میل می‌کند.

مشخصات تبدیل کارهونن-لُواِو

حالت خاص: توزیع گاوسی

ازآنجاکه حد امید ریاضی متغیرهای تصادفی مشترکاً گاوسی، خود مشترکاً گاوسی هستند و متغیرهای تصادفی گاوسی مستقل هستند اگر و فقط اگر متعامد باشند، می‌توان نتیجه گرفت: قضیه. متغیر تصادفی الگو:Mvar دارای توزیع مشترک گاوسی است و به‌طور تصادفی مستقل است اگر فرایند اولیه الگو:Math گاوسی باشد.

در این حالت (گاوسی بودن)، از آنجایی که الگو:Mvarها مستقل هستند، می‌توان گفت:

$\underset{N\to \mathrm{\infty }}{\lim }\sum _{i=1}^N{e}_i(t)Z_i(\omega )=X_t(\omega )$

almost surely.

بسط کارهونِن-لُواِو فرایند را ناهمبسته می‌کند

این نتیجه از استقلال الگو:Mvar حاصل می‌شود.

بسط کارهونِن-لُواِو مقدار خطای میانگین مربعات را به حداقل می‌رساند

در بخش معرفی، بیان کردیم که بسط خلاصه شدهٔ کارهونِن-لُواِو بهترین تخمین برای یک فرایند است به طوری که خطای میانگین مربعات حداقل شود. به خاطر همین خصوصیت است که بیان می‌شود این تبدیل به‌طور بهینه انرژی را فشرده (ذخیره) می‌کنند. به‌طور دقیق تر، برای هر پایهٔ متعامد {f_k} از فضای L²([a, b])، می‌توان فرایند X_t را به صورت زیر تجزیه کرد:

$X_t(\omega )=\sum _{k=1}^{\mathrm{\infty }}{A}_k(\omega )f_k(t)$

که در آن

$A_k(\omega )=\underset{a}{\overset{b}{\int }}{X}_t(\omega )f_k(t)dt$

و می‌توان X_t را با جمع متناهی زیر برای هر عدد صحیح 'N به صورت زیر تخمین زد

${\hat{X}}_t(\omega )=\sum _{k=1}^N{A}_k(\omega )f_k(t)$

یافتن واریانس

یک نتیجهٔ مهم این تبدیل را می‌توان این مورد در نظر گرفت که از آنجایی که Z_kها در تبدیل کارهونِن-لُواِو ناهمبسته هستند، Bienaymé formula نتیجه می‌دهد که X_t برابر است با جمع واریانس جملات جمع، داریم:

$\text{Var}[X_t]=\sum _{k=0}^{\mathrm{\infty }}{e}_k(t{)}^2\text{Var}[Z_k]=\sum _{k=1}^{\mathrm{\infty }}{\lambda }_k{e}_k(t{)}^2$

تعریف شده روی [a, b] و استفاده از این مسئله که e_kها متعامد هستند، نتیجه می‌گیریم که واریانس کل فرایند برابر است با:

$\underset{a}{\overset{b}{\int }}\text{Var}[X_t]dt=\sum _{k=1}^{\mathrm{\infty }}{\lambda }_k$