تنظیم تیخونوف

تنظیم تیخونوف، که به نام آندره تیخونوف نامگذاری شده‌است، روشی برای منظم‌سازی در مسئله کمترین مربعات است.^[۱] این روش معمولاً در مدلهایی که تعداد زیادی پارامتر دارند خوب عمل می‌کند. به‌طور کلی، این روش در ازای مقدار قابل اغماضی از اریبی، باعث بهبود بازدهی برآورد پارامتر می‌شود.^[۲]

تعریف ریاضی

کمترین مربعات

در مسئله کمترین مربعات هدف یافتن بردار $\vec{β}$ است به قسمی که $L (D, \vec{β}) = | | X \vec{β} - Y | |^{2}$ به کمترین مقدار ممکن برسد. در اینجا $X$ یک ماتریس $k \times k$ ، $\vec{β}$ و $Y$ بردارهای $k \times 1$ هستند و $D = {X, Y}$ . برای پیداکردن بهینه تابع، گرادیان $L (D, \vec{β})$ را حساب کرده با صفر برابر می‌کنیم. نخست $L (D, \vec{β})$ را بسط می‌دهیم: الگو:وسط‌چین $\begin{matrix} L (D, \vec{β}) & = | | X \vec{β} - Y | |^{2} \\ = (X \vec{β} - Y)^{⊤} (X \vec{β} - Y) \\ = Y^{⊤} Y - Y^{⊤} X \vec{β} - {\vec{β}}^{⊤} X^{⊤} Y + {\vec{β}}^{⊤} X^{⊤} X \vec{β} \end{matrix}$ الگو:پایان وسط‌چین

حال گرادیان این تابع را نسبت به $\vec{β}$ پیدا می‌کنیم که می‌شود: الگو:وسط‌چین $\begin{matrix} \frac{\partial L (D, \vec{β})}{\partial \vec{β}} & = \frac{\partial (Y^{⊤} Y - Y^{⊤} X \vec{β} - {\vec{β}}^{⊤} X^{⊤} Y + {\vec{β}}^{⊤} X^{⊤} X \vec{β})}{\partial \vec{β}} \\ = - 2 X^{⊤} Y + 2 X^{⊤} X \vec{β} \end{matrix}$ الگو:پایان وسط‌چین با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید: الگو:وسط‌چین $- 2 X^{⊤} Y + 2 X^{⊤} X \vec{β} = 0 \Rightarrow X^{⊤} Y = X^{⊤} X \vec{β} \Rightarrow \vec{\hat{β}} = (X^{⊤} X)^{- 1} X^{⊤} Y$ الگو:پایان وسط‌چین

تنظیم تیخونوف

یکی از مشکلات اساسی که در این روش کمترین مربعات وجود دارد مشکل عدم وجود ماتریس وارون برای $(𝐗^{𝖳} 𝐗)$ است. برای حل این مشکل تنظیم تیخونوف تابع $L (D, \vec{β})$ را به تابع پایین تغییر می‌دهد:^[۲]^[۳] الگو:وسط‌چین $\begin{matrix} L (D, \vec{β}) & = | | X \vec{β} - Y | |^{2} + | | Γ \vec{β} | |^{2} \\ = (X \vec{β} - Y)^{⊤} (X \vec{β} - Y) + {\vec{β}}^{⊤} Γ^{⊤} Γ \vec{β} \\ = Y^{⊤} Y - Y^{⊤} X \vec{β} - {\vec{β}}^{⊤} X^{⊤} Y + {\vec{β}}^{⊤} X^{⊤} X \vec{β} \end{matrix}$ الگو:پایان وسط‌چین حال گرادیان این تابع را نسبت به $\vec{β}$ پیدا می‌کنیم که می‌شود: الگو:وسط‌چین $\begin{matrix} \frac{\partial L (D, \vec{β})}{\partial \vec{β}} & = \frac{\partial (Y^{⊤} Y - Y^{⊤} X \vec{β} - {\vec{β}}^{⊤} X^{⊤} Y + {\vec{β}}^{⊤} X^{⊤} X \vec{β} + {\vec{β}}^{⊤} X^{⊤} X \vec{β})}{\partial \vec{β}} \\ = - 2 X^{⊤} Y + 2 X^{⊤} X \vec{β} + 2 \vec{β} Γ^{⊤} Γ \end{matrix}$ الگو:پایان وسط‌چین با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید: الگو:وسط‌چین $- 2 X^{⊤} Y + 2 X^{⊤} X \vec{β} + 2 \vec{β} Γ^{⊤} Γ = 0 \Rightarrow X^{⊤} Y = (X^{⊤} X + Γ^{⊤} Γ) \vec{β} \Rightarrow \vec{\hat{β}} = (X^{⊤} X + Γ^{⊤} Γ)^{- 1} X^{⊤} Y$ الگو:پایان وسط‌چین پس پارامتر بهینه ما برابر است با: الگو:وسط‌چین $\vec{\hat{β}} = (𝐗^{⊤} 𝐗 + Γ^{⊤} Γ)^{- 𝟏} 𝐗^{⊤} 𝐘$ الگو:پایان وسط‌چین

رگرسیون ستیغی

اگر $Γ$ را با $α I$ (در اینجا $I$ ماتریس همانی است) برابر قرار دهیم، به جواب پایین می‌رسیم که همان رگرسیون ستیغی است. در این رگرسیون سعی بر این است که مقادیر پارامتر زیاد بزرگ نشود تا بیش‌برازش اتفاق نیفتد. با استفاده از ضریب لاگرانژ می‌توان نشان داد که این روش معادل بهینه‌سازی $\min_{\vec{β}} | | X \vec{β} - Y | |^{2}$ تحت محدودیتِ $\sum β_{i}^{2} \leq c$ به ازای یک عدد $c$ است.^[۴]الگو:سخ الگو:وسط‌چین $\vec{\hat{β}} = (𝐗^{⊤} 𝐗 + α^{𝟐} 𝐈)^{- 𝟏} 𝐗^{⊤} 𝐘$ الگو:پایان وسط‌چین

جستارهای وابسته

منابع

الگو:پانویس

[1] الگو:Cite book

[:0-2] ۲٫۰ ^۲٫۱ الگو:Cite book

[3] الگو:Cite journal

[4] الگو:Cite conference

[۱]

[۲]

[۳]

[۴]

تنظیم تیخونوف

فهرست

تعریف ریاضی

کمترین مربعات

تنظیم تیخونوف

رگرسیون ستیغی

جستارهای وابسته

منابع

منوی ناوبری

تنظیم تیخونوف

تعریف ریاضی

کمترین مربعات

تنظیم تیخونوف

رگرسیون ستیغی

جستارهای وابسته

منابع

منوی ناوبری

جستجو