یادگیری انتقال

انتقال یادگیری (TL) یک موضوع تحقیقاتی در یادگیری ماشین (ML) است که بر روی ذخیره دانش به دست آمده در هنگام حل یک مسئله و استفاده از آن در یک مسئله متفاوت ولی مرتبط متمرکز است. به عنوان مثال ، دانش به دست آمده در هنگام یادگیری شناخت ماشین می تواند هنگام تلاش برای شناسایی کامیون ها به کار رود.از دیدگاه عملی، استفاده دوباره یا انتقال اطلاعات از وظایف قبلاً یاد گرفته شده برای یادگیری وظایف جدید این توانایی را دارد که به طور قابل توجهی کارایی نمونه یک عامل یادگیری تقویت کننده را بهبود بخشد.

تاریخ

در سال 1976 استوو بوزینوفسکی(Stevo Bozinovski) و آنته فولگوسی( Ante Fulgosi) مقاله ای را منتشر کردند که صریحاً به یادگیری انتقال در آموزش شبکه های عصبی می پردازد.

در سال 1997 ، لورین پرت(Lorien Pratt) و سباستین ترون ( Sebastian Thrun) یک نسخه ویژه از یادگیری ماشین را که به انتقال یادگیری اختصاص یافته بود ،تولید کردند و تا سال 1998 ، این رشته شامل یادگیری چند کاره بود ، همراه با تجزیه و تحلیل رسمی تر از مبانی نظری آن. پایه ها یادگیری برای یاد گرفتن(Learning to Learn) ، الگو:Sfn ویرایش شده توسط Thrun و Pratt ، مروری بر این موضوع در سال 1998 است.

Andrew Ng در آموزش NIPS 2016 خود گفت که TL پس از یادگیری نظارت شده برای برجسته کردن اهمیت TL ، عامل بعدی موفقیت تجاری ML خواهد بود.

تعریف

• تعریف یادگیری انتقالی از نظر حوزه ها و وظایف ارائه شده است. یک دامنه $𝒟$ شامل: یک فضای ویژگی $𝒳$ و یک توزیع احتمال حاشیه ای $P(X)$ ، به طوری که$X=\{x_1,...,x_n\}\in 𝒳$ . با توجه به یک دامنه خاص ، $𝒟=\{𝒳,P(X)\}$ ، یک کار از دو جز تشکیل شده است: فضای برچسب $𝒴$ و یک عملکرد پیش بینی عینی $f:𝒳\to 𝒴$ . تابع $f$ برای پیش بینی برچسب مربوطه استفاده می شود $f(x)$ از یک نمونه جدید $x$ . این وظیفه ، مشخص شده توسط $𝒯=\{𝒴,f(x)\}$ ، از داده های آموزشی متشکل از جفت آموخته می شود $\{x_i,y_i\}$ ، به طوری که که $x_i\in X$ و $y_i\in 𝒴$ .

با توجه به دامنه منبع ${𝒟}_S$ و کار یادگیری ${𝒯}_S$ ، یک دامنه هدف ${𝒟}_T$ و یادگیری کار ${𝒯}_T$ ، به طوری که ${𝒟}_S\ne {𝒟}_T$ ، یا ${𝒯}_S\ne {𝒯}_T$ ، یادگیری انتقال با هدف کمک به بهبود یادگیری عملکرد پیش بینی تابع $f_T(\cdot )$ که در ${𝒟}_T$ با استفاده از دانش در ${𝒟}_S$ و ${𝒯}_S$ است .

برنامه های کاربردی

الگوریتم ها برای یادگیری انتقال در شبکه های منطقی مارکوف(Markov logic networks) و شبکه های بیزی (Bayesian networks)در دسترس هستند. یادگیری انتقال نیز در کشف زیر نوع سرطان ، استفاده از ساختمان ، بازی عمومی ، طبقه بندی متن ، تشخیص رقم ، تصویربرداری پزشکی و فیلتر کردن هرزنامه(spam) اعمال شده است. .

در سال 2020 کشف شد که، با توجه به طبیعت جسمی مشابه خود، یادگیری انتقال بین سیگنال های الکترومایوگرافی (EMG) از ماهیچه ها به هنگام طبقه بندی رفتار امواج مغزی (EEG) ممکن است. همچنین اشاره شد که این رابطه برعکس عمل می کند ، نشان می دهد که می توان از EEG برای طبقه بندی EMG علاوه بر این استفاده کرد. این آزمایش‌ها نشان داد که دقت شبکه های عصبی و شبکه های عصبی کانولوشن با یادگیری انتقال هم در دوره اول (قبل از هرگونه یادگیری ، یعنی در مقایسه با توزیع وزن تصادفی استاندارد) و هم در مجانب (انتهای فرایند یادگیری). یعنی الگوریتم ها با قرار گرفتن در دامنه دیگری بهبود می یابند. علاوه بر این ، کاربر نهایی یک مدل از پیش آموزش دیده می تواند ساختار لایه های کاملاً متصل را برای دستیابی به عملکرد برتر تغییر دهد.

همچنین ببینید

• کراس اوور (الگوریتم ژنتیک)
• سازگاری دامنه
• بازی عمومی
• یادگیری چند کاره
• بهینه سازی چند وظیفه ای