نمایش مبدأ برای شبکه عصبی پیچشی

{{یادگیری ماشین}}
'''شبکه‌های عصبی پیچشی یا همگشتی''' {{به انگلیسی|convolutional neural network}} {{مخفف انگلیسی|CNN یا ConvNet}} رده‌ای از [[شبکه عصبی عمیق|شبکه‌های عصبی ژرف]] هستند که معمولاً برای انجام تحلیل‌های تصویری یا گفتاری در [[یادگیری ماشین]] استفاده می‌شوند.

[[شبکه عصبی مصنوعی|شبکه‌های عصبی]] پیچشی به منظور کمینه کردن پیش‌پردازش‌ها از گونه‌ای از [[پرسپترون]]<nowiki/>های چندلایه استفاده می‌کنند.<ref name="LeCun">{{cite web|url=http://yann.lecun.com/exdb/lenet/|title=LeNet-5, convolutional neural networks|accessdate=16 November 2013|last=LeCun|first=Yann}}</ref> به جای شبکه عصبی پیچشی گاهی از این شبکه‌ها با نام شبکه‌های عصبی تغییرناپذیر با انتقال (shift invariant) یا تغییرناپذیر با فضا (space invariant) هم یاد می‌شود. این نام‌گذاری بر مبنای ساختار این شبکه است که در ادامه به آن اشاره خواهیم کرد.<ref name=":0">{{Cite journal|url=https://drive.google.com/file/d/0B65v6Wo67Tk5Zm03Tm1kaEdIYkE/view?usp=sharing|title=Shift-invariant pattern recognition neural network and its optical architecture|last=Zhang|first=Wei|date=1988|journal=Proceedings of annual conference of the Japan Society of Applied Physics|issue=|doi=|volume=|pmid=|access-date=|via=}}</ref><ref name=":1">{{Cite journal|url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing|title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture|last=Zhang|first=Wei|date=1990|journal=Applied Optics|issue=32|doi=|volume=29|pmid=|access-date=|via=}}</ref>

ساختار شبکه‌های پیچشی از فرایندهای زیستی قشر بینایی گربه الهام گرفته‌شده‌است. این ساختار به گونه‌ای است که تک‌نورون‌ها تنها در یک ناحیه محدود به تحریک پاسخ می‌دهند که به آن ناحیه پذیرش گفته می‌شود.<ref name="robust face detection">{{Cite journal|url=http://www.iro.umontreal.ca/~pift6080/H09/documents/papers/sparse/matsugo_etal_face_expression_conv_nnet.pdf|title=Subject independent facial expression recognition with robust face detection using a convolutional neural network|last=Matusugu|first=Masakazu|last2=Katsuhiko Mori|journal=Neural Networks|accessdate=17 November 2013|issue=5|doi=10.1016/S0893-6080(03)00115-1|year=2003|volume=16|pages=555–559|last3=Yusuke Mitari|last4=Yuji Kaneda}}</ref> نواحی پذیرش نورون‌های مختلف به صورت جزئی با هم همپوشانی دارند به گونه ای که کل میدان دید را پوشش می‌دهند.

شبکه‌های عصبی پیچشی نسبت به بقیه رویکردهای [[دسته‌بندی تصاویر]] به میزان کمتری از پیش‌پردازش استفاده می‌کنند. این امر به معنی آن است که شبکه معیارهایی را فرامی‌گیرد که در رویکردهای قبلی به صورت دستی فراگرفته می‌شدند. این استقلال از [[دانش پیشین]] و دستکاری‌های انسانی در شبکه‌های عصبی پیچشی یک مزیت اساسی است.

تا کنون کاربردهای مختلفی برای شبکه‌های عصبی از جمله در بینایی کامپیوتر، [[سیستم‌های پیشنهاددهنده]] و [[پردازش زبان‌های طبیعی|پردازش زبان طبیعی]] پیشنهاد شده‌اند.<ref>{{Cite journal|url=http://doi.acm.org/10.1145/1390156.1390177|title=A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning|last=Collobert|first=Ronan|last2=Weston|first2=Jason|date=2008-01-01|journal=Proceedings of the 25th International Conference on Machine Learning|publisher=ACM|doi=10.1145/1390156.1390177|series=ICML '08|location=New York, NY, USA|pages=160–167|isbn=978-1-60558-205-4}}</ref>

== طراحی ==
یک شبکه عصبی پیچشی از یک لایه ورودی، یک لایه خروجی و تعدادی لایه پنهان تشکیل شده‌است. لایه‌های پنهان یا پیچشی هستند، یا تجمعی یا کامل.

=== لایه‌های پیچشی ===
لایه‌های پیچشی یک عمل پیچش را روی ورودی اعمال می‌کنند، سپس نتیجه را به لایه بعدی می‌دهند. این پیچش در واقع پاسخ یک تک‌نورون را به یک تحریک دیداری شبیه‌سازی می‌کند.<ref name="deeplearning">{{Cite web|url=http://deeplearning.net/tutorial/lenet.html|title=Convolutional Neural Networks (LeNet) – DeepLearning 0.1 documentation|accessdate=31 August 2013|website=DeepLearning 0.1|publisher=LISA Lab|archive-date=۲۸ دسامبر ۲۰۱۷|archive-url=https://web.archive.org/web/20171228091645/http://deeplearning.net/tutorial/lenet.html|url-status=dead}}</ref>

هر [[نورون]] پیچشی داده‌ها را تنها برای ناحیه پذیرش خودش پردازش می‌کند. مشبک‌کردن به شبکه‌های پیچشی این اجازه را می‌دهد که انتقال، دوران یا اعوجاج ورودی را تصحیح کنند.

اگرچه [[شبکه عصبی پیشخور|شبکه‌های عصبی پیش‌خور]] کاملاً همبند می‌توانند برای یادگیری ویژگی‌ها و طبقه‌بندی داده به کار روند، این معماری در کاربرد برای تصاویر به کار نمی‌رود. در این حالت حتی برای یک شبکه کم‌عمق تعداد بسیار زیادی نورون لازم است. عمل پیچش یک راه‌حل برای این شرایط است که تعداد پارامترهای آزاد را به عمیق‌تر کردن شبکه کاهش می‌دهد.<ref>{{Cite book|url=https://www.worldcat.org/oclc/987790957|title=Guide to convolutional neural networks: a practical application to traffic-sign detection and classification|last=Habibi,|first=Aghdam, Hamed|others=Heravi, Elnaz Jahani,|isbn=978-3-319-57549-0|location=Cham, Switzerland|oclc=987790957}}</ref>

لایه‌های پیچشی نسبت به شبکه‌های عصبی اولیه تفاوت‌های زیادی دارند که از آن‌ها می‌توان به موارد زیر اشاره کرد:
* تعامل پراکنده (sparse interaction): در این لایه به جای اینکه به ازای هریک از ورودی‌های لایه یک‌وزن تعریف شده باشد و هر ورودی با تمام خروجی‌های لایه در ارتباط باشد، یک [[هسته (پردازش تصویر)|هسته]] (Kernel) مشخص می‌شود که ماتریسی است که ابعاد آن نسبت به ورودی بسیار کوچک است. برای مثال برای پردازش تصویری که میلیون‌ها پیکسل دارد، یک ماتریس هسته با اندازه‌ای در حدود صد تا هزار پیکسل در نظر گرفته می‌شود که به کمک آن می‌توان تمام لبه‌هایی که در تصویر موجود است را مشخص کرد. این به این معناست که اطلاعات کمتری نسبت به ورودی نیاز داریم تا شبکه را آموزش دهیم.<ref>{{پک|Ian Goodfellow and Yoshua Bengio and Aaron Courville|2016||زبان=en|ک=Deep Learning}}</ref>
* اشتراک‌گذاری پارامترها(Parameter Sharing): در یک شبکه عصبی هر یک از درایه‌های ماتریس وزن دقیقاً یکبار در محاسبه خروجی لایه استفاده می‌شود. اما در لایه‌های پیچشی، هریک از درایه‌های ماتریس هسته درتمام موقعیت‌های ورودی استفاده می‌شود. درواقع هربار این ماتریس هسته روی ماتریس ورودی می‌لغزد و تمامی درایه‌های هسته در آن بخش از ورودی ضرب می‌شود. اینکار باعث می‌شود برای تمام لایه تنها نیاز به یادگیری یک ماتریس هسته باشد که در کاهش حجم مورد نیاز کمک می‌کند.<ref>{{پک|Li et. Al.|2019||زبان=en|ک=A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects}}</ref>

[[پرونده:CNN-filter-animation-1.gif|وسط|بندانگشتی|نحوه لغزیدن ماتریس هسته روی ورودی و به دست آوردن ماتریس خروجی]]

=== لایه‌های ادغام ===
لایه‌های ادغام (pooling layer): شبکه‌های عصبی پیچشی ممکن است شامل لایه‌های ادغام محلی یا سراسری باشند که خروجی‌های خوشه‌های نورونی در یک لایه را در یک تک‌نورون در لایه بعدی ترکیب می‌کند.<ref>{{Cite web|url=http://www.image-net.org/challenges/LSVRC/2012/supervision.pdf|title=ImageNet Classification with Deep Convolutional Neural Networks|accessdate=17 November 2013|last=Krizhevsky|first=Alex|archive-date=12 مه 2013|archive-url=https://web.archive.org/web/20130512210811/http://www.image-net.org/challenges/LSVRC/2012/supervision.pdf}}</ref> به عنوان مثال روش حداکثر تجمع (max pooling) حداکثر مقدار بین خوشه‌های نورونی در لایه پیشین استفاده می‌کند.<ref name="mcdns">{{Cite journal|url=http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6248110|title=Multi-column deep neural networks for image classification|last=Ciresan|first=Dan|last2=Meier|first2=Ueli|date=June 2012|journal=2012 [[IEEE Conference on Computer Vision and Pattern Recognition]]|publisher=[[Institute of Electrical and Electronics Engineers]] (IEEE)|accessdate=2013-12-09|doi=10.1109/CVPR.2012.6248110|location=New York, NY|pages=3642–3649|arxiv=1202.2745v1|isbn=978-1-4673-1226-4|oclc=812295155|last3=Schmidhuber|first3=Jürgen}}</ref> مثال دیگر میانگین تجمع (average pooling) است که از مقدار میانگین خوشه‌های نورونی در لایه پیشین استفاده می‌کند.

=== کاملاً همبند ===
لایه‌های کاملاً همبند، هر [[نورون]] در یک لایه را به هر [[نورون]] در لایه دیگر متصل می‌کنند. این رویکرد در اصل مشابه کاری است که در شبکه عصبی [[پرسپترون چندلایه|پرسپترون چند لایه]] (MLP) انجام می‌شود.

=== وزن‌ها ===
شبکه‌های عصبی پیچشی وزن‌ها را در لایه‌های پیچشی به اشتراک می‌گذارند که باعث می‌شود حداقل حافظه و بیشترین کارایی به‌دست بیاید.

== شبکه‌های عصبی متأخر ==
برخی شبکه‌های عصبی متأخر از معماری مشابهی استفاده می‌کنند، مخصوصاً آن‌هایی که برای [[تشخیص تصویر]] یا [[طبقه‌بندی]] استفاده می‌شوند.<ref name="video quality">{{Cite journal|url=http://hal.univ-nantes.fr/docs/00/28/74/26/PDF/A_convolutional_neural_network_approach_for_objective_video_quality_assessment_completefinal_manuscript.pdf|title=A Convolutional Neural Network Approach for Objective Video Quality Assessment|last=Le Callet|first=Patrick|last2=Christian Viard-Gaudin|journal=IEEE Transactions on Neural Networks|accessdate=17 November 2013|issue=5|doi=10.1109/TNN.2006.879766|year=2006|volume=17|pages=1316–1327|pmid=17001990|last3=Dominique Barba|archive-date=۲۳ فوریه ۲۰۱۴|archive-url=https://web.archive.org/web/20140223235359/http://hal.univ-nantes.fr/docs/00/28/74/26/PDF/A_convolutional_neural_network_approach_for_objective_video_quality_assessment_completefinal_manuscript.pdf|url-status=dead}}</ref>

== یادگیری ==
یادگیری ماشینی با نظارت (supervised learning) به دنبال تابعی از میان یک سری توابع هست که [[تابع هزینه]] (loss function) [[داده‌ها]] را بهینه سازد. به عنوان مثال در مسئله رگرسیون [[تابع هزینه]] می‌تواند اختلاف بین پیش‌بینی و مقدار واقعی خروجی به توان دو باشد، یا در مسئله [[طبقه‌بندی]] ضرر منفی لگاریتم احتمال خروجی باشد. مشکلی که در یادگیری [[شبکه‌های عصبی]] وجود دارد این است که این [[مسئله بهینه‌سازی]] دیگر محدب (convex) نیست.<ref name=":02">{{یادکرد کتاب|عنوان=Deep learning|نام خانوادگی=Ian Goodfellow and Yoshua Bengio and Aaron Courville|نام=|ناشر=MIT Press|سال=2016|شابک=|مکان=|صفحات=200}}</ref> ازین رو با مشکل کمینه‌های محلی روبرو هستیم. یکی از روش‌های متداول [[حل مسئله]] بهینه‌سازی در شبکه‌های عصبی [[بازگشت به عقب]] یا همان back propagation است.<ref name=":02"/> روش بازگشت به عقب گرادیانِ تابع هزینه را برای تمام وزن‌های شبکه عصبی محاسبه می‌کند و بعد از روش‌های [[گرادیان کاهشی]] (gradient descent) برای پیدا کردن مجموعه وزن‌های بهینه استفاده می‌کند.<ref name=":12">{{Cite journal|last=Heaton|first=Jeff|date=2017-10-29|title=Ian Goodfellow, Yoshua Bengio, and Aaron Courville: Deep learning|url=http://dx.doi.org/10.1007/s10710-017-9314-z|journal=Genetic Programming and Evolvable Machines|volume=19|issue=1-2|pages=305–307|doi=10.1007/s10710-017-9314-z|issn=1389-2576}}</ref> روش‌های گرادیان کاهشی سعی می‌کنند به صورت متناوب در خلاف جهت گرادیان حرکت کنند و با این کار تابع هزینه را به حداقل برسانند.<ref name=":12"/> پیدا کردن گرادیانِ لایه آخر ساده است و با استفاده از [[مشتق جزئی]] به‌دست می‌آید. گرادیانِ لایه‌های میانی اما به صورت مستقیم به‌دست نمی‌آید و باید از روش‌هایی مانند [[قاعده زنجیری]] در مشتق‌گیری استفاده کرد.<ref name=":12"/> روش بازگشت به عقب از قاعده زنجیری برای محاسبه گرادیان‌ها استفاده می‌کند و همان‌طور که در پایین خواهیم دید، این روش به صورت متناوب گرادیان‌ها را از بالاترین لایه شروع کرده آن‌ها را در لایه‌های پایینتر «پخش» می‌کند.

=== بازگشت به عقب (Backpropagation)، روشی برا محاسبه گرادیانها ===
[[پرونده:شبکه سلولی چهار لایه‌ای .png|جایگزین=تصویری از یک شبکه عصبی با دو لایه پنهان، گرادیان c وابسته به گرادیان لایه‌های بالاتر است که به آنها متصل است.|بندانگشتی|503x503پیکسل|تصویری از یک شبکه عصبی با دو لایه پنهان، گرادیان c وابسته به گرادیان لایه‌های بالاتر است که به آنها متصل است.]]
برای سلول عصبی <math>c</math> ورودیی که از سلول عصبی <math>p</math> به این سلول وارد می‌شود را با <math>b_{pc}</math> نشان می‌دهیم. وزن این ورودی <math>w_{pc}</math> است و مجموع ضرب ورودی‌ها با وزنهایشان را با <math>a_c</math> نمایش می‌دهیم، به این معنی که <math>a_c = \sum_p w_{pc}\times b_{pc}</math>. حال باید بر روی <math>a_c</math> تابعی غیر خطی اعمال کنیم این تابع را <math>\theta_c</math> می‌نامیم و خروجی آن را با <math>b_c</math> نمایش می‌دهیم یعنی <math>b_c = \theta_c(a_c)</math>. به همین شکل خروجیی که از سلول عصبی <math>c</math> خارج شده و به سلول <math>n</math> وارد می‌شود را با <math>b_{cn}</math> نمایش می‌دهیم و وزن آن را <math>w_{cn}</math> می‌نامیم. حال تمام وزن‌های این شبکه عصبی را در مجموعه‌ای به اسم <math>W</math> می‌گنجانیم، هدف یادگیری این وزنهاست.<ref>{{یادکرد وب|وبگاه=DeepAI|نشانی=https://deepai.org/machine-learning-glossary-and-terms/backpropagation|عنوان=Build with AI {{!}} DeepAI|بازبینی=2018-10-24|archiveurl=https://web.archive.org/web/20181017123623/https://deepai.org/machine-learning-glossary-and-terms/backpropagation|archivedate=17 اکتبر 2018|dead-url=yes}}</ref> اگر ورودی ما <math>x</math> باشد و خروجی <math>y</math> و خروجی شبکه عصبی ما <math>h_W(x)</math>، هدف پیدا کردن انتخاب <math>W</math> است به قسمی که برای تمام داده‌ها <math>y</math> و <math>h_W(x)</math> به هم خیلی نزدیک شوند. به عبارت دیگر هدف کوچک کردن یک [[تابع هزینه]] بر روی تمام داده هاست، اگر داده‌ها را با <math>(x_1, y_1), \cdots, (x_n, y_n)</math> و [[تابع هزینه]] را با <math>l</math> نشان دهیم هدف کمینه کردن تابع پایین است:<ref>{{Cite journal|last=A.|first=Nielsen, Michael|date=2015|title=Neural Networks and Deep Learning|url=http://neuralnetworksanddeeplearning.com/chap6.html|language=en|journal=|access-date=20 دسامبر 2018|archive-url=https://web.archive.org/web/20181022004936/http://neuralnetworksanddeeplearning.com/chap6.html|archive-date=22 اکتبر 2018|dead-url=yes}}</ref>
{{وسط‌چین}}
<math>Q(W) = \sum_{i=1}^n l\left(h_W(x_i),\,\,y_i\right)</math>
{{پایان وسط‌چین}}
به عنوان مثال اگر مسئله رگرسیون است برای <math>l</math> می‌توانیم خطای مربعات را در نظر بگیریم و اگر مسئله دسته‌بندی است برای <math>l</math>می‌شود منفی لگاریتم بازنمایی را استفاده کرد.

برای به‌دست آوردن کمینه <math>Q(W)</math> باید از روش [[گرادیان کاهشی]] استفاده کرد، به این معنی که گرادیان تابع را حساب کرده، کمی در خلاف جهت آن حرکت کرده و این کار را آنقدر ادامه داد تا [[تابع هزینه]] خیلی کوچک شود. روش بازگشت به عقب در واقع روشی برای پیدا کردن گرادیان تابع <math>Q(W)</math> است.

حال فرض کنیم می‌خواهیم گرادیان تابع <math>Q(W)</math> را نسبت به وزن <math>w_{pc}</math> به‌دست بیاوریم. برای این کار نیاز به [[قاعده زنجیری]] در مشتق‌گیری داریم. قاعده زنجیری به این شکل کار می‌کند: اگر تابعی داشته باشیم به اسم <math>f</math> که وابسته به سه ورودی <math>u</math>، <math>v</math> و <math>w</math> باشد و هرکدام از این سه ورودی به نوبه خود وابسته به <math>t</math> باشند، مشتق <math>f</math> به <math>t</math> به این شکل محاسبه می‌شود:
{{وسط‌چین}}
<math>\frac{\partial f\left(u(t),v(t),w(t)\right)}{\partial t} = \frac{\partial f}{\partial u} \frac{\partial u}{\partial t} + \frac{\partial f}{\partial v} \frac{\partial v}{\partial t}  + \frac{\partial f}{\partial w} \frac{\partial w}{\partial t} </math>
{{پایان وسط‌چین}}
با استفاده از این قاعده زنجیری روش بازگشت به عقب را به این شکل دنبال می‌کنیم:
{{وسط‌چین}}
<math>\delta_c = \frac{\partial Q}{\partial a_c}
</math>
{{پایان وسط‌چین}}
{{وسط‌چین}}
<math>a_c = \sum_p w_{pc}\times b_{pc}
</math>
{{پایان وسط‌چین}}
{{وسط‌چین}}
<math>b_c = \theta_c (a_c)
</math>
{{پایان وسط‌چین}}
{{وسط‌چین}}
<math>\delta_c = \frac{\partial Q}{\partial a_c} = \frac{\partial Q}{\partial b_c}\frac{\partial b_c}{\partial a_c} = \frac{\partial Q}{\partial b_c} \times \acute{\theta}_c (a_c) = \left(\sum_n \frac{\partial Q}{\partial a_n}\frac{\partial a_n}{\partial b_c}\right) \times \acute{\theta}_c (a_c) = \left(\sum_n w_{cn}\delta_n \right) \times \acute{\theta}_c (a_c)
</math>
{{پایان وسط‌چین}}
{{وسط‌چین}}
<math>\frac{\partial Q}{\partial w_{pc}} = \frac {\partial Q}{\partial a_c} \frac {\partial a_c}{\partial w_{pc}}  = \delta_c b_p </math>
{{پایان وسط‌چین}}
همان‌طور که در خط پیشین دیدیم برای به‌دست آوردن گرادیان نسبت به <math>w_{pc}
</math> به دو مقدار نیاز داریم ورودی به سلول عصبی <math>c
</math> از سلول عصبی <math>p
</math> که همان <math>b_p
</math> است و راحت به‌دست می‌آید و <math>\delta_c
</math> که از روش بازگشتی به‌دست می‌آید و بستگی به <math>\delta
</math>‌هایی لایه بعد دارد که سلول <math>c
</math>به آن‌ها وصل است، به‌طور دقیقتر <math>\delta_c = \left(\sum_n w_{cn}\delta_n \right) \times \acute{\theta}_c (a_c)
</math>.

روش بازگشتی برای به‌دست آوردن <math>\delta
</math>‌ها به این شکل کار می‌کند که ابتدا <math>\delta
</math> را برای سلول‌های لایه خروجی حساب می‌کنیم، و بعد لایه‌ها را به نوبت پایین آئیم و برای هر سلول <math>\delta
</math> آن را با ترکیت <math>\delta
</math>‌های لایه‌های بالایی آن طبق فرمول حساب می‌کنیم. محاسبه کردن <math>\delta
</math> برای لایه خروجی آسان است و مستقیماً با مشتق گرفتن از <math>Q
</math> به‌دست می‌آید.<ref>{{یادکرد کتاب|نشانی=https://www.amazon.com/Artificial-Intelligence-Modern-Approach-3rd/dp/0136042597|عنوان=Artificial Intelligence: A Modern Approach|نام خانوادگی=Russell|نام=Stuart|نام خانوادگی۲=results|نام۲=search|تاریخ=2009-12-11|ناشر=Pearson|سال=|شابک=9780136042594|ویرایش=3|مکان=Boston Columbus Indianapolis New York San Francisco Upper Saddle River Amsterdam, Cape Town Dubai London Madrid Milan Munich Paris Montreal Toronto Delhi Mexico City Sao Paulo Sydney Hong Kong Seoul Singapore Taipei Tokyo|صفحات=578|زبان=English}}</ref>

== ابرپارامترها ==
ابرپارامترها نقش مهمی در عملکرد شبکه‌های عصبی دارند. با تنظیم این ابرپارامترها با استفاده از داده اعتبار سنجی (validation) می‌توان عملکرد مدل را بهبود داد.

تعدادی از ابرپارامترها در شبکه‌های عصبی پیچشی، مشابه با ابرپارامترهای سایر شبکه‌های عصبی است. برای مثال می‌توان به نرخ یادگیری (learning rate)، تعداد ایپاک‌ها (epoch) اشاره کرد. اما این نوع شبکه‌ها نسبت به سایر شبکه‌ها تعداد ابرپاراکتر بیشتری دارند که به بررسی آن‌ها پرداخته می‌شود.
* '''اندازه هسته (kernel size)''': هر لایه پیچشی یا ادغامی دارای یک هسته است که عمق آن به اندازه تعداد فیلترهای ورودی است. اما اندازه طول و عرض آن قابل تنظیم است و معمولاً اندازه‌ای کوچک مانند <math>2\times2</math> یا <math>3\times3
</math> دارد.
* '''گام (stride):''' همان‌طور که در ابتدا بیان شد، هسته (کرنل) در روی ماتریس ورودی می‌لغزد و با هربار لغزش، ماتریس کرنل و آن بخش از ورودی که منطبق بر کرنل است در یکدیگر ضرب می‌شوند. لغزیدن ماتریس هسته بر روی ورودی می‌تواند با گام‌های مختلف انجام شود.

[[پرونده:Stride_image_cnn.png|وسط|بندانگشتی|قرار دادن گام به اندازه ۲ باعث می‌شود که هربار کرنل به اندازه ۲ پیکسل به جلو لغزد. در نتیجه با داشتن کرنل به اندازه ۳*۳ و قرار دادن طول گام به اندازه ۲، خروجی نهایی ۳*۳ خواهد بود.]]
* '''حاشیه‌گذاری (padding):''' حاشیه گذاری به معنای اضافه کردن پیکسل‌هایی (معمولا با مقدار صفر) به حاشیه تصویر است. اینکار به دلایل متفاوتی انجام می‌شود. یکی از دلایل، آن است که با تغییر مقدار گام (stride) از ۱ به اعداد دیگر، ممکن است با لغزاندن ماتریس هسته روی ورودی، مقداری از این ماتریس خارج از ورودی بیفتد که منجر به بروز خطا در مدل می‌شود. در نتیجه با اضافه کردن حاشیه به تصویر از این مورد جلوگیری می‌شود. یکی دیگر از دلایل اضافه کردن حاشیه به تصویر، برابر کردن اهمیت پیکسل‌ها در ورودی است. درصورتی که حاشیه گذاری وجود نداشته باشد، پیکسل‌هایی که در گوشه تصویر هستند، تنها در یکی از عملیات‌های ضرب پیچشی قرار ی‌گیرند و در نتیجه اهمیت آن‌ها در خروجی کم‌رنگ‌تر است. با اضافه کردن حاشیه مناسب، تعداد بارهایی که هر پیکسل در عملیات ضرب پیچشی می‍آید برابر با تمام پیکسل‌های دیگر است.
* '''تعداد فیلترها:''' همان‌طور که پیشتر نیز ذکر شد، عمق هر ماتریس هسته به اندازه عمق ورودی است و از ضرب پیچشی هر ماتریس هسته در ورودی، یک ماتریس با عمق یک به وجود می‌آید. برای آنکه بتوان تعداد بیشتری ویژگی را از ورودی استخراج کرد، ورودی را با چند ماتریس هسته متفاوت با مقادیر مختلف ضرب پیچشی می‌کنند و در نتیجه عمق خروجی نیز به اندازه تعداد هسته‌هایی است که ورودی را در آن ضرب می‌کنند. در نتیجه تعداد فیلترها همان عمق خروجی را مشخص می‌کند.

== محاسبه اندازه خروجی لایه پیچشی ==
درصورتی که اندازه ورودی <math>N*N*K
</math> باشد و تعداد فیلترها <math>L</math> باشد و اندازه ماتریس هسته <math>M*M</math> باشد، و همچنین از هر طرف تصویر مقدار حاشیه‌گذاری <math>P</math> باشد و مقدار گام <math>S</math> در نظر گرفته شود اندازه تصویر خروجی از رابطه زیر به دست می‌آید:

<math>(\frac{N+2*P-M}{S}+1, \frac{N+2*P-M}{S}+1, L)</math>

== تاریخچه ==
شبکه‌های عصبی پیچشی مشابه سیستم پردازش دیداری در [[موجودات زنده]] عمل می‌کنند. از قرن نوزدهم به‌طور همزمان اما جداگانه از سویی نوروفیزیولوژیست‌ها سعی کردند سیستم یادگیری و تجزیه و تحلیل مغز را کشف کنند، و از سوی دیگر ریاضیدانان تلاش کردند مدل ریاضی ای بسازند که قابلیت فراگیری و تجزیه و تحلیل عمومی مسائل را دارا باشد. اولین کوشش‌ها در شبیه‌سازی با استفاده از یک مدل منطقی در اوایل دههٔ ۱۹۴۰ توسط وارن مک‌کالک و والتر پیتز انجام شد که امروزه بلوک اصلی سازنده اکثر شبکه‌های عصبی مصنوعی است. عملکرد این مدل مبتنی بر جمع ورودی‌ها و ایجاد خروجی با استفاده از شبکه‌ای از نورون‌ها است. اگر حاصل جمع ورودی‌ها از مقدار آستانه بیشتر باشد، اصطلاحاً نورون برانگیخته می‌شود. نتیجه این مدل اجرای ترکیبی از توابع منطقی بود.<ref>{{پک|فاست|ک=مبانی شبکه‌های عصبی|ص=۳۰–۳۱}}</ref>

در سال ۱۹۴۹ [[دونالد هب]] قانون یادگیری را برای شبکه‌های عصبی طراحی کرد.<ref>{{پک|فاست|ک=مبانی شبکه‌های عصبی|ص=۳۱}}</ref> در سال ۱۹۵۸ شبکه [[پرسپترون]] توسط روزنبلات معرفی گردید. این شبکه نظیر واحدهای مدل شده قبلی بود. پرسپترون دارای سه لایه است که شامل لایهٔ ورودی، لایهٔ خروجی و لایهٔ میانی می‌شود. این سیستم می‌تواند یاد بگیرد که با روشی تکرارشونده وزن‌ها را به گونه‌ای تنظیم کند که شبکه توان بازتولید جفت‌های ورودی و خروجی را داشته‌باشد.<ref>{{پک|فاست|ک=مبانی شبکه‌های عصبی|ص=۳۰–۳۱}}</ref> روش دیگر، مدل خطی تطبیقی نورون است که در سال ۱۹۶۰ توسط برنارد ویدرو و مارسیان هاف در [[دانشگاه استنفورد]]) به وجود آمد که اولین شبکه‌های عصبی به کار گرفته شده در مسائل واقعی بودند. آدالاین یک دستگاه الکترونیکی بود که از اجزای ساده‌ای تشکیل شده بود، روشی که برای آموزش استفاده می‌شد با پرسپترون فرق داشت.

در سال ۱۹۶۹ میسکی و پاپرت کتابی نوشتند که محدودیت‌های سیستم‌های تک لایه و چند لایه پرسپترون را تشریح کردند. نتیجه این کتاب پیش داوری و قطع سرمایه‌گذاری برای تحقیقات در زمینه شبیه‌سازی شبکه‌های عصبی بود. آن‌ها با طرح اینکه طرح پرسپترون قادر به حل هیچ مسئله جالبی نمی‌باشد، تحقیقات در این زمینه را برای مدت چندین سال متوقف کردند.

با وجود اینکه اشتیاق عمومی و سرمایه‌گذاری‌های موجود به حداقل خود رسیده بود، برخی محققان تحقیقات خود را برای ساخت ماشین‌هایی که توانایی حل مسائلی از قبیل [[تشخیص الگو]] را داشته باشند، ادامه دادند. از جمله گراسبگ که شبکه‌ای تحت عنوان Avalanch را برای تشخیص صحبت پیوسته و کنترل دست ربات مطرح کرد. همچنین او با همکاری کارپنتر شبکه‌های [[نظریه تشدید انطباقی]] را بنا نهادند که با مدل‌های طبیعی تفاوت داشت. اندرسون و کوهونن نیز از اشخاصی بودند که تکنیک‌هایی برای یادگیری ایجاد کردند. ورباس در سال ۱۹۷۴ شیوه آموزش پس انتشار خطا را ایجاد کرد که یک شبکه پرسپترون چندلایه البته با قوانین نیرومندتر آموزشی بود.

پیشرفت‌هایی که در سال ۱۹۷۰ تا ۱۹۸۰ به‌دست آمد برای جلب توجه به شبکه‌های عصبی بسیار مهم بود. برخی فاکتورها نیز در تشدید این مسئله دخالت داشتند، از جمله کتاب‌ها و کنفرانس‌های وسیعی که برای مردم در رشته‌های متنوع ارائه شد. امروز نیز تحولات زیادی در تکنولوژی ANN ایجاد شده‌است.

== منابع بیشتر ==
* [https://github.com/Machine-Learning-Tokyo/Interactive_Tools شبیه‌سازی تصویری شبکه‌های عصبی پیچشی]

== جستارهای وابسته ==
* [[حذف تصادفی (شبکه‌های عصبی)|حذف تصادفی]]
* [[بازگشت به عقب]]
* [[گرادیان کاهشی تصادفی]]
* [[قاعده زنجیری]]

== منابع ==
{{پانویس|۲}}

[[رده:بینایی رایانه‌ای]]
[[رده:شبکه‌های عصبی مصنوعی]]
[[رده:علوم محاسباتی اعصاب]]
[[رده:معماری شبکه‌های عصبی]]
[[رده:ویکی‌سازی رباتیک]]