نمایش مبدأ برای الکس نت

{{Infobox software|name=AlexNet|logo=[[File:AlexNet_Original_block_diagram.svg|150px]]|developer=[[Alex Krizhevsky]], [[Ilya Sutskever]], and [[Geoffrey Hinton]]|released=Jun 28, 2011|genre=[[Convolutional neural network]]|license=[[New BSD License]]|repo={{URL|https://code.google.com/archive/p/cuda-convnet/}}|programming language=[[CUDA]], [[C++]]|website=}}'''AlexNet''' نام یک معماری [[شبکه عصبی پیچشی|شبکه عصبی کانولوشن]] (CNN) است که توسط [[Alex Krizhevsky]] با همکاری [[ایلیا ساتسکیور|ایلیا Sutskever]] و [[جفری هینتون|Geoffrey Hinton]] ، که دکترای کریژفسکی بود، طراحی شد. مشاور در [[دانشگاه تورنتو]] </link><sup class="noprint Inline-Template" style="white-space:nowrap;">&#x5B; ''[[ویکی‌پدیا:شیوه‌نامه/تاریخ‌ها و اعداد|<span title="The time period mentioned near this tag is ambiguous. (October 2024)">چه زمانی؟</span>]]'' &#x5D;</sup> 60 میلیون پارامتر و 650000 [[سلول عصبی مصنوعی|نورون]] داشت. <ref name=":0">{{Cite journal|last=Krizhevsky|first=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E.|date=2017-05-24|title=ImageNet classification with deep convolutional neural networks|url=https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf|journal=Communications of the ACM|volume=60|issue=6|pages=84–90|doi=10.1145/3065386|issn=0001-0782|doi-access=free}}</ref>

نتیجه اولیه مقاله اصلی این بود که عمق مدل برای عملکرد بالای آن ضروری بود، که از نظر محاسباتی گران بود، اما به دلیل استفاده از [[واحد پردازش گرافیکی|واحدهای پردازش گرافیکی]] (GPU) در طول آموزش امکان پذیر شد. <ref name=":02">{{Cite journal|last=Krizhevsky|first=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E.|date=2017-05-24|title=ImageNet classification with deep convolutional neural networks|url=https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf|journal=Communications of the ACM|volume=60|issue=6|pages=84–90|doi=10.1145/3065386|issn=0001-0782|doi-access=free}}</ref>

این سه تیم SuperVision را تشکیل دادند و AlexNet را در [[ایمیج‌نت|چالش تشخیص تصویری در مقیاس بزرگ ImageNet]] در 30 سپتامبر 2012 ارائه کردند. <ref name=":2">{{Cite web|title=ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012)|url=https://image-net.org/challenges/LSVRC/2012/results.html|website=image-net.org}}</ref> این شبکه به خطای 5 برتر 15.3 درصدی دست یافت که بیش از 10.8 درصد بهتر از رتبه دوم بود.

معماری بر تعداد زیادی از کارهای بعدی در [[یادگیری عمیق]] ، به ویژه در کاربرد [[شبکه عصبی مصنوعی|شبکه های عصبی]] در [[بینایی رایانه‌ای|بینایی کامپیوتر]] ، تأثیر گذاشت.
[[پرونده:AlexNet_block_diagram.svg|بندانگشتی|245x245پیکسل|بلوک دیاگرام AlexNet]]

=== معماری ===
AlexNet شامل هشت [[لایه (یادگیری عمیق)|لایه]] است: پنج لایه اول لایه های [[هم‌گشت|کانولوشن]] هستند، برخی از آنها لایه های [[شبکه عصبی پیچشی|max-pooling]] و سه لایه آخر لایه های کاملاً متصل هستند. شبکه، به جز آخرین لایه، به دو نسخه تقسیم می شود که هر کدام روی یک GPU اجرا می شوند. <ref name=":03">{{Cite journal|last=Krizhevsky|first=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E.|date=2017-05-24|title=ImageNet classification with deep convolutional neural networks|url=https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf|journal=Communications of the ACM|volume=60|issue=6|pages=84–90|doi=10.1145/3065386|issn=0001-0782|doi-access=free}}</ref> کل ساختار را می توان به صورت نوشتاری نوشت

(CNN → RN → MP)² → (CNN³ → MP) → (FC → DO)² → خطی → softmax

اگر

* CNN = لایه کانولوشن (با فعال سازی ReLU)
* RN = عادی سازی پاسخ محلی
* MP = maxpooling
* FC = لایه کاملا متصل (با فعال سازی ReLU)
* خطی = لایه کاملا متصل (بدون فعال سازی)
* DO = ترک تحصیل

از [[تابع فعالسازی|تابع فعال‌سازی]] [[یکسوساز (شبکه عصبی)|ReLU]] غیراشباع استفاده می‌کرد که بهتر از [[تابع هذلولوی|tanh]] و [[تابع سیگموئید|sigmoid]] تمرین می‌کرد. <ref name=":04">{{Cite journal|last=Krizhevsky|first=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E.|date=2017-05-24|title=ImageNet classification with deep convolutional neural networks|url=https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf|journal=Communications of the ACM|volume=60|issue=6|pages=84–90|doi=10.1145/3065386|issn=0001-0782|doi-access=free}}</ref>

از آنجایی که شبکه روی یک پردازنده گرافیکی 3 گیگابایتی [[انویدیا|Nvidia]] [[GTX580]] قرار نمی گرفت، به دو نیمه تقسیم شد، یکی در هر GPU. <ref name=":05">{{Cite journal|last=Krizhevsky|first=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E.|date=2017-05-24|title=ImageNet classification with deep convolutional neural networks|url=https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf|journal=Communications of the ACM|volume=60|issue=6|pages=84–90|doi=10.1145/3065386|issn=0001-0782|doi-access=free}}</ref> : بخش 3.2 

=== آموزش ===
[[آموزش، اعتبارسنجی و مجموعه‌های آزمایشی|مجموعه آموزشی]] [[ایمیج‌نت|ImageNet]] 1.2 میلیون تصویر داشت. این برای 90 دوره آموزش داده شد، که پنج تا شش روز بر روی دو پردازنده گرافیکی NVIDIA GTX 580 3GB، <ref name=":06">{{Cite journal|last=Krizhevsky|first=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E.|date=2017-05-24|title=ImageNet classification with deep convolutional neural networks|url=https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf|journal=Communications of the ACM|volume=60|issue=6|pages=84–90|doi=10.1145/3065386|issn=0001-0782|doi-access=free}}</ref> که دارای عملکرد تئوری 1.581 TFLOPS در float32 و قیمت انتشار 500 دلار است، آموزش داده شد. <ref>{{Cite web|date=2024-11-12|title=NVIDIA GeForce GTX 580 Specs|url=https://www.techpowerup.com/gpu-specs/geforce-gtx-580.c270|accessdate=2024-11-12|website=TechPowerUp|language=en}}</ref>

این با [[گرادیان کاهشی تصادفی|نزول گرادیان تکانه]] با اندازه دسته ای 128 نمونه، تکانه 0.9 و کاهش وزن 0.0005 آموزش داده شد. نرخ یادگیری شروع شد <math>10^{-2}</math> و هر زمان که خطای اعتبارسنجی متوقف می شود، به صورت دستی 10 برابر کاهش می یابد. در طول تمرین سه بار کاهش یافت و به پایان رسید <math>10^{-5}</math> .

از دو شکل [[افزایش داده]] استفاده می‌کرد، که هر دو به‌طور مستقیم روی CPU محاسبه می‌شدند، بنابراین «رایگان محاسباتی»:

* استخراج تکه های تصادفی 224 × 224 (و بازتاب افقی آنها) از تصاویر 256×256 اصلی. این اندازه مجموعه آموزشی را 2048 برابر افزایش می دهد.
* تغییر تصادفی مقدار RGB هر تصویر در امتداد سه [[تحلیل مؤلفه‌های اصلی|جهت اصلی]] مقادیر RGB پیکسل های آن.

از [[Local response normalization|نرمال‌سازی پاسخ موضعی]] و [[حذف تصادفی (شبکه‌های عصبی)|منظم‌سازی ترک تحصیل]] با احتمال افت 0.5 استفاده کرد.

همه وزن ها به صورت [[توزیع نرمال|گاوسی]] با میانگین صفر و [[انحراف معیار]] 01/0 [[Weight initialization|مقداردهی اولیه شدند]] . بایاس ها در لایه های کانولوشن 2، 4، 5، و همه لایه های کاملاً متصل، به ثابت 1 مقداردهی اولیه شدند تا از مشکل [[یکسوساز (شبکه عصبی)|ReLU در حال مرگ]] جلوگیری شود.

== تاریخچه ==

=== کار قبلی ===
AlexNet یک شبکه عصبی کانولوشنال است. در سال 1980، [[Kunihiko Fukushima|کونیهیکو فوکوشیما]] یک CNN اولیه به نام [[Neocognitron|نئوگنیترون]] را پیشنهاد کرد. <ref name="fukuneoscholar">{{Cite journal|last=Fukushima|first=K.|year=2007|title=Neocognitron|journal=Scholarpedia|volume=2|issue=1|page=1717|bibcode=2007SchpJ...2.1717F|doi=10.4249/scholarpedia.1717|doi-access=free}}</ref> <ref name="intro">{{Cite journal|last=Fukushima|first=Kunihiko|year=1980|title=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position|url=http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf|journal=Biological Cybernetics|volume=36|issue=4|pages=193–202|doi=10.1007/BF00344251|pmid=7370364|access-date=16 November 2013}}</ref> توسط یک الگوریتم [[یادگیری بی‌نظارت|یادگیری بدون نظارت]] آموزش داده شد. [[له‌نت|LeNet-5]] ( [[یان لی کان|Yann LeCun]] et al., 1989)  <ref name="lecun98">{{Cite journal|last=LeCun|first=Yann|last2=Léon Bottou|last3=Yoshua Bengio|last4=Patrick Haffner|year=1998|title=Gradient-based learning applied to document recognition|url=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf|journal=Proceedings of the IEEE|volume=86|issue=11|pages=2278–2324|citeseerx=10.1.1.32.9552|doi=10.1109/5.726791|access-date=October 7, 2016}}</ref> توسط یادگیری نظارت شده با الگوریتم [[پس‌انتشار|پس انتشار]] ، با معماری که اساساً مشابه AlexNet در مقیاس کوچک است، آموزش داده شد. (J. Weng، 1993) [[Pooling layer|حداکثر جمع آوری را]] اضافه کرد. <ref name="weng1993">{{Cite journal|last=Weng|first=J|last2=Ahuja|first2=N|last3=Huang|first3=TS|year=1993|title=Learning recognition and segmentation of 3-D objects from 2-D images|journal=Proc. 4th International Conf. Computer Vision|pages=121–128}}</ref> <ref name="schdeepscholar">{{Cite journal|last=Schmidhuber|first=Jürgen|date=2015|title=Deep Learning|url=http://www.scholarpedia.org/article/Deep_Learning|journal=Scholarpedia|volume=10|issue=11|pages=1527–54|citeseerx=10.1.1.76.1541|doi=10.1162/neco.2006.18.7.1527|pmid=16764513}}</ref>

در طول دهه 2000، با بهبود سخت افزار [[واحد پردازش گرافیکی|GPU]] ، برخی از محققین این موارد را برای [[محاسبات همه‌منظوره بر روی واحد پردازش گرافیکی|محاسبات همه منظوره]] ، از جمله آموزش شبکه عصبی، تطبیق دادند. (K. Chellapilla و همکاران، 2006) یک CNN را بر روی GPU آموزش دادند که 4 برابر سریعتر از یک CPU معادل بود. <ref>{{Cite book}}</ref> یک CNN عمیق (Dan Cireșan ''و همکاران'' ، 2011) در [[IDSIA]] 60 برابر سریعتر از یک پیاده سازی CPU معادل بود. <ref name="flexible">{{Cite journal|last=Cireșan|first=Dan|last2=Ueli Meier|last3=Jonathan Masci|last4=Luca M. Gambardella|last5=Jurgen Schmidhuber|year=2011|title=Flexible, High Performance Convolutional Neural Networks for Image Classification|url=http://www.idsia.ch/~juergen/ijcai2011.pdf|journal=Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence-Volume Volume Two|volume=2|pages=1237–1242|access-date=17 November 2013}}</ref> بین 15 مه 2011 و 10 سپتامبر 2012، CNN آنها برنده چهار مسابقه تصویر شد و SOTA برای [[پایگاه داده]] های تصویری متعدد را به دست آورد. <ref>{{Cite web|date=2010|title=IJCNN 2011 Competition result table|url=http://benchmark.ini.rub.de/?section=gtsrb&subsection=results|accessdate=2019-01-14|website=OFFICIAL IJCNN2011 COMPETITION|language=en-US}}</ref> <ref>{{Cite web|last=Schmidhuber|first=Jürgen|date=17 March 2017|title=History of computer vision contests won by deep CNNs on GPU|url=http://people.idsia.ch/~juergen/computer-vision-contests-won-by-gpu-cnns.html|accessdate=14 January 2019|language=en-US}}</ref> <ref name="mcdns">{{Cite book}}</ref> با توجه به مقاله AlexNet، <ref name=":07">{{Cite journal|last=Krizhevsky|first=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E.|date=2017-05-24|title=ImageNet classification with deep convolutional neural networks|url=https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf|journal=Communications of the ACM|volume=60|issue=6|pages=84–90|doi=10.1145/3065386|issn=0001-0782|doi-access=free}}</ref> شبکه قبلی Cireșan "تا حدودی مشابه است." هر دو با [[کودا|CUDA]] نوشته شده بودند تا روی [[واحد پردازش گرافیکی|GPU]] اجرا شوند.

=== بینایی کامپیوتر ===
در طول دوره 1990-2010، شبکه‌های عصبی بهتر از سایر روش‌های یادگیری ماشین مانند [[Kernel regression|رگرسیون هسته]] ، [[ماشین بردار پشتیبانی|ماشین‌های بردار پشتیبانی]] ، [[آدابوست|AdaBoost]] ، تخمین ساخت‌یافته، <ref>{{Cite journal|last=Taskar|first=Ben|last2=Guestrin|first2=Carlos|last3=Koller|first3=Daphne|date=2003|title=Max-Margin Markov Networks|url=https://proceedings.neurips.cc/paper/2003/hash/878d5691c824ee2aaf770f7d36c151d6-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=MIT Press|volume=16}}</ref> و غیره نبودند. به ویژه برای بینایی کامپیوتر، پیشرفت زیادی از [[مهندسی ویژگی|مهندسی ویژگی های]] دستی حاصل شد، مانند ویژگی های [[تبدیل ویژگی مقیاس‌نابسته|SIFT]] ، ویژگی های [[Speeded up robust features|SURF]] ، ویژگی های [[هیستوگرام گرادیان‌های جهت‌دار|HoG]] ، [[Bag-of-words model in computer vision|کیسه های کلمات بصری]] ، و غیره. موقعیتی که پس از AlexNet غالب شد. <ref name=":3">{{Cite book}}</ref>

در سال 2011، جفری هینتون شروع به برقراری ارتباط با همکارانش کرد در مورد "چه کاری باید انجام دهم تا شما را متقاعد کنم که شبکه های عصبی آینده هستند؟"، و [[Jitendra Malik]] ، یک بدبین به شبکه های عصبی، چالش کلاس های شی بصری PASCAL را توصیه کرد. هینتون گفت مجموعه داده آن بسیار کوچک است، بنابراین مالیک چالش ImageNet را به او توصیه کرد. <ref>{{Cite book}}</ref>

در حالی که AlexNet و LeNet اساساً طراحی و الگوریتم یکسانی دارند، AlexNet بسیار بزرگتر از LeNet است و بر روی مجموعه داده بسیار بزرگتر روی سخت افزار بسیار سریعتر آموزش داده شده است. در طی 20 سال، هم داده ها و هم محاسبات به صورت ارزان در دسترس قرار گرفتند. <ref name=":32">{{Cite book}}</ref>

=== کارهای بعدی ===
AlexNet بسیار تأثیرگذار است و در نتیجه کارهای بعدی در استفاده از CNN برای بینایی رایانه و استفاده از GPU برای تسریع یادگیری عمیق انجام شد. طبق گفته Google Scholar تا اواسط سال 2024، مقاله AlexNet بیش از 157000 بار مورد استناد قرار گرفته است. <ref>[https://scholar.google.com/citations?view_op=view_citation&hl=en&user=xegzhJcAAAAJ&citation_for_view=xegzhJcAAAAJ:u5HHmVD_uO8C AlexNet paper on Google Scholar ]</ref>

در زمان انتشار، هیچ چارچوبی برای آموزش شبکه عصبی مبتنی بر GPU و استنتاج وجود نداشت. پایگاه کد برای AlexNet تحت مجوز BSD منتشر شد و برای چندین سال بعد معمولاً در تحقیقات شبکه های عصبی استفاده می شد. <ref>{{Cite web|last=Krizhevsky|first=Alex|date=July 18, 2014|title=cuda-convnet: High-performance C++/CUDA implementation of convolutional neural networks|url=https://code.google.com/archive/p/cuda-convnet/|accessdate=2024-10-20|website=Google Code Archive}}</ref> <ref name=":33">{{Cite book}}</ref>

در یک جهت، کارهای بعدی با هدف آموزش CNN های عمیق و فزاینده ای انجام شد که به عملکرد بالاتری در ImageNet دست یافتند. در این خط از تحقیقات [[Inception (deep learning architecture)|GoogLeNet]] (2014)، [[VGGNet]] (2014)، [[Highway network|شبکه بزرگراه]] (2015) و [[شبکه عصبی باقی‌مانده|ResNet]] (2015) هستند. جهت دیگر با هدف بازتولید عملکرد AlexNet با هزینه کمتر بود. در این خط از تحقیقات [[SqueezeNet]] (2016)، [[MobileNet]] (2017)، [[EfficientNet]] (2019) هستند.

== مراجع ==
<references responsive="1"></references>
[[رده:نرم‌افزارهای یادگیری عمیق]]
[[رده:معماری شبکه‌های عصبی]]