نمایش مبدأ برای شبکه هاپفیلد

'''شبکه هاپفیلد''' (یا '''مدل Ising شبکه عصبی''' یا '''مدل Ising – Lenz – Little''' ) نوعی [[شبکه عصبی مصنوعی]] [[شبکه عصبی بازگشتی|بازگشتی]] و نوعی سیستم شیشه چرخشی است که توسط [[جان هاپفیلد]] در سال 1982 رواج یافته است <ref name="Hopfield1982">{{Cite journal|last=Hopfield|first=J. J.|date=1982|title=Neural networks and physical systems with emergent collective computational abilities|journal=Proceedings of the National Academy of Sciences|volume=79|issue=8|pages=2554–2558|bibcode=1982PNAS...79.2554H|doi=10.1073/pnas.79.8.2554|pmc=346238|pmid=6953413|doi-access=free}}</ref> همانطور که توسط Little در 1974 شرح داده شده بوده  <ref name="little74">{{Cite journal|last=Little|first=W. A.|year=1974|title=The Existence of Persistent States in the Brain|journal=Mathematical Biosciences|volume=19|issue=1–2|pages=101–120|doi=10.1016/0025-5564(74)90031-5}}</ref> بر اساس کار [[ارنست آیزینگ]] با [[ویلهلم لنز]] بر [[مدل آیزینگ]] . <ref name="brush67">{{Cite journal|last=Brush|first=Stephen G.|year=1967|title=History of the Lenz-Ising Model|journal=Reviews of Modern Physics|volume=39|issue=4|pages=883–893|bibcode=1967RvMP...39..883B|doi=10.1103/RevModPhys.39.883}}</ref> 

شبکه های هاپفیلد به عنوان سیستم های [[حافظه تداعی‌گر|حافظه قابل آدرس دهی حافظه تداعی‌گر]] با گره های آستانه باینری عمل می کنند. شبکه های هاپفیلد همچنین الگویی برای درک حافظه انسان ارائه می دهند.  

== ریشه ها ==
[[مدل آیزینگ|مدل Ising]] از یک شبکه عصبی به عنوان یک مدل حافظه، اولین بار توسط ویلیام ا. لیتل در سال 1974 ارائه شده است <ref name="little74"/> که توسط هاپفیلد در مقاله خود در سال 1982 حمایت شده است. <ref name="Hopfield1982"/>

== ساختار ==
[[پرونده:Hopfield-net-vector.svg|بندانگشتی| یک شبکه هاپفیلد با چهار عنصر]]
اجزا شبکه هاپفیلد واحدهای دو حالته هستند، بدین معنی که هر یک می‌توانند در یکی از دو حالت تعریف شده قرار بگیرند و مقدار آنها هم بسته به اینکه مجموع ورودی به آن واحد از مقدار آستانه‌ای کمتر یا بیشتر باشد، تعیین می‌گردد.

شبکه های هاپفیلد گسسته روابط بین نورونهای را توصیف می کنند.

حالت شبکه عصبی توسط یک بردار <math> V </math> توصیف می شود، که میگوید کدام [[یاخته عصبی|نورون]] ها شلیک کردند.

نورون های عصبی حالت‌های 1 یا 1- به خود می گیرند. با این حال ، سایر متون ممکن است از واحدهایی استفاده کنند که مقادیر 0 و 1 را در نظر بگیرند. این تعاملات از طریق قانون انجمن Hebb آموخته می شوند ، به طوری که برای یک حالت خاص <math> V^s </math> داریم:

<math> w_{ij} = V_i^s V_j^s </math>

ولی <math> w_{ii} = 0 </math> .

توجه داشته باشید که قانون یادگیری Hebbian برای <math> \supseteq V </math> {0 ، 1}، شکل زیر را می گیرد: <math> w_{ij} = (2V_i^s - 1)(2V_j^s -1) </math>

پس از آموزش شبکه، <math> w_{ij} </math> دیگر تکامل نمی یابد. اگر حالت جدیدی از نورونها به شبکه عصبی وارد شود، شبکه بر روی نورون ها به گونه زیر خواهد بود:

* <math>V^{s'}_i \rightarrow 1 </math> اگر <math> \sum_j w_{ij} V^{s'}_j > U_i </math>
* <math>V^{s'}_i \rightarrow -1 </math> اگر <math> \sum_j w_{ij} V^{s'}_j < U_i </math>

به این ترتیب ، شبکه های هاپفیلد توانایی "به خاطر سپردن" حالت های ذخیره شده در ماتریس تعامل را دارند ، زیرا اگر حالت جدیدی باشد <math>V^{s'} </math> تحت ماتریس تعامل قرار می گیرد ، هر نورون تغییر می کند تا زمانی که با حالت اصلی مطابقت داشته باشد <math>V^{s} </math> (به بخش بروزرسانی ها در زیر مراجعه کنید).

اتصالات در یک شبکه هاپفیلد به طور معمول دارای محدودیت های زیر است:

* <math>w_{ii}=0, \forall i</math> (هیچ واحدی با خودش ارتباطی ندارد)
* <math>w_{ij} = w_{ji}, \forall i,j</math> (اتصالات متقارن هستند)

این محدودیت که وزنها متقارن هستند ، تضمین می کند که عملکرد انرژی هنگام رعایت قوانین فعال سازی به صورت یکنواخت کاهش می یابد.  شبکه ای با وزن نامتقارن ممکن است برخی از رفتارهای دوره ای یا آشفته را نشان دهد. با این حال ، هاپفیلد دریافت که این رفتار در قسمت های نسبتاً کوچکی از [[فضای فاز]] محدود است و توانایی شبکه را به عنوان یک سیستم حافظه تداعی پذیر قابل محتوا عمل نمی کند.

هاپفیلد همچنین شبکه های عصبی را برای مقادیر پیوسته مدلسازی می کند ، که در آنها خروجی الکتریکی هر نورون باینری نیست بلکه مقداری بین 0 تا 1 است. <ref>{{Cite journal|last=Hopfield|first=J. J.|date=1984|title=Neurons with graded response have collective computational properties like those of two-state neurons|journal=Proceedings of the National Academy of Sciences|volume=81|issue=10|pages=3088–3092|bibcode=1984PNAS...81.3088H|doi=10.1073/pnas.81.10.3088|pmid=6587342|doi-access=free}}</ref>  وی دریافت که این نوع شبکه همچنین می تواند حالت های حفظ شده را ذخیره و تولید کند.

توجه داشته باشید که هر جفت واحد i و j در یک شبکه هاپفیلد دارای اتصالی است که وزن اتصال <math> w_{ij} </math> توصیف می شود. شود. شبکه هاپفیلد را می توان به عنوان یک [[گراف کامل]] بدون جهت توصیف کرد، <math> G = \langle V, f\rangle </math>، که <math>V</math> Vمجموعه ای از نورون های مک کالوچ-پیتس است و <math>f:V^2 \rightarrow \mathbb R</math> تابعی است که جفت واحدها را به یک مقدار واقعی یعنی وزن اتصال پیوند می دهد.

== در حال بروز رسانی ==
به روزرسانی یک واحد (گره در نمودار شبیه سازی نورون مصنوعی) در شبکه هاپفیلد با استفاده از قانون زیر انجام می شود:

<math>s_i \leftarrow \left\{\begin{array}{ll} +1 & \mbox {if }\sum_{j}{w_{ij}s_j}\geq\theta_i, \\
 -1 & \mbox {otherwise.}\end{array}\right.</math>

که:

* <math>w_{ij}</math> قدرت اتصال از واحد j به واحد i (وزن اتصال) است.
* <math>s_i</math> حالت واحد i است.
* <math>\theta_i</math> آستانه واحد i است.

به روزرسانی ها در شبکه هاپفیلد به دو روش مختلف انجام می شود:

* '''ناهمزمان''' : همزمان فقط یک واحد به روز می شود. این واحد را می توان به صورت تصادفی انتخاب کرد ، یا یک دستور از پیش تعریف شده را از همان ابتدا وضع کرد.
* '''همزمان''' : همه واحدها همزمان به روز می شوند. این امر به منظور حفظ هماهنگ سازی به یک ساعت مرکزی برای سیستم نیاز دارد. برخی این روش را کمتر واقع بینانه می دانند ، مبتنی بر عدم وجود ساعت جهانی مشاهده شده که بر سیستم های بیولوژیکی یا فیزیکی مشابه تأثیر می گذارد.

=== نورون ها "فضای یکدیگر را" جذب یا دفع می کنند " ===
وزن بین دو واحد تأثیر به سزایی در مقادیر نورونها دارد. وزن اتصال را در نظر بگیرید <math>w_{ij}</math> بین دو نورون i و j. اگر <math>w_{ij} > 0 </math> ، قانون به روزرسانی نشان می دهد که:

* چه زمانی <math>s_{j} = 1</math> ، سهم j در مجموع وزنی مثبت است. بدین ترتیب، <math>s_{i}</math> توسط j به سمت مقدار خود کشیده می شود <math>s_{i} = 1</math>
* چه زمانی <math>s_{j} = -1</math> ، سهم j در مجموع وزن منفی است. سپس دوباره ، <math>s_{i}</math> توسط j به سمت ارزش خود سوق داده می شود <math>s_{i} = -1</math>

بنابراین ، اگر وزن بین آنها مثبت باشد ، مقادیر نورونهای i و j همگرا می شوند. به طور مشابه ، اگر وزن منفی باشد ، از هم جدا می شوند.

== اصول کار شبکه های هاپفیلد گسسته و مداوم ==
بروک هنگام اثبات همگرایی آن در مقاله خود در سال 1990 ، رفتار نورون را در شبکه مجزا هاپفیلد روشن کرد. <ref name="Bruck1990">{{Cite journal|last=Bruck|first=J.|date=October 1990|title=On the convergence properties of the Hopfield model|url=|journal=Proc. IEEE|volume=78|issue=10|pages=1579–85|doi=10.1109/5.58341}}</ref> مقاله بعدی <ref name="Uykan2019">{{Cite journal|last=Uykan|first=Z.|date=September 2020|title=On the Working Principle of the Hopfield Neural Networks and its Equivalence to the GADIA in Optimization|url=https://ieeexplore.ieee.org/document/8859641|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=31|issue=9|pages=3294–04|doi=10.1109/TNNLS.2019.2940920}}</ref> بیشتر رفتار هر نورون را در شبکه های هاپفیلد با [[زمان پیوسته و زمان گسسته|زمان گسسته]] و با زمان پیوسته بررسی می کند ، وقتی عملکرد انرژی مربوط در طی یک فرآیند [[بهینه‌سازی|بهینه سازی]] به حداقل برسد.  نشان می دهد که نورون ''j'' تغییر حالت می دهد ''اگر و فقط در صورت'' کاهش بیشتر شبه مغرضانه زیر. شبکه مجزا هاپفیلد شبه برش مغرضانه زیر  برای ماتریس وزن سیناپسی شبکه هاپفیلد به حداقل می رساند.

<math> J_{pseudo-cut}(k) = 
\sum_{i \in C_1(k)} \sum_{j \in C_2(k)} w_{ij} + \sum_{j \in C_1(k)} {\theta_j} </math>

جایی که <math> C_1(k) </math> و <math> C_2(k) </math> مجموعه ای از نورون ها را نشان می دهد که به ترتیب در زمان 1 و 1+ هستند <math> k </math> . برای جزئیات بیشتر ، به مقاله اخیر مراجعه کنید. <ref name="Uykan2019"/>

شبکه Hopfield با زمان مجزا همیشه دقیقاً شبه برش زیر را به حداقل می رساند <ref name="Bruck1990"/> <ref name="Uykan2019"/>

<math> U(k) = \sum_{i=1}^{N} \sum_{j=1}^{N} w_{ij} ( s_i(k) - s_j(k) )^2 + 2 \sum_{j=1}^{N}{\theta_j}s_j(k) </math>

شبکه هاپفیلد با زمان پیوسته همیشه محدوده بالایی را به برش وزنی زیر کاهش می دهد <ref name="Uykan2019"/>

<math> V(t) = \sum_{i=1}^{N} \sum_{j=1}^{N} w_{ij} ( {f(s_i(t))} - f(s_j(t) )^2 + 2 \sum_{j=1}^{N}{\theta_j}{f(s_j(t))}</math>

جایی که <math> f(.) </math> یک عملکرد سیگموئید صفر محور است.

از طرف دیگر ، [[شبکه پیچیده]] هاپفیلد به طور کلی تمایل دارد که اصطلاحاً کاهش سایه ماتریس وزن پیچیده شبکه را به حداقل برساند. <ref name="Uykan2020">{{Cite journal|last=Uykan|first=Z.|date=March 2021|title=Shadow-Cuts Minimization/Maximization and Complex Hopfield Neural Networks|url=https://ieeexplore.ieee.org/document/9070206|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=32|issue=3|pages=1096–1109|doi=10.1109/TNNLS.2020.2980237}}</ref>

== انرژی ==
[[پرونده:Energy_landscape.png|چپ|بندانگشتی|500x500پیکسل| چشم انداز انرژی یک شبکه هاپفیلد ، برجسته کردن وضعیت فعلی شبکه (بالای تپه) ، یک حالت جذب کننده که در نهایت به آن همگرا خواهد شد ، حداقل سطح انرژی و یک حوضه جذابیت سبز رنگ. توجه داشته باشید که چگونه به روزرسانی شبکه هاپفیلد در انرژی همیشه پایین می آید.]]
شبکه های هاپفیلد دارای مقیاس مقیاسی مرتبط با هر حالت شبکه هستند که از آن به عنوان "انرژی" ، E شبکه یاد می شود ، جایی که:

: <math>E = -\frac12\sum_{i,j}{w_{ij}{s_i}{s_j}}+\sum_i{\theta_i}{s_i}</math>

این مقدار "انرژی" نامیده می شود زیرا با به روزرسانی واحدهای شبکه یا کاهش می یابد و یا همان ثابت می ماند. به‌علاوه ، با به روزرسانی مکرر ، شبکه در نهایت به حالتی تبدیل می شود که [[بیشینه و کمینه|حداقل محلی]] در عملکرد انرژی است (که یک عملکرد Lyapunov محسوب می شود). <ref name="Hopfield1982"/> بنابراین ، اگر یک دولت در عملکرد انرژی حداقل محلی باشد ، برای شبکه یک حالت پایدار است. توجه داشته باشید که این تابع انرژی متعلق به یک کلاس کلی از مدلهای [[فیزیک]] تحت عنوان [[مدل آیزینگ|مدلهای Ising است]] . اینها به نوبه خود یک مورد خاص از [[میدان تصادفی مارکوفی|شبکه های مارکوف است]] ، زیرا اندازه گیری احتمال مرتبط ، اندازه گیری گیبس ، دارای [[خاصیت مارکوف|ویژگی مارکوف است]] .

== شبکه هاپفیلد در بهینه سازی ==
هاپفیلد و تانک برای حل [[مسئله فروشنده دوره‌گرد]] کلاسیک در سال 1985 برنامه شبکه هاپفیلد را ارائه دادند. <ref name="hopfieldtank85">{{Cite journal|last=Hopfield|first=J.J.|last2=Tank|first2=D.W.|year=1985|title=Neural computation of decisions in optimization problems|url=https://archive.org/details/sim_biological-cybernetics_1985-06_52_2/page/n74|journal=Biological Cybernetics|volume=52|pages=141–6|doi=10.1007/BF00339943}}</ref> از آن زمان ، شبکه هاپفیلد به طور گسترده ای برای بهینه سازی مورد استفاده قرار می گیرد. ایده استفاده از شبکه هاپفیلد در مشکلات بهینه سازی ساده است: اگر یک [[تابع هزینه]] محدود یا غیرمحدود را می توان در قالب تابع انرژی هاپفیلد (E) نوشت ، پس یک شبکه هاپفیلد وجود دارد که نقاط تعادل آن نشان دهنده راه حل هایی برای [[مسئله بهینه‌سازی|مسئله بهینه سازی]] محدود / غیرمحدود است.

به حداقل رساندن تابع انرژی هاپفیلد ، هم عملکرد هدف را به حداقل می رساند و هم محدودیت ها را برآورده می کند ، زیرا محدودیت ها در وزن سیناپسی شبکه "جاسازی شده" اند. اگرچه گنجاندن محدودیت های بهینه سازی به وزن سیناپسی به بهترین شکل ممکن یک کار چالش برانگیز است ، اما در واقع بسیاری از مشکلات مختلف بهینه سازی دشوار با محدودیت ها در رشته های مختلف به عملکرد انرژی هاپفیلد تبدیل شده اند: سیستم های حافظه انجمنی ، تبدیل آنالوگ به دیجیتال ، مشکل زمانبندی شغل کار ، انتصاب درجه دوم و سایر مشکلات مربوط به NP-کامل ، مشکل تخصیص کانال در شبکه های [[بی‌سیم|بی سیم]] ، مشکل مسیریابی شبکه موقت [[تلفن همراه]] ، بازیابی تصویر ، [[شناسایی سامانه|شناسایی سیستم]] ، بهینه سازی ترکیبی و غیره ، فقط به ذکر چند مورد. جزئیات بیشتر را می توان در مقاله یافت. <ref name="Uykan2019"/>

== مقداردهی اولیه و اجرا ==
شروع اولیه شبکه های هاپفیلد با تنظیم مقادیر واحدها بر روی الگوی شروع مورد نظر انجام می شود. سپس به روزرسانی های مکرر انجام می شود تا زمانی که شبکه به یک الگوی جذب کننده همگرا شود. همگرایی به طور کلی اطمینان دارد ، زیرا هاپفیلد ثابت کرد که جذب کننده های این [[سامانه پویا|سیستم دینامیکی غیرخطی]] پایدار هستند ، نه دوره ای یا بی نظم مانند برخی دیگر از سیستم{{مدرک|date=ژوئیه ۲۰۱۹}} بنابراین ، در زمینه شبکه های هاپفیلد ، الگوی جذب کننده یک حالت پایدار نهایی است ، الگویی که تحت به روزرسانی نمی تواند هیچ مقداری را در آن تغییر دهد{{مدرک|date=ژوئیه ۲۰۱۹}}

== آموزش ==
آموزش یک شبکه هاپفیلد شامل کاهش انرژی حالت هایی است که شبکه باید " آنها را بخاطر بسپارد ". این عمل اجازه می دهد تا شبکه به عنوان یک سیستم حافظه قابل آدرس دهی به محتوا عمل کند ، یعنی اگر شبکه فقط تبدیل به بخشی از حالت داده شود ، به حالت " به خاطر سپرده شده " تبدیل می شود . از شبکه می توان برای بازیابی از ورودی تحریف شده به حالت آموزش دیده که بیشترین شباهت را به آن ورودی دارد ، استفاده کرد. این حافظه ، حافظه انجمنی نامیده می شود زیرا حافظه را بر اساس شباهت ها بازیابی می کند. به عنوان مثال ، اگر یک شبکه هاپفیلد را با پنج واحد آموزش دهیم تا حالت (1 ، -1 ، 1 ، -1 ، 1) حداقل انرژی باشد و شبکه به حالت (1 ، -1 ، -1 ، -1 ، 1)  به (1 ، -1 ، 1 ، -1 ، 1) همگرا خواهد شد . بنابراین ، وقتی انرژی حالتهایی که شبکه باید بخاطر بسپارد حداقل محلی است ، که شبکه به درستی آموزش می بیند . توجه داشته باشید که برخلاف [[پرسپترون|آموزش Perceptron]] ، آستانه نورون ها هرگز به روز نمی شوند.

=== قوانین یادگیری ===
[[قانون یادگیری|قوانین یادگیری]] متفاوت وجود دارد که می تواند برای ذخیره اطلاعات در حافظه شبکه هاپفیلد استفاده شود. مطلوب است که یک قانون یادگیری هر دو ویژگی زیر را داشته باشد:

* ''محلی'' : هر وزنه با استفاده از اطلاعات موجود برای سلولهای عصبی در دو طرف اتصال که با آن وزن خاص در ارتباط است به روز شود''.''
* ''افزایشی'' : الگوهای جدید را می توان بدون استفاده از اطلاعات الگوهای قدیمی که برای آموزش نیز استفاده شده است ، فرا گرفت. یعنی وقتی از الگوی جدیدی برای آموزش استفاده می شود ، مقادیر جدید برای اوزان فقط به مقادیر قدیمی و الگوی جدید بستگی دارد. <ref name="storkey1991basins">{{Cite journal|last=Storkey|first=A.J.|last2=Valabregue|first2=R.|year=1999|title=The basins of attraction of a new Hopfield learning rule|url=https://archive.org/details/sim_neural-networks_1999-07_12_6/page/869|journal=Neural Networks|volume=12|issue=6|pages=869–876|citeseerx=10.1.1.19.4681|doi=10.1016/S0893-6080(99)00038-6}}</ref>

این خواص مطلوب است ، زیرا یک قانون یادگیری که آنها را راضی کند از نظر زیست شناختی قابل قبول تر است. به عنوان مثال ، از آنجایی که [[مغز انسان]] همیشه در حال یادگیری مفاهیم جدید است ، بنابراین می توان استدلال کرد که یادگیری انسان افزایشی است. یک سیستم یادگیری که به صورت افزایشی نبوده است ، معمولاً فقط یک بار با تعداد زیادی داده ، آموزش می بیند.

=== قانون یادگیری Hebbian برای شبکه های هاپفیلد ===
نظریه Hebbian توسط دونالد هب در سال 1949 به منظور توضیح "یادگیری انجمنی" ، که در آن فعال سازی همزمان سلولهای عصبی منجر به افزایش آشکار قدرت سیناپسی بین آن سلولها می شود ، ارائه شد. <ref>{{Harvard citation no brackets|Hebb|1949}}</ref> این خلاصه اغلب به صورت "نورونهایی است که با هم شلیک می کنند ، سیم به هم می خورند. سلولهای عصبی که از همگام سازی شلیک می شوند ، قادر به پیوند نیستند ".

قانون Hebbian هم محلی است و هم افزایشی. برای شبکه های هاپفیلد ، هنگام یادگیری به روش زیر پیاده سازی می شود <math>n</math> الگوهای باینری:

<math> w_{ij}=\frac{1}{n}\sum_{\mu=1}^{n}\epsilon_{i}^\mu \epsilon_{j}^\mu </math>

جایی که <math>\epsilon_i^\mu</math> بیت i را از الگو نشان می دهد <math>\mu</math> .

اگر بیت های مربوط به نورون های i و j از نظر الگوی برابر باشند <math>\mu</math> ، سپس محصول <math> \epsilon_{i}^\mu \epsilon_{j}^\mu </math> مثبت خواهد بود این به نوبه خود ، تأثیر مثبتی بر وزن خواهد داشت <math>w_{ij} </math> و مقادیر i و j تمایل به برابر شدن دارند. عکس این اتفاق می افتد اگر بیت های مربوط به نورون های i و j متفاوت باشند.

=== قانون یادگیری استورکی ===
این قانون توسط آموس استورکی در سال 1997 معرفی شد و هم محلی است و هم افزایشی. استورکی همچنین نشان داد که شبکه هاپفیلد آموزش دیده با استفاده از این قانون ظرفیت بیشتری نسبت به شبکه متناظر با قانون Hebbian دارد.  ماتریس وزن شبکه عصبی جاذب{{نیازمند شفاف‌سازی|reason=What is an attractor NN?|date=ژوئیه ۲۰۱۹}} باور داریم مه در صورت رعایت قانون زیر، یادگیری استورکی نیز پیروی میشود:

<math> w_{ij}^{\nu} = w_{ij}^{\nu-1}
		  +\frac{1}{n}\epsilon_{i}^{\nu} \epsilon_{j}^{\nu} 
		  -\frac{1}{n}\epsilon_{i}^{\nu} h_{ji}^{\nu}
		  -\frac{1}{n}\epsilon_{j}^{\nu} h_{ij}^{\nu}
		  </math>

جایی که <math> h_{ij}^{\nu} = \sum_{k=1~:~i\neq k\neq j}^{n} w_{ik}^{\nu-1}\epsilon_{k}^{\nu} </math> نوعی ''میدان محلی است'' <ref name="storkey1991basins"/> در نورون i.

این قانون یادگیری محلی است ، زیرا [[سیناپس]] ها فقط نورون های کنار خود را در نظر می گیرند. این قانون به دلیل تأثیر حوزه محلی ، از اطلاعات بیشتری از الگوها و وزنها ، نسبت به قانون Hebbian تعمیم یافته استفاده می کند.

== الگوهای جعلی ==
{{تصویر چندگانه
| image1 = Hopfield dynamics.gif
| image2 = Hopfield dynamics spurious.gif
| caption1 = ۱۰ بیت تصادفی در ابتدا تغییر داده شده
| caption2 = ۱۵ بیت تصادفی در ابتدا تغییر داده شده (که به حالت جعلی میل می‌کند)
| footer = دینامیک یک شبکه هاپفیلد ۵x۵=۲۵ نورونی که برای به خاطر داشتن تک الگوی حرف E انگلیسی به مشکی آموزش داده شده.
}}
الگوهایی که شبکه برای آموزش استفاده می کند (که به آنها حالت بازیابی گفته میشود) جذب کننده های سیستم می شوند. به روزرسانی های مکرر در نهایت منجر به همگرایی به یکی از حالت های بازیابی می شود. با این حال ، گاهی شبکه به الگوهای جعلی (متفاوت از الگوهای آموزش) همگرا خواهد شد. <ref name="hertz1991neural">{{Harvard citation no brackets|Hertz|1991}}</ref> انرژی موجود در این الگوهای جعلی نیز حداقل محلی است. برای هر الگوی ذخیره شده x ، نفی -x نیز یک الگوی جعلی است.

حالت جعلی همچنین می تواند [[ترکیب خطی|ترکیبی خطی]] از تعداد فردی از حالت های بازیابی باشد. به عنوان مثال ، هنگام استفاده از 3 الگو <math> \mu_1, \mu_2, \mu_3</math> ، می توان حالت جعلی زیر را به‌دست آورد:

<math> \epsilon_{i}^{\rm{mix}} = \pm \sgn(\pm \epsilon_{i}^{\mu_{1}} 
			     \pm \epsilon_{i}^{\mu_{2}}
			     \pm \epsilon_{i}^{\mu_{3}})
</math>

الگوهای جعلی که تعداد حالت های زوج دارند نمی توانند وجود داشته باشند، زیرا ممکن است در مجموع صفر شوند <ref name="hertz1991neural">{{Harvard citation no brackets|Hertz|1991}}</ref>

== ظرفیت ==
ظرفیت شبکه مدل شبکه هاپفیلد توسط تعدادی نورون و اتصالات درون یک شبکه مشخص تشکیل می شود. بنابراین ، تعداد حافظه هایی که می توانند ذخیره شوند به نورون ها و اتصالات آنها بستگی دارد. همچنین ، معلوم است که دقت فراخوانی بین بردارها و گره ها 0.138 است (در حافظه تقریباً 138 بردار را می توان از هر 1000 گره فراخوانی کرد) (Hertz et al., 1991). بنابراین ، بدیهی است که اگر در یک تلاش تعداد زیادی بردار ذخیره شود ، مشکلات فراوانی رخ خواهد داد.

هنگامی که مدل هاپفیلد الگوی مناسبی را فراخوانی نکند ، ممکن است که یک نفوذ صورت گرفته بگیرد ، زیرا موارد مرتبط با معنا و مفهوم باعث ایجاد سردرگمی  می شود و باعث بازیابی الگوی اشتباه می شود. بنابراین ، مدل شبکه هاپفیلد نشان می دهد که یک مورد ذخیره شده را با مورد دیگر در هنگام بازیابی اشتباه می گیرد. بازیابی کامل و ظرفیت بالا، می تواند با استفاده از روش یادگیری Storkey در شبکه صورت پذیرد. مدل های دیگر که از شبکه هاپفیلد الهام گرفته شدند، بعدها برای افزایش حد ذخیره سازی و کاهش میزان خطای بازیابی با برخی توانایی یادگیری یک باره مورد استفاده قرار گرفتند. <ref>{{Cite journal|last=ABOUDIB|first=Ala|last2=GRIPON|first2=Vincent|last3=JIANG|first3=Xiaoran|date=2014|title=A study of retrieval algorithms of sparse messages in networks of neural cliques|url=https://hal.archives-ouvertes.fr/hal-01058303/|journal=COGNITIVE 2014 : The 6th International Conference on Advanced Cognitive Technologies and Applications|pages=140–6|arxiv=1308.4506|bibcode=2013arXiv1308.4506A}}</ref>

ظرفیت ذخیره سازی را می توان به صورت <math>C \cong \frac{n}{2\log_2n}</math> که در آن، n تعداد نورونهای شبکه را نشان میدهد.

== حافظه انسان ==
مدل هاپفیلد از طریق ترکیب بردارهای حافظه، [[حافظه (جانداران)|حافظه]] [[تداعی|انجمنی]] را حساب می کند. از بردارهای حافظه می توان کمی استفاده کرد و این باعث می شود مشابه ترین بردار در شبکه بازیابی شود. با این حال ، خواهیم فهمید که به دلیل این روند ، نفوذ می تواند رخ دهد. در حافظه انجمنی برای شبکه هاپفیلد ، دو نوع عملیات وجود دارد: تداعی خودکار و تداخل هترو. تداعی خودکار این است که یک بردار با خود مرتبط است و تداخل هترو وقتی است که دو بردار مختلف در ذخیره سازی به هم مرتبط می شوند. علاوه بر این ، ذخیره هر دو نوع عملیات در یک ماتریس حافظه امکان پذیر است ، اما تنها در صورتی که ماتریس نمایش داده شده یکی یا دیگری از عملیات نباشد ، بلکه ترکیب (خودکار انجمنی و هترو انجمنی) این دو باشد. یادآوری این نکته مهم است که مدل شبکه هاپفیلد از همان قانون یادگیری مانند  [[:en:Hebbian_theory|قانون یادگیری Hebb (1949)]]<nowiki/>استفاده می کند ، که اساساً تلاش می کند نشان دهد که یادگیری در نتیجه تقویت وزنه ها هنگام وقوع فعالیت رخ می دهد.


Rizzuto و Kahana (2001) توانستند نشان دهند که مدل شبکه عصبی می تواند تکرار دقت یادآوری را با در نظر گرفتن الگوریتم یادگیری احتمالی محاسبه کند. در طی فرآیند بازیابی ، هیچ یادگیری رخ نمی دهد. در نتیجه ، وزن های شبکه ثابت می مانند و نشان می دهد که این مدل قادر است از یک مرحله یادگیری به یک مرحله فراخوان تغییر کند. با افزودن رانش زمینه ای ، آنها قادر بودند فراموشی سریع را که در یک مدل هاپفیلد طی یک کار یادآوری نشانه گرفته می شود ، نشان دهند. کل شبکه به تغییر فعال سازی هر گره کمک می کند.

قاعده دینامیکی مک کالوچ و پیتز (1943) ، که رفتار نورون ها را توصیف می کند ، این کار را به روشی انجام می دهد که نشان می دهد چگونه فعالیت های چندین نورون بر روی فعال سازی میزان شلیک یک نورون جدید نقشه می گیرند و چگونه وزن نورون ها تقویت می شود ارتباطات سیناپسی بین نورون فعال شده جدید (و آنهایی که آن را فعال می کنند). هاپفیلد برای نشان دادن چگونگی بازیابی در شبکه هاپفیلد از قانون پویای مک کالچ - پیتس استفاده می کند. با این حال ، توجه به این نکته مهم است که هاپفیلد این کار را به صورت تکراری انجام می دهد. هاپفیلد به جای استفاده از یک [[تابع خطی]] ، از یک تابع فعال سازی غیرخطی استفاده می کند. بنابراین این امر باعث ایجاد قاعده دینامیکی هاپفیلد می شود و با این کار هاپفیلد می تواند نشان دهد که با تابع فعال سازی غیرخطی ، قانون دینامیکی همیشه مقادیر بردار حالت را در جهت یکی از الگوهای ذخیره شده تغییر می دهد.

== همچنین ببینید ==

* حافظه مشارکتی (ابهام زدایی)
* حافظه خود شریک
* ماشین بولتزمن - مانند یک شبکه هاپفیلد اما از نمونه برداری از گیبس به جای نزول شیب دار استفاده می کند
* [[مدل‌سازی شناختی|مدل سیستم های دینامیکی شناخت]]
* [[مدل آیزینگ|مدل بودن]]
* نظریه هبیان

== منابع ==
 {{Reflist}}{{Refbegin}}
* {{cite book|first=D.O.|last=Hebb|title=The Organization of Behavior: A Neuropsychological Theory|url=https://books.google.com/books?id=ddB4AgAAQBAJ|date=2005|publisher=Psychology Press|isbn=978-1-135-63190-1|orig-year=1949|ref={{harvid|Hebb|1949}}}}
* {{cite book|first=John A.|last=Hertz|title=Introduction To The Theory Of Neural Computation|url=https://books.google.com/books?id=aEIPEAAAQBAJ&pg=PP5|date=2018|publisher=CRC Press|isbn=978-0-429-96821-1|orig-year=1991|ref={{harvid|Hertz|1991}}}}
* {{cite journal|last1=McCulloch|first1=W.S.|last2=Pitts|first2=W.H.|year=1943|title=A logical calculus of the ideas immanent in nervous activity|journal=Bulletin of Mathematical Biophysics|volume=5|issue=4|pages=115–133|doi=10.1007/BF02478259}}
* {{cite journal|last1=Polyn|first1=S.M.|last2=Kahana|first2=M.J.|year=2008|title=Memory search and the neural representation of context|journal=Trends in Cognitive Sciences|volume=12|issue=1|pages=24–30|doi=10.1016/j.tics.2007.10.010|pmc=2839453|pmid=18069046}}
* {{cite journal|last1=Rizzuto|first1=D.S.|last2=Kahana|first2=M.J.|year=2001|title=An autoassociative neural network model of paired-associate learning|journal=Neural Computation|volume=13|issue=9|pages=2075–2092|citeseerx=10.1.1.45.7929|doi=10.1162/089976601750399317|pmid=11516358|s2cid=7675117}}
* {{cite book|first1=Rudolf|last5=Steinbrecher|publisher=Springer|date=2013|url=https://books.google.com/books?id=yQVGAAAAQBAJ|title=Computational Intelligence: A Methodological Introduction|last6=Held|first6=Pascal|first5=Matthias|last1=Kruse|last4=Moewes|first4=Christian|last3=Klawonn|first3=Frank|last2=Borgelt|first2=Christian|isbn=978-1-4471-5013-8}}

{{Refend}}

== لینک های خارجی ==

* {{cite book|chapter-url=http://page.mi.fu-berlin.de/rojas/neural/chapter/K13.pdf|chapter=13. The Hopfield model|url=http://page.mi.fu-berlin.de/rojas/neural/index.html.html|title=Neural Networks – A Systematic Introduction|first=Raul|last=Rojas|isbn=978-3-540-60505-8}}<bdi><cite class="citation book cs1" data-ve-ignore="true" id="CITEREFRojas">[[ویژه: BookSources / 978-3-540-60505-8|978-3-540-60505-8]]</cite></bdi>  
* [http://www.heatonresearch.com/aifh/vol3/hopfield.html Javascript شبکه هاپفیلد]
* [http://to-campos.planetaclix.pt/neural/hope.html مسئله فروشنده در سفر] {{Webarchive|url=https://web.archive.org/web/20150530022419/http://to-campos.planetaclix.pt/neural/hope.html |date=30 مه 2015 }} - اپلت JAVA شبکه عصبی هاپفیلد
* {{Cite web|url=http://www.scholarpedia.org/article/Hopfield_network|publisher=Scholarpedia|title=Hopfield network|first=John|last=Hopfield}}
* {{Cite web|url=http://www.tristanfletcher.co.uk/DLVHopfield.pdf|title=Hopfield Network Learning Using Deterministic Latent Variables|type=Tutorial|first=Tristan|last=Fletcher|access-date=۲۵ ژوئن ۲۰۲۱|archive-date=۵ اكتبر ۲۰۱۱|archive-url=https://web.archive.org/web/20111005202201/http://www.tristanfletcher.co.uk/DLVHopfield.pdf|url-status=bot: unknown}}
* [https://web.archive.org/web/20121025125326/http://gna.org/projects/neurallab/ رابط گرافیکی آزمایشگاه عصبی] - رابط گرافیکی شبکه عصبی Hopfield (پایتون و gtk)
[[رده:شبکه‌های عصبی مصنوعی]]
[[رده:معماری شبکه‌های عصبی]]