نمایش مبدأ برای رایانش موازی

{{حق تکثیر مشکوک|تاریخ=ژانویه ۲۰۱۶}}
{{منبع نامعتبر|تاریخ=ژانویه ۲۰۱۶}}
{{شیوه‌های برنامه‌نویسی}}
[[پرونده:IBM Blue Gene P supercomputer.jpg||بندانگشتی|300px|IBM's [[ژن آبی]]/P [[massively parallel]]]]

'''رایانش موازی''' نوعی رایانش است که در آن بسیاری از محاسبات یا فرایندها به‌طور همزمان انجام می‌شوند.<ref>{{cite book|last=Gottlieb|first=Allan|title=Highly parallel computing|year=1989|publisher=Benjamin/Cummings|location=Redwood City, Calif.|isbn=978-0-8053-0177-9|url=http://dl.acm.org/citation.cfm?id=160438|author2=Almasi, George S.}}</ref> مشکلات بزرگ را اغلب می‌توان به مشکلات کوچکتر تقسیم و سپس همزمان حل کرد. چندین فرم مختلف رایانش موازی از جمله سطح بیت، [[موازی‌سازی در سطح دستورالعمل|سطح دستورالعمل]]، داده‌ها و موازی‌کاری وجود دارند. موازی‌سازی مدت‌ها است که در رایانش دارای عملکرد بالا ([[ابررایانه|ابر رایانه]]) مورد استفاده قرار می‌گیرد. اما به دلیل محدودیت‌های فیزیکی که مانع از افزایش بسامد (frequency scaling) بیشتر می‌شوند، اقبال گسترده‌تری پیدا کرده‌است.<ref name=":0">S.V. Adve ''et al.'' (November 2008). [https://graphics.cs.illinois.edu/sites/default/files/upcrc-wp.pdf "Parallel Computing Research at Illinois: The UPCRC Agenda"] {{webarchive|url=https://web.archive.org/web/20180111165735/https://graphics.cs.illinois.edu/sites/default/files/upcrc-wp.pdf|date=2018-01-11}} (PDF). Parallel@Illinois, University of Illinois at Urbana-Champaign. "The main techniques for these performance benefits—increased clock frequency and smarter but increasingly complex architectures—are now hitting the so-called power wall. The [[computer industry]] has accepted that future performance increases must largely come from increasing the number of processors (or cores) on a die, rather than making a single core go faster."</ref> از آنجا که مصرف برق (و در نتیجه تولید گرما) توسط رایانه‌ها در سال‌های اخیر به یک نگرانی تبدیل شده،<ref>Asanovic ''et al.'' Old [conventional wisdom]: Power is free, but [[transistor]]s are expensive. New [conventional wisdom] is [that] power is expensive, but transistors are "free".</ref> رایانش موازی به الگوی غالب در [[معماری رایانه]] تبدیل شده‌است، که عمدتاً به صورت [[پردازنده چندهسته‌ای|پردازنده‌های چندهسته‌ای]] است.<ref name="View-Power">Asanovic, Krste ''et al.'' (December 18, 2006). [http://www.eecs.berkeley.edu/Pubs/TechRpts/2006/EECS-2006-183.pdf "The Landscape of Parallel Computing Research: A View from Berkeley"] (PDF). University of California, Berkeley. Technical Report No. UCB/EECS-2006-183. "Old [conventional wisdom]: Increasing clock frequency is the primary method of improving processor performance. New [conventional wisdom]: Increasing parallelism is the primary method of improving processor performance… Even representatives from Intel, a company generally associated with the 'higher clock-speed is better' position, warned that traditional approaches to maximizing performance through maximizing clock speed have been pushed to their limits."</ref>

رایانش موازی (parallel) ارتباط نزدیکی با [[رایانش همزمان|رایانش همروند]] (concurrent) دارد. آنها اغلب با هم مورد استفاده قرار می‌گیرند و اگرچه این دو متمایز هستند اغلب با هم ادغام می‌شوند. این امکان وجود دارد تا موازی‌سازی بدون همروندی (مانند [[موازی‌سازی بیتی|موازی‌سازی در سطح بیت]]) و همروندی بدون موازی‌سازی (مانند چند وظیفه‌ای با به [[اشتراک زمانی|اشتراک گذاری زمان]] در یک پردازنده تک هسته‌ای).<ref name="waza">"Concurrency is not Parallelism", ''Waza conference'' Jan 11, 2012, [[Rob Pike]] ([http://talks.golang.org/2012/waza.slide slides] {{Webarchive|url=https://web.archive.org/web/20150730203124/http://talks.golang.org/2012/waza.slide|date=2015-07-30}}) ([http://vimeo.com/49718712 video])</ref><ref>{{cite web
|url=https://wiki.haskell.org/Parallelism_vs._Concurrency
|title=Parallelism vs. Concurrency
|work=Haskell Wiki
}}</ref> در رایانش موازی، یک وظیفهٔ محاسباتی به‌طور مرسوم به چندین، معمولاً تعداد زیادی، زیر وظیفهٔ بسیار مشابه تقسیم می‌شود که می‌توانند به‌طور مستقل پردازش شوند و نتایج آنها پس از پایان، ترکیب شوند. در مقابل، در رایانش همروند، فرایندهای مختلف غالباً وظایف مرتبط را رفع و رجوع نمی‌کنند؛ اگر هم این کار را بکنند، همان‌طور که در [[رایانش توزیع‌شده|رایانش توزیع شده]] معمول است، وظایف جداگانه ممکن است ماهیت متنوعی داشته باشند و اغلب هنگام اجرا به برخی از [[ارتباط بین پردازشی|ارتباطات بین فرآیندی]] نیاز دارند.

رایانه‌های موازی را می‌توان تقریباً بر اساس سطحی از موازی‌سازی که سخت‌افزار پشتیبانی می‌کند، طبقه‌بندی کرد، در این میان رایانه‌های چندهسته‌ای و چند پردازنده دارای چندین عنصر پردازشی در یک ماشین واحد هستند، در حالی که [[خوشه کامپیوتر|خوشه‌ها]](clusters)، [[شدیداً موازی (رایانش)|رایانش شدیداً موازی]] (massively paralle computing) و [[رایانش مشبک|شبکه‌ها]](grids) از چندین رایانه برای کار با بر روی یک وظیفه استفاده می‌کنند. برای تسریع در انجام کارهای خاص، گاهی اوقات از معماری‌های رایانه‌ای موازی خاص در کنار پردازنده‌های سنتی استفاده می‌شود.

در بعضی موارد، موازی‌سازی برای برنامه‌نویس شفاف است، مانند موازی‌سازی در سطح بیت یا در سطح دستورالعمل، اما نوشتن الگوریتم‌های صریحاً موازی، به ویژه آنهایی که از همروندی استفاده می‌کنند، دشوارتر از موارد متوالی است،<ref>{{cite book|last=Hennessy|first=John L.|author-link=John L. Hennessy|title=Computer organization and design: the hardware/software interface|year=1999|publisher=Kaufmann|location=San Francisco|isbn=978-1-55860-428-5|edition=2. ed. , 3rd print.|author2=Patterson, David A.|author-link2=David Patterson (computer scientist)|author3=Larus, James R.|author-link3=James Larus|url=https://archive.org/details/computerorganiz000henn}}</ref> زیرا همروندی باعث بوجود آمدن چندین کلاس جدید از [[اشکال نرم‌افزاری|اشکالات نرم‌افزاری]] بالقوه می‌شود، که [[وضعیت رقابتی|شرایط مسابقه]]<nowiki/>‌ای شایع‌ترین آن‌ها است. [[شبکه رایانه‌ای|ارتباط]] و [[همگام‌سازی (علوم رایانه)|همگام سازی]] بین زیر-وظایف مختلف معمولاً از بزرگ‌ترین موانع دستیابی به عملکرد بهینه در برنامهٔ موازی است.

در [[قانون امدال|قانون آمدال]]، یک حداکثر مجاز نظری برای افزایش سرعت یک برنامه واحد در نتیجه موازی‌سازی وجود دارد.

== زمینه ==
به‌طور مرسوم، نرم‌افزار کامپیوتر برای [[رایانش متوالی]] نوشته شده‌است. برای حل یک مسئله، [[الگوریتم|الگوریتمی]] به شکل یک جریان متوالی از دستورالعمل‌ها ساخته و اجرا می‌شود. این دستورالعمل‌ها در یک [[واحد پردازش مرکزی]] در یک رایانه اجرا می‌شوند. فقط یک دستورالعمل می‌تواند در هر زمان اجرا شود - پس از پایان آن دستورالعمل، دستور بعدی اجرا می‌شود.<ref name="llnltut">{{cite web |url=http://www.llnl.gov/computing/tutorials/parallel_comp/ |title=Introduction to Parallel Computing |access-date=2007-11-09 |author=Barney, Blaise |publisher=Lawrence Livermore National Laboratory |archive-date=29 ژوئن 2013 |archive-url=https://www.webcitation.org/6HkQWt6d4?url=https://computing.llnl.gov/tutorials/parallel_comp/}}</ref>

از طرف دیگر، رایانش موازی از چندین عنصر پردازش گر به‌طور همزمان برای حل یک مسئله استفاده می‌کند. این امر با تقسیم مسئله به قسمت‌های مستقل حاصل می‌شود تا هر عنصر پردازش گر بتواند سهمی از الگوریتم را همزمان با بقیه اجرا کند. عناصر پردازش گر می‌توانند متنوع باشند و شامل منابعی مانند یک رایانه با چندین پردازنده، چندین رایانه شبکه شده، سخت‌افزار تخصصی یا هر ترکیبی از موارد فوق هستند.<ref name="llnltut"/> از نظر تاریخی رایانش موازی برای محاسبات علمی و شبیه‌سازی مسئله‌های علمی، به ویژه در [[علوم طبیعی]] و مهندسی، مانند [[هواشناسی]] استفاده می‌شد. این امر منجر به طراحی سخت‌افزار و نرم‌افزار موازی و همچنین [[ابررایانه|رایانش با کارایی بالا]] شد.<ref>{{Cite book|title=Parallel Programming: for Multicore and Cluster Systems|url=https://archive.org/details/parallelprogramm00raub_703|author=Thomas Rauber |author2=Gudula Rünger|publisher=Springer Science & Business Media|year=2013|isbn=978-3-642-37801-0|page=[https://archive.org/details/parallelprogramm00raub_703/page/n1 1]}}</ref>

افزایش بسامد دلیل اصلی بهبود [[عملکرد کامپیوتر|عملکرد رایانه(computer performance)]] از اواسط دهه ۱۹۸۰ تا ۲۰۰۴ بود. زمان اجرای یک برنامه برابر است با تعداد دستورالعمل‌ها ضربدر متوسط زمان برای هر دستورالعمل. با ثابت نگه داشتن همه عوامل دیگر، افزایش بسامد ساعت باعث کاهش میانگین زمان اجرای دستورالعمل می‌شود؛ بنابراین افزایش بسامد باعث کاهش [[زمان اجرا (فاز چرخه زندگی برنامه)|زمان اجرا]] برای همه برنامه‌های [[غالبا-محاسباتی]] (compute-bound) می‌شود.<ref>{{cite book|last=Hennessy|first=John L.|title=Computer architecture / a quantitative approach.|year=2002|publisher=International Thomson|location=San Francisco, Calif.|isbn=978-1-55860-724-8|edition=3rd|author2=Patterson, David A.|page=43}}</ref> با این حال، مصرف برق ('''P''') یک تراشه با معادلهٔ زیر محاسبه می‌شود:

{{چپ‌چین}}
''P'' = ''C'' × ''V'' <sup>2</sup> × ''F''
{{پایان چپ‌چین}}

که در آن، '''C''' [[ظرفیت خازنی|ظرفیتی]] است که در هر چرخهٔ ساعت سوئیچ می‌شود (متناسب با تعداد ترانزیستورهایی که ورودی‌های آنها تغییر می‌کند)، '''V''' [[ولتاژ]] و '''F''' بسامد پردازنده (تعداد چرخه در ثانیه) است.<ref>{{cite book|last=Rabaey|first=Jan M.|title=Digital integrated circuits: a design perspective|year=1996|publisher=Prentice-Hall|location=Upper Saddle River, N.J.|isbn=978-0-13-178609-7|page=235}}</ref> افزایش بسامد باعث افزایش میزان توان مصرفی در پردازنده می‌شود. افزایش مصرف انرژی پردازنده در نهایت منجر به لغو پردازنده‌های Tejas و Jayhawk [[اینتل]] در ۸ مه ۲۰۰۴ شد، که به‌طور کلی به عنوان پایان افزایش بسامد به عنوان الگوی غالب معماری رایانه ذکر می‌شود.<ref>{{cite news|last=Flynn|first=Laurie J.|title=Intel Halts Development Of 2 New Microprocessors|url=https://www.nytimes.com/2004/05/08/business/08chip.html?ex=1399348800&en=98cc44ca97b1a562&ei=5007|access-date=5 June 2012|newspaper=New York Times|date=8 May 2004}}</ref>
برای مقابله با مشکل مصرف برق و گرم شدن بیش از حد واحد پردازش مرکزی اصلی (CPU یا پردازنده)، تولیدکنندگان شروع به تولید پردازنده‌های چندهسته‌ای کارامد از نظر مصرف انرژی کردند. هسته واحد محاسباتی پردازنده است و در پردازنده‌های چندهسته‌ای هر هسته مستقل است و هسته‌ها می‌توانند به‌طور همزمان به یک حافظه دسترسی داشته باشد. [[پردازنده چندهسته‌ای|پردازنده‌های چندهسته‌ای]] رایانش موازی را به [[رایانه رومیزی|رایانه‌های خانگی]] آورده‌اند؛ بنابراین موازی‌سازی برنامه‌های سریالی تبدیل به کار اصلی برنامه‌نویسی شده‌است. در سال ۲۰۱۲ پردازنده‌های چهار هسته‌ای در رایانه‌های خانگی معمول شدند، در حالی که [[سرور (رایانه)|سرورها]] دارای ۱۰ یا ۱۲ هستهٔ پردازنده بودند. از [[قانون مور]] می‌توان پیش‌بینی کرد که تعداد هسته‌ها در هر پردازنده هر ۱۸–۲۴ ماه دو برابر شود. این می‌تواند به این معنی باشد که پس از سال ۲۰۲۰ یک پردازنده معمولی ده‌ها یا صدها هسته دارد.<ref>{{Cite book|title=Parallel Programming: for Multicore and Cluster Systems|url=https://archive.org/details/parallelprogramm00raub_703|author=Thomas Rauber |author2=Gudula Rünger|publisher=Springer Science & Business Media|year=2013|isbn=978-3-642-37801-0|page=[https://archive.org/details/parallelprogramm00raub_703/page/n2 2]}}</ref>

یک [[سیستم‌عامل|سیستم عامل]] باید اطمینان حاصل کند که وظایف مختلف و برنامه‌های کاربر به‌طور موازی بر روی هسته‌های موجود اجرا می‌شوند. با این وجود، برای اینکه یک برنامه نرم‌افزاری سریالی از معماری چندهسته‌ای کاملاً بهره ببرد، برنامه‌نویس باید ساختار کد آن را تغییر دهد و این را موازی‌سازی کند. سرعت بخشیدن به زمان اجرای نرم‌افزار اپلیکیشن دیگر از طریق افزایش بسامد امکان‌پذیر نیست، و در عوض برنامه نویسان برای استفاده از قدرت محاسباتی فزاینده معماری‌های چندهسته‌ای، باید کد نرم‌افزار خود را موازی‌سازی کنند.<ref>{{Cite book|title=Parallel Programming: for Multicore and Cluster Systems|url=https://archive.org/details/parallelprogramm00raub_703|author=Thomas Rauber |author2=Gudula Rünger|publisher=Springer Science & Business Media|year=2013|isbn=978-3-642-37801-0|page=[https://archive.org/details/parallelprogramm00raub_703/page/n3 3]}}</ref>

=== قانون آمدال و قانون گوستافسون ===
[[File:AmdahlsLaw.svg|right|thumbnail|300px| نمایش گرافیکی قانون آمدال. افزایش سرعت برنامه ناشی از موازی‌سازی به میزان قابلیت موازی‌سازی شدن برنامه بستگی دارد. برای نمونه، اگر ۹۰٪ از برنامه را بتوان موازی‌سازی کرد، حداکثر افزایش سرعت نظری با استفاده از رایانش موازی، هرچقدر هم که تعداد پردازنده‌ها افزایش یابند، ۱۰ برابر خواهد بود.]]

در حالت مطلوب، افزایش سرعت از طریق موازی‌سازی خطی خواهد بود - دو برابر شدن تعداد عناصر پردازش گر باید زمان اجرا را به نصف کاهش دهد و اگر تعداد عناصر پردازشگر برای بار دوم دو برابر شود، باز هم باید زمان اجرا نصف شود. با این حال، تعداد بسیار کمی از الگوریتم‌های موازی افزایش سرعت بهینه را به دست می‌آورند. بیشتر آنها برای تعداد کمی از عناصر پردازش گر افزایش سرعت تقریباً خطی دارند که برای تعداد زیاد به یک مقدار ثابت می‌رسد و صاف می‌شود.

[[File:Optimizing-different-parts.svg|thumb|300px|فرض کنید که یک کار دارای دو قسمت مستقل است، A و B. قسمت B تقریباً ۲۵٪ از زمان کل محاسبه را می‌گیرد. با تلاش خیلی زیاد، ممکن است بتوانید این قسمت را ۵ برابر سریعتر کنید، اما این کار فقط باعث می‌شود تا زمان کل محاسبه اندکی کم شود. در مقابل، ممکن است دو برابر کردن سرعت بخش A راحت تر باشد. این کار باعث افزایش سرعت بیشتری در کل کار در مقایسه با بهینه‌سازی قسمت B می‌شود، با اینکه افزایش سرعت قسمت B بیشتر از A بوده‌است (۵ برابر در برابر ۲ برابر).]]

افزایش سرعت بالقوه یک الگوریتم در یک سیستم رایانش موازی توسط قانون آمدال بدست می‌آید:<ref>{{cite journal|last=Amdahl|first=Gene M.|title=Validity of the single processor approach to achieving large scale computing capabilities|journal=Proceeding AFIPS '67 (Spring) Proceedings of the April 18–20, 1967, Spring Joint Computer Conference|pages=483–485|doi=10.1145/1465482.1465560|url=http://dl.acm.org/citation.cfm?id=160438|year=1967}}</ref>

{{چپ‌چین}}
<math>S_\text{latency}(s) = \frac{1}{1 - p + \frac{p}{s}},</math>
{{پایان چپ‌چین}}

که در آن:
* ''S''<sub>latency</sub>، افزایش سرعت بالقوه در تأخیر اجرای کل کار است؛
* ''s'' افزایش سرعت در [[تأخیر (مهندسی)|تأخیر]] اجرای قسمت قابل موازی‌سازی کار است.
* ''p'' درصدی از زمان کل اجرای برنامه است که متعلق به بخشی از برنامه است که قابل موازی‌سازی است.

از آنجا که {{nowrap|''S''<sub>latency</sub> < 1/(1 - ''p'')}}، این نشان می‌دهد که قسمت کوچکی از برنامه که نمی‌تواند موازی‌سازی شود، [[افزایش سرعت]](speedup) کلی حاصل از موازی‌سازی را محدود می‌کند. برنامه‌ای که یک مسئله بزرگ ریاضی یا مهندسی را حل می‌کند، معمولاً از چندین قسمت قابل موازی‌سازی و چند قسمت غیرقابل موازی (متوالی) تشکیل می‌شود. اگر قسمت غیرقابل موازی‌سازی یک برنامه ۱۰٪ از کل زمان اجرا را تشکیل دهد (۰٫۹ = p)، هر قدر تعداد پردازنده‌ها را افزایش دهیم، نمی‌توانیم بیش از ۱۰ برابر افزایش سرعت داشته باشیم. این امر موجب یک محدودیت حداکثری در رابطه با سودمندی افزودن واحدهای اجرایی موازی بیشتر می‌شود. «وقتی یک کار به دلیل محدودیت‌های ناشی از توالی قابل تقسیم نیست، اعمال تلاش بیشتر هیچ تأثیری در زمان‌بندی آن ندارد. طول دورهٔ حاملگی نه ماه است، مهم نیست که چند زن به آن اختصاص داده شود.»<ref>{{cite book|last=Brooks|first=Frederick P.|title=The mythical man month essays on software engineering|year=1996|publisher=Addison-Wesley|location=Reading, Mass. [u.a.]|isbn=978-0-201-83595-3|edition=Anniversary ed. , repr. with corr. , 5. [Dr.]|url=https://archive.org/details/mythicalmonth00broo}}</ref>

[[File:Gustafson.png|thumb|right|300px|نمایش گرافیکی قانون گوستافسون]]

[[قانون امدال|قانون آمدال]] فقط در مواردی اعمال می‌شود که اندازه مسئله ثابت باشد. در عمل، با در دسترس قرار گرفتن منابع محاسباتی بیشتر، آنها تمایل دارند که از مسئله‌های بزرگتر (مجموعه داده‌های بزرگتر) استفاده کنند، و زمان صرف شده در قسمت قابل موازی‌سازی اغلب سریعتر از کار ذاتاً سریالی رشد می‌کند.<ref>{{cite book |author1=Michael McCool |author2=James Reinders |author3=Arch Robison |title=Structured Parallel Programming: Patterns for Efficient Computation |url=https://archive.org/details/structuredparall0000mcco |publisher=Elsevier |year=2013 |pages=[https://archive.org/details/structuredparall0000mcco/page/n90 61]}}</ref> در این حالت، [[قانون گوستافسون]] ارزیابی کمتر بدبینانه و بیشتر واقع بینانه از کارایی موازی‌سازی ارائه می‌دهد:<ref>{{cite journal|last=Gustafson|first=John L.|title=Reevaluating Amdahl's law|journal=Communications of the ACM|date=May 1988|volume=31|issue=5|pages=532–533|doi=10.1145/42411.42415|url=http://www.scl.ameslab.gov/Publications/Gus/AmdahlsLaw/Amdahls.html|url-status=dead|archive-url=https://web.archive.org/web/20070927040654/http://www.scl.ameslab.gov/Publications/Gus/AmdahlsLaw/Amdahls.html|archive-date=2007-09-27|citeseerx=10.1.1.509.6892|s2cid=33937392}}</ref>

{{چپ‌چین}}
<math>S_\text{latency}(s) = 1 - p + sp.</math>
{{پایان چپ‌چین}}

هر دو قانون آمدال و گوستافسون فرض می‌کنند که زمان اجرای قسمت متوالی برنامه مستقل از تعداد پردازنده‌ها است. قانون آمدال فرض می‌کند که کل مسئله دارای اندازه ثابت است به طوری که کل کار انجام شده به‌طور موازی نیز مستقل از تعداد پردازنده‌ها است، در حالی که قانون گوستافسون فرض می‌کند که کل کار انجام شده به صورت موازی ارتباط خطی با تعداد پردازنده‌ها دارد.

=== وابستگی‌ها ===
درک [[وابستگی داده]]‌ها در اجرای [[الگوریتم موازی|الگوریتم‌های موازی]] اساسی است. هیچ برنامه‌ای نمی‌تواند سریعتر از طولانی‌ترین زنجیره محاسبات وابسته (معروف به [[روش مسیر بحرانی|مسیر بحرانی]]) اجرا شود، زیرا محاسباتی که به محاسبات قبلی در زنجیره بستگی دارند باید به ترتیب اجرا شوند. با این حال، بیشتر الگوریتم‌ها صرفاً از یک زنجیره طولانی محاسبات وابسته تشکیل نشده‌اند. معمولاً فرصت‌هایی برای اجرای محاسبات مستقل به‌طور موازی وجود دارد.

فرض کنید ''P''<sub>''i''</sub> و ''P''<sub>''j''</sub> دو بخش برنامه باشند. شرایط برنشتاین<ref>{{cite journal|last=Bernstein|first=A. J.|title=Analysis of Programs for Parallel Processing|journal=IEEE Transactions on Electronic Computers|date=1 October 1966|volume=EC-15|issue=5|pages=757–763|doi=10.1109/PGEC.1966.264565}}</ref> زمانی را توصیف می‌کند که این دو مستقل باشند و بتوانند به‌طور موازی اجرا شوند. برای ''P''<sub>''i''</sub>، فرض کنید ''I''<sub>''i''</sub> همه متغیرهای ورودی و ''O''<sub>''i''</sub> متغیرهای خروجی باشند، و به همین شکل، برای ''P''<sub>''j''</sub>. دو قسمت ''P''<sub>''i''</sub> و ''P''<sub>''j''</sub> در صورت برآورده کردن شرایط زیر مستقل هستند:
{{چپ‌چین}}
: <math>I_j \cap O_i = \varnothing,</math>
: <math>I_i \cap O_j = \varnothing,</math>
: <math>O_i \cap O_j = \varnothing.</math>
{{پایان چپ‌چین}}

نقض شرط اول وابستگی جریان را ایجاد می‌کند، به این معنی که نخستین بخش نتیجه‌ای تولید می‌کند که توسط بخش دوم استفاده می‌شود. شرط دوم نشان دهندهٔ ضد وابستگی است، بدین معنی که قطعه دوم متغیر مورد نیاز بخش اول را تولید می‌کند. شرط سوم و نهایی وابستگی خروجی را نشان می‌دهد: وقتی دو بخش در یک مکان بنویسند، نتیجهٔ نهایی مربوط به آخرین قسمت اجرا شده از نظر منطقی است.<ref>{{cite book|last=Roosta|first=Seyed H.|title=Parallel processing and parallel algorithms: theory and computation|url=https://archive.org/details/parallelprocessi00roos|year=2000|publisher=Springer|location=New York, NY [u.a.]|isbn=978-0-387-98716-3|page=[https://archive.org/details/parallelprocessi00roos/page/n129 114]}}</ref>

توابع زیر را در نظر بگیرید، که انواع مختلفی از وابستگی‌ها را نشان می‌دهد:

{{چپ‌چین}}
 1: function Dep(a, b)
 2: c := a * b
 3: d := 3 * c
 4: end function
{{پایان چپ‌چین}}

در این مثال، دستورالعمل ۳ نمی‌تواند قبل از (یا حتی به موازات) دستورالعمل ۲ اجرا شود، زیرا دستورالعمل ۳ از نتیجه دستورالعمل ۲ استفاده می‌کند. این کار شرط اول را نقض می‌کند، بنابراین وابستگی جریان را ایجاد می‌کند.

{{چپ‌چین}}
 1: function NoDep(a, b)
 2: c := a * b
 3: d := 3 * b
 4: e := a + b
 5: end function
{{پایان چپ‌چین}}

در این مثال، هیچ وابستگی بین دستورالعمل‌ها وجود ندارد، بنابراین می‌توان همه آنها را به‌طور موازی اجرا کرد.

شرایط برنشتاین اجازه نمی‌دهد حافظه بین فرآیندهای مختلف تقسیم شود. برای این کار، برخی از ابزارهای اعمال نظم بین دسترسی‌ها لازم است؛ مانند [[نشان‌بر|سمافورها]]، [[مانع همگام‌سازی (علوم رایانه)|موانع]] یا سایر روش‌های [[همگام‌سازی (علوم رایانه)|همگام سازی]].

=== شرایط مسابقه، انحصار متقابل، همگام سازی و کند شدن موازی ===
وظایف فرعی(subtask) در یک برنامه موازی را اغلب [[ریسمان (رایانش)|رشته]] می‌نامند. برخی از معماری‌های موازی رایانه‌ای از نوعی رشته‌های کوچکتر و سبک که به عنوان [[فیبر (علوم رایانه)|فیبر]] معروف هستند استفاده می‌کنند، در حالی که برخی دیگر از رشته‌های بزرگتر به نام [[فرایند (رایانش)|پردازش]] استفاده می‌کنند. با این حال، «رشته‌ها» به‌طور کلی به عنوان یک اصطلاح عمومی برای وظایف فرعی استفاده می‌شود.<ref>{{cite web
 | url = https://msdn.microsoft.com/en-us/library/windows/desktop/ms684841(v=vs.85).aspx
 | title = Processes and Threads
 | date = 2018
 | website = Microsoft Developer Network
 | publisher = Microsoft Corp.
 | access-date = 2018-05-10
}}</ref> رشته‌ها اغلب به دسترسی همزمان به یک [[شیء (علوم رایانه)|شی]] یا [[مدیریت منابع (رایانه)|منبع]] دیگر احتیاج دارند؛ برای نمونه وقتی که آنها باید [[متغیر (برنامه‌نویسی)|متغیری]] را که بین آنها به اشتراک گذاشته شده‌است به روز کنند. بدون [[همگام‌سازی (علوم رایانه)|همگام سازی]]، دستورالعمل‌های بین دو رشته به هر ترتیب ممکن است در لابلای هم قرار گیرند. برای نمونه، برنامه زیر را در نظر بگیرید:
{{چپ‌چین}}
{| class="wikitable"
|-
|Thread A
|Thread B
|-
|1A: Read variable V
|1B: Read variable V
|-
|2A: Add 1 to variable V
|2B: Add 1 to variable V
|-
|3A: Write back to variable V
|3B: Write back to variable V
|}
{{پایان چپ‌چین}}
اگر دستورالعمل 1B بین 1A و 3A یا دستورالعمل 1A بین 1B و 3B اجرا شود، برنامه داده‌های نادرستی تولید می‌کند. این حالت باعث ایجاد شرایط مسابقه‌ای می‌شود. برنامه‌نویس برای ایجاد [[انحصار متقابل]] باید از قفل استفاده کند. قفل یک ساختار زبان برنامه‌نویسی است که به یک رشته اجازه می‌دهد تا کنترل یک متغیر را بدست گرفته و تا زمانی که قفل آن متغیر باز شود از خواندن یا نوشتن در آن توسط سایر رشته‌ها جلوگیری کند. ریسمان نگهدارنده قفل برای اجرای [[بخش بحرانی]] آن (بخشی از برنامه که نیاز به دسترسی انحصاری به برخی از متغیرها دارد) و باز کردن قفل داده پس از پایان کارش آزاد است؛ بنابراین، برای تضمین اجرای صحیح برنامه، می‌توان برنامه فوق را برای استفاده از قفل بازنویسی کرد:
{{چپ‌چین}}
{| class="wikitable"
|-
|Thread A
|Thread B
|-
|1A: Lock variable V
|1B: Lock variable V
|-
|2A: Read variable V
|2B: Read variable V
|-
|3A: Add 1 to variable V
|3B: Add 1 to variable V
|-
|4A: Write back to variable V
|4B: Write back to variable V
|-
|5A: Unlock variable V
|5B: Unlock variable V
|}
{{پایان چپ‌چین}}
یک رشته با موفقیت متغیر V را قفل می‌کند، در حالی که از رشته دیگر ممانعت می‌شود - تا زمانی که قفل V دوباره باز شود نمی‌تواند ادامه دهد. این وضعیت اجرای صحیح برنامه را تضمین می‌کند. در صورتی که نیاز به دسترسی رشته‌ها به منابع بصورت سریالی باشد، ممکن است وجود قفل برای اطمینان از اجرای صحیح برنامه ضروری باشد، اما استفاده از قفل‌ها می‌تواند برنامه را بسیار کند کند و بر [[کیفیت نرم‌افزار#قابلیت اطمینان|قابلیت اطمینان]] آن تأثیر بگذارد.<ref>{{cite web
 | url = http://www.developforperformance.com/ThreadSafetyForPerformance.html
 | title = Thread Safety for Performance
 | last = Krauss
 | first = Kirk J
 | date = 2018
 | website = Develop for Performance
 | access-date = 2018-05-10
 | archive-date = ۱۳ مه ۲۰۱۸
 | archive-url = https://web.archive.org/web/20180513081315/http://www.developforperformance.com/ThreadSafetyForPerformance.html
 | url-status = dead
 }}</ref>

قفل کردن متغیرهای متعدد با استفاده از [[قفل (رایانه)|قفل]]‌های غیر یکجا ممکن است موجب بن‌بست در برنامه شود. یک قفل [[عملیات یکجا|یکجا]] (اتمیک) همزمان چندین متغیر را با هم قفل می‌کند. اگر نتواند همه آنها را با هم قفل کند، هیچ‌یک را قفل نمی‌کند. اگر دو رشته بخواهند با استفاده از قفل‌های غیر یکجا دو متغیر مشترک را قفل کنند، ممکن است که یک ریسه یکی از آنها را قفل کند و ریسه دوم متغیر دیگر را قفل کند. در چنین شرایطی، هیچ‌کدام از دو رشته نمی‌تواند کامل شوند و بن‌بست بوجود می‌آید.<ref>{{cite book
 | url = http://www.informit.com/articles/article.aspx?p=25193
 | title = Introduction to Operating System Deadlocks
 | last = Tanenbaum
 | first = Andrew S.
 | date = 2002-02-01
 | website = Informit
 | publisher = Pearson Education, Informit
 | access-date = 2018-05-10
}}</ref>

در بسیاری از برنامه‌های موازی باید وظایف فرعی به‌طور همگام انجام شود. این امر مستلزم استفاده از مانع(barrier) است. موانع معمولاً با استفاده از قفل یا سمافور اجرا می‌شوند.<ref>{{cite web
 | url = https://www.embedded.com/design/operating-systems/4440752/Synchronization-internals----the-semaphore
 | title = Synchronization internals &ndash; the semaphore
 | last = Cecil
 | first = David
 | date = 2015-11-03
 | website = Embedded
 | publisher = AspenCore
 | access-date = 2018-05-10
}}</ref> یک کلاس از الگوریتم‌ها، که تحت عنوان [[الگوریتم‌های غیرمسدودکننده|الگوریتم‌های بدون قفل و بدون انتظار]] شناخته می‌شوند، درکنار هم، از استفاده از قفل و موانع جلوگیری می‌کنند. با این حال، اجرای این روش به‌طور کلی دشوار است و نیاز به ساختارهای داده‌ای دارد که به درستی طراحی شده باشند.<ref>{{cite web
 | url = http://preshing.com/20120612/an-introduction-to-lock-free-programming/
 | title = An Introduction to Lock-Free Programming
 | last = Preshing
 | first = Jeff
 | date = 2012-06-08
 | website = Preshing on Programming
 | access-date = 2018-05-10
}}</ref>

همه موازی‌سازی‌ها منجر به افزایش سرعت نمی‌شوند. به‌طور کلی، با تقسیم وظایف به رشته‌های بیشتر و بیشتر، این رشته‌ها بخشی از زمان فزایندهٔ خود را، صرف برقراری ارتباط با یکدیگر می‌کنند یا منتظر یکدیگر هستند تا به منابع دسترسی پیدا کنند.<ref>{{cite web
 | url = https://stackoverflow.com/questions/806569/whats-the-opposite-of-embarrassingly-parallel
 | title = What's the opposite of "embarrassingly parallel"?
 | website = StackOverflow
 | access-date = 2018-05-10
}}</ref><ref>{{cite web
 | url = https://stackoverflow.com/questions/1970345/what-is-thread-contention
 | title = What is thread contention?
 | last = Schwartz
 | first = David
 | date = 2011-08-15
 | website = StackOverflow
 | access-date = 2018-05-10
}}</ref> هنگامی که سربار ناشی از رقابت بر سر منابع یا ارتباطات، بر زمان صرف شده برای محاسبات دیگر غلبه پیدا کند، موازی‌سازی بیشتر (یعنی تقسیم بار کاری بین تعداد بیشتری از ریسه‌ها) موجب افزایش زمان مورد نیاز برای اتمام می‌شود تا کاهش آن. این مشکل که به [[Parallel slowdown|کند شدن موازی]] شناخته می‌شود،<ref>{{cite web
 | url = https://software.intel.com/en-us/blogs/2008/03/04/why-a-simple-test-can-get-parallel-slowdown
 | title = Why a simple test can get parallel slowdown
 | last = Kukanov
 | first = Alexey
 | date = 2008-03-04
 | access-date = 2015-02-15
}}</ref> در برخی موارد با تجزیه و تحلیل و طراحی دوباره نرم‌افزار قابل بهبود است.<ref>{{cite web
 | url = http://www.developforperformance.com/ThreadingForPerformance.html
 | title = Threading for Performance
 | last = Krauss
 | first = Kirk J
 | date = 2018
 | website = Develop for Performance
 | access-date = 2018-05-10
 | archive-date = ۱۳ مه ۲۰۱۸
 | archive-url = https://web.archive.org/web/20180513081501/http://www.developforperformance.com/ThreadingForPerformance.html
 | url-status = dead
 }}</ref>

== تاریخچه ==
=== دهه ۱۹۵۰ ===
ایده استفاده از موازی‌سازی چنددستور، چندداده {{به انگلیسی|Multiple Instruction, Multiple Data}} یا به اختصار ([[:en:MIMD]]) به سال ۱۹۵۴ بر می‌گردد، جایی که نخستین کامپیوتر تجاری محاسبات اعداد [[ممیز شناور]] توسط جن آمدال در [[شرکت آی بی ام]] با نام ۷۰۴ تولید شد. در آوریل ۱۹۵۸ اس. جیل (فرانتی)، بحث انشعاب و انتظار را در برنامه‌نویسی موازی مطرح کرد. همچنین در همین سال دو تن از پژوهشگران شرکت [[آی بی ام]] به نام‌های جان کوک و دنییل اسلوتنیک، ایده استفاده از موازی‌سازی در [[محاسبات عددی]] را برای نخستین بار مطرح کردند.

=== دهه ۱۹۶۰ ===
در سال ۱۹۶۲ شرکت باروز، کامپیوتر دی ۸۲۵ که دارای ۴ پردازنده و توانایی دسترسی به ۱۶ ماژول حافظه از طریق سوییچ چلیپایی بود را معرفی کرد. در سال ۱۹۶۷، آمدال و اسلوتنیک در کنفرانس [[پردازش اطلاعات]] در آمریکا، [[قانون آمدال]] را معرفی کردند که محدودیت افزایش سرعت در برابر موازی‌سازی را مطرح می‌کند. در سال ۱۹۶۹ شرکت [[هانی ول]]، سیستم چندپردازنده‌ای را معرفی کرد که دارای ۸ پردازنده به صورت موازی بود.

=== دهه ۱۹۸۰ ===
نخستین کامپیوتر مدرن یک دستور، چند داده {{به انگلیسی|Single Instruction, Multiple Data}} یا به اختصار ([[:en:SIMD]]) در سال ۱۹۸۷ با نام ماشین متفکر توسط دنی هیلز و شرلی هندلر بازسازی شد.

=== دهه ۱۹۹۰ ===
در دهه ۱۹۹۰ تولید کامپیوترهای یک دستور، چندداده روند رو به رشدی پیدا کردند، در سال ۱۹۹۵ شرکت سان‌میکروسیستم UltraSPARC را معرفی کرد. همچنین [[شرکت اینتل]] در سال ۱۹۹۶ نخستین کامپیوتر رو میزی دارای سیستم یک‌دستور، چندداده برای سیستم‌های ۳۲ بیتی معرفی کرد. در سال ۱۹۹۶ استاندارد ([[:en:POSIX Threads]]) برای برنامه‌نویسی چند نخی معرفی شد. همچنین در این دهه معماری ([[:en:OpenMP]]) در سال ۱۹۹۷ برای برنامه‌نویسی سیستم‌های موازی با زبان [[فورترن|فرترن]] معرفی گردید، و در سال ۱۹۹۸ نیز نسخه C/C++{{چر}} این معماری معرفی شد.

=== سال ۲۰۰۰ تا کنون ===
از سال ۲۰۰۰ تا کنون نسخه‌های بهبود یافته‌ای از OpenMP ارائه شده‌است. در سال ۲۰۰۰ نسخه ۲٫۰ فرترن و در سال ۲۰۰۲ نسخه ۲٫۰ [[سی پلاس پلاس]] OpenMP ارائه شد. نسخه ۲٫۵ در سال ۲۰۰۵ و نسخه ۳٫۰ در سال ۲۰۰۸ ارائه شد. نسخه ۴٫۰ برنامه در سال ۲۰۱۲ ارائه شد.

== ارتباط بین پردازش‌ها ==
پردازش‌ها {{به انگلیسی|Process}} در برنامه‌نویسی موازی برای انجام محاسبات خود نیاز به برقراری ارتباط با یکدیگر دارند، که روش‌های زیر برای این کار می‌باشند:
* حافظه اشتراکی ([[:en: Shared Memory]])
* تبادل پیام ([[:en: Message Passing]])
* مدل ضمنی {{به انگلیسی|Implicit}}

=== حافظه اشتراکی ===
در حافظه اشتراکی، وظایف {{به انگلیسی|Task}} موازی برای برقراری ارتباط با یکدیگر از یک [[فضای آدرس]] اشتراکی که توانایی نوشتن و خواندن غیرهمزمان {{به انگلیسی|asynchronous}} را دارد استفاده می‌کنند. در این حالت برای کنترل دسترسی‌های همزمان {{به انگلیسی|synchronous}} وظایف به این آدرس‌ها نیاز به مکانیزم‌هایی مانند قفل‌ها، سمافورها و مانیتورها است.

=== تبادل پیام ===
در این روش، وظایف موازی داده‌های مورد نیاز را از طریق پیام برای یکدیگر ارسال می‌کنند، که این ارتباطات می‌توانند همزمان یا غیرهمزمان باشند. در روش غیرهمزمان فرستنده پیام خود را بدون توجه به آمادگی گیرنده ارسال می‌کند.

=== مدل ضمنی ===
در این مدل، ارتباط بین وظایف بدون دخالت برنامه‌نویس انجام می‌شود. به این صورت که کامپایلر این کار را انجام می‌دهد.

== اصول برنامه‌نویسی موازی ==
=== یافتن موازات کافی در برنامه ([[قانون آمدال]]) ===
طبق قانون آمدال در برنامه‌نویسی موازی، باید طوری برنامه را به دو قسمت موازی و سریال تقسیم کرد، که مقدار سرباری {{به انگلیسی|Overhead}} که به سیستم به دلیل تقسیم وظایف میان نخ‌ها/پردازنده‌ها تحمیل می‌شود از مقدار سودی که به دلیل موازی کردن برنامه بدست می‌آوریم کمتر باشد.

=== دانه‌دانه کردن ===
هنگام تقسیم وظایف، باید به اندازه قسمتی از برنامه که قرار است به صورت موازی اجرا شود توجه داشت. به این صورت که در صورت زیاد بودن تعداد آنها و کوچک بودن این قسمت‌ها سربار بسیار زیادی به سیستم تحمیل خواهد شد، و در صورتی که اندازه این قسمت‌ها بسیار بزرگ باشد، در آن صورت این قسمت‌ها تقریباً به صورت سریال اجرا می‌شود که افزایش سرعتی در این حالت نخواهیم داشت.

=== محلی سازی ===
سرعت دسترسی به حافظه‌های دارای حجم بالا کم بوده، و سرعت دسترسی به حافظه‌های دارای حجم پایین زیاد است. با توجه به این امر، برنامه‌نویس باید طوری عمل کند که الگوریتم‌های موجود در برنامه باید بیشتر کار خود را روی داده‌های موجود در حافظه محلی {{به انگلیسی|Local Memory}} انجام دهند.

=== عدم تعادل بار ===
عدم تعادل بار {{به انگلیسی|Load Imbalance}} به حالتی گفته می‌شود که در آن بعضی از پردازنده‌ها در برخی زمان‌ها به دلایل زیر کاری را انجام نمی‌دهند:
* موزات ناکافی.
** وظایف غیرهم‌اندازه.

تعادل بار به دو صورت ایستا {{به انگلیسی|Static}}، یا پویا {{به انگلیسی|Dynamic}} در زمان اجرا انجام می‌پذیرد.

=== همگام سازی ===
بسیاری از الگوریتم‌هایی که برای اجرای موازی فرمان‌های، موازی‌سازی می‌شوند، الگوریتم‌هایی هستند که پردازش‌های موازی حاصل از آن‌ها بدون نیاز به ارتباط با دیگر پردازش‌ها، به محاسبات خود پرداخته و آن را ادامه می‌دهند. اما الگوریتم‌های دیگری نیز وجود دارند که در آن‌ها هر پردازنده محاسبات تکراری یکسانی را روی یک جزء متمایز داده‌ای انجام می‌دهد، اما پردازنده‌ها باید در انتهای هر تکرار با یکدیگر همگام {{به انگلیسی|Sync}} شوند و نتایج میانی خود را در اختیار دیگر پردازنده‌ها قرار دهند. یک روش مورد استفاده برای همگام‌سازی استفاده از حصاربند {{به انگلیسی|Barrier}} است که در این روش پردازش‌های اولیه که دستورالعمل حصاربندی را اجرا می‌کنند تا زمانی که تمام پردازش‌های دیگر وارد این نقطه شوند، در انتظار باقی می‌مانند.

=== شرایط مسابقه ===
شرایط مسابقه {{به انگلیسی|Race Condition}} یکی از خطاهای رایج در برنامه‌نویسی موازی به دلیل دسترسی همزمان وظایف به منابع است که این خطاها به صورت غیرقطعی بوده {{به انگلیسی|non-deterministic}} و لذا تشخیص آنها سخت است. برای جلوگیری از به وجود آمدن این شرایط می‌توان از قفل‌های سخت‌افزاری یا نرم‌افزاری استفاده کرد.

== ابزارهای برنامه‌نویسی موازی ==
با استفاده از ابزارها، برنامه‌نویس می‌تواند خود به طراحی روند اجرای موازی برنامه بپردازد و برای اموری مانند متغیرهای اشتراکی، وابستگی ورودی و خروجی رشته‌های موازی، ارتباط میان رشته‌های پردازشی یا پردازه‌ها و تجزیه‌پذیری بنیادی راه‌حل مسئله مورد نظر تصمیم بگیرد و شیوه توزیع شدن محاسبه، متغیرها و اشیا را طراحی کند. این دسته ابزارها خود به دو گروه عمده تقسیم می‌شوند:
* ابزارهای برنامه‌سازی برای سیستم‌های دارای حافظه اشتراکی
* ابزارهای برنامه‌نویسی برای سیستم‌های دارای حافظه توزیع‌شده ([[:en: Distributed Memory]]).

=== ابزارهای برنامه‌نویسی حافظه اشتراکی ===
==== POSIX Threads ====
مجموعه‌ای از کتابخانه‌های استاندارد به زبان C، که دارای توابعی برای برنامه‌نویسی موازی چندنخی است و معمولاً با عنوان Pthreads شناخته می‌شود. در Pthreads نخ‌ها از یک فضای آدرس دهی مشترک استفاده می‌کنند که کنترل و همگام‌سازی دسترسی نخ‌ها به این حافظه بر عهده برنامه‌نویس است. همچنین هر نخ فضای آدرس مخصوص به خود را دارد. Pthreads برای برنامه‌های که دارای ویژگی‌های زیر هستند، می‌تواند مناسب باشد:
* چند وظیفه به صورت همزمان، قابلیت اجرای پردازش روی داده‌های برنامه را داشته باشند.
** قطعه‌های از برنامه که زمان زیادی را منتظر [[ورودی/خروجی]] می‌مانند.
** برنامه‌هایی که در آنها برخی کارها نسبت به بقیه دارای اولویت باشد. (وقفه‌های اولویت)

===== دلایل استفاده از Pthreads =====
* Pthreads، هنگام اجرای برنامه کار پردازنده را با کار ورودی/خروجی همپوشانی می‌سازد.
** نخ‌ها با سربار بسیار کمتری نسبت به پردازش‌ها در سیستم ایجاد می‌شوند.
** تمام نخ‌ها در داخل یک پردازش، از یک فضای آدرس اشتراکی استفاده می‌کنند.

==== OpenMP(open multi-processing) {{چر}} ====
OpenMP یک [[واسط برنامه‌نویسی کاربردی]] ([[:en: API]]) برای برنامه‌نویسی موازی رشته‌ها در سیستم‌های حافظه اشتراکی با یکی از سه زبان C, C++{{چر}} یا فورترن است و از معماری‌های مختلفی از جمله پلتفرم‌های ویندوز و یونیکس پشتیبانی می‌کند. البته تولیدکنندگان کامپایلر برای زبان‌های دیگر از جمله جاوا نیز امکان نوشتن برنامه با رابط OpenMP را فراهم کرده‌اند.
باید توجه داشت، OpenMP تضمین نمی‌کند که از حافظه اشتراکی استفاده بهینه خواهد کرد. همچنین مواردی مانند وابستگی داده‌ها، شرایط مسابقه یا بن‌بست‌ها{{به انگلیسی|deadlock}} باید توسط خود برنامه‌نویس در کد برنامه کنترل شود وOpenMP عموماً نمی‌تواند کاری دربارهٔ آن‌ها انجام دهد. همزمان سازی ورودی و خروجی هنگام دسترسی موازی و چک کردن ترتیب اجرای کد برنامه نیز از جمله وظایف برنامه‌نویس است و از عهده OpenMP خارج است. به‌این ترتیب، برنامه‌نویس باید ساختار کد و الگوریتم خود را کاملاً کنترل کرده و اطمینان حاصل کند که موارد ذکر شده در اجرای برنامه رخ نخواهد داد.

===== دلایل و مزایای استفاده از OpenMP =====
* سختی استفاده از کتابخانه‌های مربوط به نخ‌ها، رابط‌هایی {{به انگلیسی|Interface}} مانند Pthreads دارای تعداد زیادی فراخوانی کتابخانه‌ای {{به انگلیسی|Library Call}} برای مقدار دهی اولیه{{به انگلیسی|Initialization}}، همگام سازی، ساخت نخ و دیگر کارها دارند.
** سادگی انجام موازی‌سازی برنامه سریال با برچسب زنی{{به انگلیسی|Annotation}} کد برنامه که موازات را نشان می‌دهد.
** [[مقیاس پذیری]] {{به انگلیسی|Scalibility}} و کارایی خوب در صورت استفاده صحیح.
** [[قابل حمل]] بودن{{به انگلیسی|Portable}} برنامه نوشته شده با OpenMP، به دلیل پشتیبانی بسیاری از کامپایلرها از OpenMP.
** عدم نیاز به برنامه‌نویسی‌های پیچیده توسط برنامه‌نویس.
** اجرا شدن هر نخ برنامه در OpenMP توسط نخ‌های سخت‌افزاری.

=== ابزارهای برنامه‌نویسی سیستم‌های دارای حافظه توزیع‌یافته ===
==== رابط عبور پیام ====
متداول‌ترین شیوه برنامه‌نویسی موازی استفاده از MPI است. رابط عبور پیام، ویژگی‌های یک واسط برنامه‌نویسی کاربردی کلی برای برنامه‌نویسی موازی را برای سیستم‌های دارای حافظه توزیع‌یافته مانند کلاسترهای تیغه‌ای و مجموعه آن‌ها تعیین می‌کند و به خودی خود یک ابزار نیست، بلکه یک طرح ویژگی‌ها {{به انگلیسی|Specification}} و یک [[پروتکل ارتباطی]] به‌شمار می‌رود و همان‌گونه که از نامش پیداست، شیوه صحبت کردن سیستم‌های موازی با هم را تعیین می‌کنند.

مهم‌ترین مزیت روش رابط عبور پیام به سایر روش‌های عبور پیام، قابل حمل بودن و سرعت بالای آن است. سرعت بالای این روش به این دلیل است که هنگام اجرا بر روی هر سخت‌افزاری برای آن سخت‌افزار بهینه می‌شود. مزیت بزرگ دیگر این روش، توانایی فراخوانی توابع آن با زبان‌های C++{{چر}}، C، فورترن، جاوا، C#{{چر}} و پایتون است.

== زبان‌های برنامه‌نویسی موازی ==
زبان‌های برنامه‌نویسی همزمان، کتابخانه‌ها، رابط‌های برنامه کاربردی، و مدل‌های برنامه‌نویسی موازی (مانند اسکلت الگوریتمی) برای برنامه‌نویسی موازی کامپیوترها ایجاد شده‌است. این به‌طور کلی به چند کلاس بر مبنای حافظه معماری مشترک، حافظه توزیع شده و حافظه توزیع شده مشترک تقسیم می‌شود.

زبان‌های برنامه‌نویسی [[حافظه مشترک]] با دستکاری متغیرهای حافظه مشترک ارتباط برقرار کنید. حافظه توزیع شده از عبور پیام استفاده می‌کنند. تردهای POSIX و OpenMP هردو بیشتر از رابط‌های برنامه‌های کاربردی حافظه مشترک استفاده می‌کنند، درحالی که رابط عبور پیام (MPI) بیشتر از رابط‌های [[نرم‌افزار کاربردی|برنامه کاربردی]] سیستم عبور پیام استفاده می‌کند.<ref>^ The Sidney Fernbach Award given to MPI inventor Bill Gropp refers to MPI as "the dominant HPC communications interface"</ref>

در کنار رهیافت‌هایی مانند MPI و OpenMP که قابلیت‌های مورد نیاز برای برنامه‌نویسی موازی با زبان‌های شناخته‌شده‌ای مانند C و فرترن را فراهم می‌آورند، شمار قابل توجهی [[زبان برنامه‌نویسی]] مستقل، از اساس برای نوشتن کدهای [[پردازش موازی]] ایجاد شده‌اند.

=== لیندا ===
لیندا به دسته‌ای از [[زبان‌های برنامه‌نویسی]] موازی تعلق دارد که در آن‌ها تقسیم کارهای درون برنامه به رشته‌ها و فرستادن رشته‌ها به پردازنده‌ها باید به‌طور صریح در متن کد مشخص شود، اما ارتباط میان رشته‌های ایجادشده بر عهده برنامه‌نویس نیست.

لیندا به خودی خود یک زبان قابل استفاده مستقیم نیست و به اصطلاح یک زبان هماهنگ‌سازی {{به انگلیسی|Coordination}} خوانده می‌شود. پیاده‌سازی‌هایی از آن برای بسیاری از زبان‌های برنامه‌نویسی و اسکریپت‌نویسی متداول، از جمله جاوا، C و C++{{چر}}، پایتون و روبی ارائه شده‌است. خصلت اصلی لیندا آن است که به جای مدل ارتباط نقطه به نقطه که در بیشتر رهیافت‌های برنامه‌نویسی موازی دنبال می‌شود، مفهومی به نام فضای چندگانه {{به انگلیسی|tuple space}} را ارائه می‌کند که بستر اصلی موازی‌سازی در مدل این زبان است. فضای چندگانه یک مخزن عمومی داده‌ها است که داده‌ها را می‌توان در آن ذخیره و سپس از آن بازیابی کرد.<ref name="isna">{{یادکرد وب |نویسنده = |نشانی=http://www.shabakeh-mag.com/Article.aspx?id=1005753 |عنوان=پایگاه اطلاع‌رسانی ماهنامه شبکه | ناشر = |تاریخ =۲۸ فروردین ۱۳۹۲ |تاریخ بازبینی=}}</ref>

=== ارلنگ ===
[[ارلنگ]] یک زبان زمان اجرا است که از ابتدا با هدف مستقیم ایجاد برنامه‌های موازی بی‌درنگ با آستانه تحمل خطای بالا و تا حد زیادی با در نظر داشتن سیستم‌های مخابراتی نوشته‌شده‌است. ارتباط میان پردازش‌ها در ارلنگ صریح است و همانند OpenMP باید توسط برنامه‌نویس تعیین شود، اما بر خلافOpenMP، ارلنگ از تبادل پیام برای ارتباط میان روندها استفاده می‌شود. ارلنگ زبانی مبتنی بر تابع‌ها است، به این مفهوم که [[پردازش داده‌ها]] در یک برنامه ارلنگ در قالب محاسبه تابع‌های ریاضی صورت می‌پذیرد و تقریباً همه چیز با تعریف کردن تابع‌ها انجام می‍شود. موازی‌سازی پردازش در ارلنگ با تعریف کردن روندهایی که اشتراکی با هم ندارند، انجام می‌شود. ارتباط میان این روندها توسط یک سیستم تبادل پیام ناهمگام انجام می‌شود.<ref name="isna"/>

=== چارم++ ===
چارم++، زبانی مبتنی بر C++{{چر}} است که با هدف آسان کردن برنامه‌نویسی موازی و با ارائه قابلیت‌های برنامه‌نویسی موازی در سطح بالایی از انتزاع ارائه شده‌است. مبنای موازی‌سازی برنامه در چارم++، بر تجزیه‌کردن برنامه به‌شماری شیء به نام Chare است. Chareها با یکدیگر تعامل دارند و به پیام‌ها وابسته هستند. Chareها در زمان اجرای برنامه با یک سیستم زمان اجرای پویا به پردازنده‌های مختلف متناظر می‌شوند که چارم++، امکان تغییر دادن این تناظر هنگام اجرای برنامه را فراهم می‌آورد. چنین امکانی برای متعادل کردن بار پردازشی روی پردازنده‌ها در زمان اجرا مفید است. امکان برنامه‌نویسی با شیوه‌ای مبتنی بر رابط عبوری پیام، نیز با ارائه یک پیاده‌سازی از آن به نام رابط عبوری تطبیقی پیام به اختصار AMPI در لایه‌ای روی چارم++، فراهم شده‌است.<ref name="isna"/>

=== Unified Parallel C ===
زبانی بر پایه C99 است که قابلیت‌های آن را برای برنامه‌نویسی موازی برای سیستم‌های دارای حافظه اشتراکی یا توزیع‌یافته گسترش می‌دهد. مبنای برنامه‌نویسی در UPC بر پایه اشتراک داده میان پردازنده‌های مختلف است، به گونه‌ای که همه پردازنده‌ها به تمام متغیرها در برنامه دسترسی دارند، اما هر متغیر در اصل به یک پردازنده مشخص تعلق دارد. موازی‌سازی برنامه هنگام آغاز اجرا شدن آن تعیین می‌شود و در طول اجرا تغییر نمی‌کند، زیرا تناظر میان متغیرها با پردازنده‌ها را در میانه اجرای برنامه نمی‌توان تغییر داد. برای نوشتن برنامه‌های پردازش موازی به این‌گونه، UPC چهار دسته ساختار به ابزارهای عادی C می‌افزاید:
* یک مدل صریح اجرای موازی.
* فضای حافظه اشتراکی.
* شیوه‌هایی برای همگام‌سازی متغیرها
* مدلی برای بررسی سازگاری درونی حافظه اشتراکی و شیوه‌هایی برای [[مدیریت حافظه]].<ref name="isna"/>

== کاربردهای پردازش موازی ==
پیش‌بینی وضعیت اب و هوایی: استفاده از مدل‌های ریاضی از اقیانوس و جو و گرفتن مشاهدات فعلی آب‌وهوا و پردازش این داده‌ها با مدل‌های رایانه‌ای برای پیش‌بینی وضعیت آینده آب و هوا.

مسائل اقتصادی جامعه: پردازش موازی برای مدل‌سازی اقتصاد یک جهان یا ملت استفاده می‌شود. سیستم برنامه‌ها که شامل دستگاه‌های محاسبه خوشه‌ای هستند، برای پیاده‌سازی الگوریتم‌های موازی در راستای بهینه‌سازی در چنین مدل‌های اقتصادی استفاده می‌شود.{{سخ}}[[هوش مصنوعی]] و اتوماسیون: هوش مصنوعی یا هوش ماشینی (به [[زبان انگلیسی|انگلیسی]]: Artificial Intelligence)هوشی که یک ماشین در شرایط مختلف از خود نشان می‌دهد، گفته می‌شود. که در این سیستم‌ها تا حد زیادی از پردازش موازی استفاده می‌شود. برای نمونه در ۴ عمل ۱)[[پردازش تصویر]] ۲)[[پردازش زبان‌های طبیعی]] ۳) تشخیص الگوها ۴)سیستم‌های خبره ف پردازش موازی کاربرد دارد.

نرم‌افزار پزشکی:پردازش موازی در پردازش تصویر پزشکی استفاده می‌شود. برای نمونه برای اسکن بدن انسان و اسکن مغز انسان، در بازسازی MRI برای تشخیص مهره‌ها استفاده می‌شود.

== پانویس ==
{{پانویس|۲}}

== منابع ==
[[:w:en:Parallel computing|ویکی‌پدیای انگلیسی]]
* جزوه درس برنامه‌نویسی موازی، فرشاد خونجوش، دانشکده برق و کامپیوتر، [[دانشگاه شیراز]].
* جزوه درس برنامه‌نویسی موازی، [[رضا عظیمی]]، دانشکده برق و کامپیوتر، دانشگاه شیراز.
{{چپ‌چین}}
* PowerPoint lecture, Professor Saman Amarasinghe, MIT, http://groups.csail.mit.edu/cag/ps3/lectures.shtml {{Webarchive|url=https://web.archive.org/web/20150903045819/http://groups.csail.mit.edu/cag/ps3/lectures.shtml |date=3 سپتامبر 2015}}
* PowerPoint lecture, Professors Arvind and Joe Elmer, MIT, http://csg.csail.mit.edu/6.823/lecnotes.html
* Parallel Programming C with MPI and OpenMP By Michael J. Quinn
* [[:w:en:List of concurrent and parallel programming languages|List of concurrent and parallel programming languages]]
* https://www.slideshare.net
{{پایان چپ‌چین}}
* Efficient multitasking: parallel versus serial processing of multiple tasks ,Rico Fischer1 and Franziska Plessow,Front Psychol. 2015; 6: 1366
{{رده انبار}}
{{علوم رایانه}}
{{شتاب‌دهنده سخت‌افزاری}}
{{داده‌های کتابخانه‌ای}}
[[رده:رایانش موازی| ]]
[[رده:رده‌های رایانه]]
[[رده:فناوری‌های سیستم‌عامل]]
[[رده:رایانش توزیع‌شده]]
[[رده:مقاله‌های خرد علوم رایانه]]