نمایش مبدأ برای ماتریس درهم‌ریختگی

{{short description|چیدمانی جدولی برای نمایش عملکرد، با نام ماتریس خطا نیز شناخته می‌شود}}

در حوزهٔ [[هوش مصنوعی]]، [[یادگیری ماشینی]] و به‌طور مشخص در مسائل [[دسته‌بندی آماری]]، عبارت '''ماتریس در هم ریختگی''{{یادچپ|confusion matrix}}''''' که با نام '''ماتریس خطا''' نیز شناخته می‌شود،<ref>{{cite journal|last1=Stehman|first1=Stephen V.|year=1997|title=Selecting and interpreting measures of thematic classification accuracy|journal=Remote Sensing of Environment|volume=62|issue=1|pages=77–89|bibcode=1997RSEnv..62...77S|doi=10.1016/S0034-4257(97)00083-7}}</ref> نوعی [[جدول]] خاص است که امکان نمایش دیداری عملکرد یک الگوریتم، به‌ویژه الگوریتم [[یادگیری نظارت‌شده]]، را فراهم می‌کند. معمولاً چنین نمایشی برای الگوریتم‌های [[یادگیری نظارت‌شده]] استفاده می‌شود، اگرچه در [[یادگیری بی‌نظارت|یادگیری بدون ناظر]] نیز کاربرد دارد. معمولاً به کاربرد این ماتریس در الگوریتم‌های بدون ناظر [[ماتریس تطابق]] می گویند.

هر ستون از ماتریس، نمونه‌ای از مقدار پیش‌بینی شده را نشان می‌دهد. در صورتی که هر سطر نمونه‌ای واقعی (درست) را در بر دارد یا بالعکس؛ هر دو شیوه در متون علمی یافت می‌شوند.<ref name="Powers2011">{{cite journal|last=Powers|first=David M. W.|date=2011|title=Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation|url=https://www.researchgate.net/publication/228529307|journal=Journal of Machine Learning Technologies|volume=2|issue=1|pages=37–63|s2cid=55767944}}</ref> بنابراین درایه‌های روی قطر اصلی ماتریس، نمونه‌هایی را نشان می‌دهند که به‌درستی پیش‌بینی شده‌اند.<ref>{{cite journal|last=Opitz|first=Juri|date=2024|title=A Closer Look at Classification Evaluation Metrics and a Critical Reflection of Common Evaluation Practice|url=https://doi.org/10.1162/tacl_a_00675|journal=Transactions of the Association for Computational Linguistics|volume=12|pages=820–836|arxiv=2404.16958|doi=10.1162/tacl_a_00675}}</ref> دلیل نام‌گذاری این ماتریس آن است که به‌سادگی می‌توان مشاهده کردکه  آیا سیستم دو رده را با هم اشتباه می‌گیرد یا خیر (برای مثال در برچسب‌گذاری اشتباه یکی به‌جای دیگری). در خارج از حوزه [[هوش مصنوعی]]، این ماتریس معمولاً [[جدول پیشایندی|ماتریس پیشایندی]]'''''{{یادچپ|contingency matrix}}''''' یا ماتریس خطا'''''{{یادچپ|error matrix}}''''' نامیده می‌شود.<ref>{{cite journal |last1=Stehman |first1= Stephen V. |year= ۱۹۹۷|title=Selecting and interpreting measures of thematic classification accuracy |journal=Remote Sensing of Environment |volume=۶۲ |issue=۱ |pages=۷۷–۸۹  |doi= 10.1016/S0034-4257(97)00083-7}}</ref>

در مباحث هوش مصنوعی از این جدول برای تعیین مقدار شاخص‌های ارزیابی مانند دقت'''''{{یادچپ|Precision}}''''' و صحت'''''{{یادچپ|Recall}}''''' استفاده می‌شود. دقت، عبارت است از اینکه "چه میزان از نمونه‌های انتخابی درست هستند" و صحت بر این مفهوم که "چه میزان از نمونه‌های صحیح موجود انتخاب شده اند" دلالت دارند. البته ممکن است در منابعی، Accuracy نیز دقت ترجمه شود که مفهومی کاملاً متفاوت داشته و بر میزان نمونه‌هایی اشاره دارد که سیستم در تشخیص آن‌ها موفق بوده‌است. <ref>{{Cite web|url = http://bazarebeh.ir/index.php?route=product/manufacturer|title = ماتریس اغتشاش یا ماتریس درهم ریختگی|date = |accessdate = |website = |publisher = رضا داوطلب|last = |first = |archiveurl = https://web.archive.org/web/20161024122105/http://bazarebeh.ir/index.php?route=product%2Fmanufacturer|archivedate = ۲۴ اکتبر ۲۰۱۶|dead-url = yes}}</ref>
== مثال ==
فرض کنید یک مجموعه نمونه شامل ۱۲ فرد داریم که ۸ نفر آن‌ها مبتلا به سرطان تشخیص داده شده‌اند و ۴ نفر بدون سرطان هستند؛ به‌طوری‌که افراد مبتلا به سرطان در رده ۱ (مثبت) و افراد غیرمبتلا در رده ۰ (منفی) قرار می‌گیرند. در این صورت می‌توان داده‌ها را به شکل زیر نمایش داد:
{| class="wikitable" style="text-align:center;"
!شمارهٔ فرد
!۱
!۲
!۳
!۴
!۵
!۶
!۷
!۸
!۹
!۱۰
!۱۱
!۱۲
|-
! style="background:#eeeebb" |رده واقعی
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ddddaa" |۰
| style="background:#ddddaa" |۰
| style="background:#ddddaa" |۰
| style="background:#ddddaa" |۰
|}
فرض کنید یک روش [[دسته‌بندی آماری|تفکیک کننده]] در اختیار داریم که به طریقی افراد مبتلا یا غیرمبتلا به سرطان را تفکیک می‌کند. حال اگر این ۱۲ فرد را از این طبقه‌بند عبور دهیم، این طبقه‌بند ۹ پیش‌بینی صحیح و ۳ پیش‌بینی نادرست دارد: ۲ نفر مبتلا به سرطان به‌اشتباه غیرمبتلا پیش‌بینی شده‌اند (نمونه‌های ۱ و ۲)، و ۱ نفر غیرمبتلا به‌اشتباه مبتلا پیش‌بینی شده است (نمونهٔ ۹).

{| class="wikitable" style="text-align:center;"
!شماره فرد
!۱
!۲
!۳
!۴
!۵
!۶
!۷
!۸
!۹
!۱۰
!۱۱
!۱۲
|-
! style=background:#eeeebb | رده واقعی
| style=background:#ffffcc | ۱
| style=background:#ffffcc | ۱
| style=background:#ffffcc | ۱
| style=background:#ffffcc | ۱
| style=background:#ffffcc | ۱
| style=background:#ffffcc | ۱
| style=background:#ffffcc | ۱
| style=background:#ffffcc | ۱
| style=background:#ddddaa | ۰
| style=background:#ddddaa | ۰
| style=background:#ddddaa | ۰
| style=background:#ddddaa | ۰
|-
! style=background:#bbeeee | رده پیش‌بینی‌شده
| style=background:#aadddd | ۰
| style=background:#aadddd | ۰
| style=background:#ccffff | ۱
| style=background:#ccffff | ۱
| style=background:#ccffff | ۱
| style=background:#ccffff | ۱
| style=background:#ccffff | ۱
| style=background:#ccffff | ۱
| style=background:#ccffff | ۱
| style=background:#aadddd | ۰
| style=background:#aadddd | ۰
| style=background:#aadddd | ۰
|}

توجه کنید که اگر مجموعه رده‌بندی داده واقعی را با رده‌بندی پیش‌بینی‌شده مقایسه کنیم، برای هر برآیند ممکن است چهار نتیجه متفاوت رخ بدهد. 

# نخست، اگر رده واقعی مثبت باشد و رده پیش‌بینی‌شده نیز مثبت (۱،۱)، به این حالت یک نتیجهٔ «مثبت درست»'''''{{یادچپ|True Positive}}''''' گفته می‌شود، زیرا نمونهٔ مثبت به‌درستی شناسایی شده است. 
# دوم، اگر رده واقعی مثبت و رده پیش‌بینی‌شده منفی باشد (۱،۰)، «منفی نادرست»'''''{{یادچپ|False Negative}}''''' نام دارد، زیرا نمونهٔ مثبت به اشتباه منفی در نظر گرفته شده است. 
# سوم، اگر رده واقعی منفی و رده پیش‌بینی‌شده مثبت (۰،۱) باشد، «مثبت نادرست»'''''{{یادچپ|False Positive}}''''' نام دارد، چون نمونهٔ منفی به‌اشتباه مثبت تشخیص داده شده است. 
# چهارم، اگر رده واقعی منفی و رده پیش‌بینی‌شده منفی (۰،۰) باشد، «منفی درست»'''''{{یادچپ|True Negative}}''''' نامیده می‌شود، زیرا نمونهٔ منفی به‌درستی تشخیص داده شده است.

در نتیجه می‌توانیم مقایسهٔ بین رده‌بندی واقعی و پیش‌بینی‌شده را انجام داده و این اطلاعات را به جدول اضافه کنیم و نتایج درست را با رنگ سبز نمایش دهیم تا شناسایی‌شان ساده‌تر باشد.
{| class="wikitable" style="text-align:center;"
!شمارهٔ فرد
!۱
!۲
!۳
!۴
!۵
!۶
!۷
!۸
!۹
!۱۰
!۱۱
!۱۲
|-
! style="background:#eeeebb" |رده واقعی
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ffffcc" |۱
| style="background:#ddddaa" |۰
| style="background:#ddddaa" |۰
| style="background:#ddddaa" |۰
| style="background:#ddddaa" |۰
|-
! style="background:#bbeeee" |رده پیش‌بینی‌شده
| style="background:#aadddd" |۰
| style="background:#aadddd" |۰
| style="background:#ccffff" |۱
| style="background:#ccffff" |۱
| style="background:#ccffff" |۱
| style="background:#ccffff" |۱
| style="background:#ccffff" |۱
| style="background:#ccffff" |۱
| style="background:#ccffff" |۱
| style="background:#aadddd" |۰
| style="background:#aadddd" |۰
| style="background:#aadddd" |۰
|-
!نتیجه
| style="background:#ffdddd" |{{abbr|FN|False negative}}
| style="background:#ffdddd" |{{abbr|FN|False negative}}
| style="background:#ccffcc" |{{abbr|TP|True positive}}
| style="background:#ccffcc" |{{abbr|TP|True positive}}
| style="background:#ccffcc" |{{abbr|TP|True positive}}
| style="background:#ccffcc" |{{abbr|TP|True positive}}
| style="background:#ccffcc" |{{abbr|TP|True positive}}
| style="background:#ccffcc" |{{abbr|TP|True positive}}
| style="background:#ffcccc" |{{abbr|FP|False positive}}
| style="background:#bbeebb" |{{abbr|TN|True negative}}
| style="background:#bbeebb" |{{abbr|TN|True negative}}
| style="background:#bbeebb" |{{abbr|TN|True negative}}
|}



الگوی پایه برای هر ماتریس درهم‌ریختگی دودویی از همان چهار نوع نتیجهٔ بیان‌شده در بالا (مثبت درست، منفی نادرست، مثبت نادرست و منفی درست) همراه با رده‌های مثبت و منفی استفاده می‌کند. این چهار حالت را می‌توان در یک «ماتریس درهم‌ریختگی» ۲×۲ به صورت زیر فرموله کرد:
{| class="wikitable" style="border:none; background:transparent; text-align:center;"
| rowspan="2" style="border:none;" |
| style="border:none;" |
| colspan="2" style="background:#bbeeee;" | '''رده پیش‌بینی‌شده'''
|-
| style="background:#eeeeee;" | [[جامعه آماری|کل جامعه]]<br/> <span style="white-space:nowrap;">= P + N</span>
| style="background:#ccffff;" | '''مثبت (PP)'''
| style="background:#aadddd;" | '''منفی (PN)'''
|-
| rowspan="2" style="background:#eeeebb;" |'''رده واقعی'''
| style="background:#ffffcc;" | '''مثبت (P)'''
| style="background:#ccffcc;" | [[مثبت کاذب و منفی کاذب|'''مثبت درست (TP)''']]
| style="background:#ffdddd;" | [[مثبت کاذب و منفی کاذب|'''منفی نادرست (FN)''']]
|-
| style="background:#ddddaa;" | '''منفی (N)'''
| style="background:#ffcccc;" | [[مثبت کاذب و منفی کاذب|'''مثبت نادرست (FP)''']]
| style="background:#bbeebb;" | [[مثبت کاذب و منفی کاذب|'''منفی درست (TN)''']]
|-
| colspan="4" style="border:none;" | <sup>Sources: </sup><ref>{{Cite book |last=Provost |first=Foster |title=Data science for business: what you need to know about data mining and data-analytic thinking |url=https://archive.org/details/datascienceforbu0000prov |last2=Fawcett |first2=Tom |date=2013 |publisher=O'Reilly |isbn=978-1-4493-6132-7 |edition=1. ed., 2. release |location=Beijing Köln}}</ref><ref>
{{cite journal|last=Fawcett|first=Tom|date=2006|title=An Introduction to ROC Analysis|url=http://people.inf.elte.hu/kiss/11dwhdm/roc.pdf|journal=Pattern Recognition Letters|volume=27|issue=8|pages=861–874|doi=10.1016/j.patrec.2005.10.010|bibcode=2006PaReL..27..861F |s2cid=2027090 }}</ref><ref>
{{cite journal|last=Powers|first=David M. W.|date=2011|title=Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation|url=https://www.researchgate.net/publication/228529307|journal=Journal of Machine Learning Technologies|volume=2|issue=1|pages=37–63}}</ref><ref>
{{cite book|last=Ting|first=Kai Ming|title=Encyclopedia of machine learning|date=2011|publisher=Springer|isbn=978-0-387-30164-8|editor1-last=Sammut|editor1-first=Claude|doi=10.1007/978-0-387-30164-8|editor2-last=Webb|editor2-first=Geoffrey I.}}</ref><ref>
{{cite web|last1=Brooks|first1=Harold|last2=Brown|first2=Barb|last3=Ebert|first3=Beth|last4=Ferro|first4=Chris|last5=Jolliffe|first5=Ian|last6=Koh|first6=Tieh-Yong|last7=Roebber|first7=Paul|last8=Stephenson|first8=David|date=2015-01-26|title=WWRP/WGNE Joint Working Group on Forecast Verification Research|url=https://www.cawcr.gov.au/projects/verification/|access-date=2019-07-17|website=Collaboration for Australian Weather and Climate Research|publisher=World Meteorological Organisation}}</ref><ref>
{{cite journal|vauthors=Chicco D, Jurman G|date=January 2020|title=The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation|journal=BMC Genomics|volume=21|issue=1|page=6-1–6-13|doi=10.1186/s12864-019-6413-7|pmc=6941312|pmid=31898477 |doi-access=free }}</ref><ref>
{{cite journal|author=Tharwat A.|date=August 2018|title=Classification assessment methods|journal=Applied Computing and Informatics|volume=17 |pages=168–192 |doi=10.1016/j.aci.2018.08.003|doi-access=free}}</ref>
|}
رنگ‌بندی‌هایی که در سه جدول دادهٔ بالا استفاده شده، با همین ماتریس درهم‌ریختگی هماهنگ است تا افتراق داده‌ها آسان‌تر شود.

اکنون می‌توان ساده‌تر تعداد هر نوع نتیجه را جمع زد و آن‌ها را در قالب قرار داد و یک ماتریس درهم‌ریختگی ساخت که چکیده‌ای مختصر از نتایج آزمون دسته‌بند ارائه کند:
{| class="wikitable" style="border:none; background:transparent; text-align:center;"
| rowspan="2" style="border:none;" | 
| style="border:none;" | 
| colspan="2" style="background:#bbeeee;" | '''رده پیش‌بینی‌شده'''
|- 
| style="background:#eeeeee;" | کل جامعه<br/>8 + 4 = 12
| style="background:#ccffff;" | '''دارای سرطان'''<br/>7 
| style="background:#aadddd;" | '''بدون سرطان'''<br/>5 
|- 
| rowspan="2"  style="background:#eeeebb" | '''رده واقعی'''
| style="background:#ffffcc;" | '''دارای سرطان'''<br/>8 
| style="background:#ccffcc;" | 6 
| style="background:#ffdddd;" | 2 
|- 
| style="background:#ddddaa;" | '''بدون سرطان'''<br/>4 
| style="background:#ffcccc;" | 1 
| style="background:#bbeebb;" | 3 
|}

در این ماتریس درهم‌ریختگی، از میان ۸ نمونهٔ مبتلا به سرطان، سیستم ۲ مورد را به‌اشتباه سالم تشخیص داده است. همچنین از میان ۴ نمونهٔ سالم، ۱ مورد را به‌اشتباه مبتلا پیش‌بینی کرده است. تمام پیش‌بینی‌های صحیح روی قطر اصلی جدول (سبزرنگ) قرار دارند؛ پس به‌صورت بصری نیز می‌توان به‌آسانی خطاهای پیش‌بینی (یعنی مقادیری که روی قطر اصلی نیستند) را مشاهده کرد. همچنین با جمع کردن سطرهای ماتریس درهم‌ریختگی، می‌توان به تعداد کل نمونه‌های مثبت (P) و منفی (N) در مجموعه‌دادهٔ اولیه پی برد؛ یعنی <math>P = TP + FN</math> و <math>N = FP + TN</math>.
== ماتریس درهم‌ریختگی == 
در [[تحلیل پیش‌بین]]، «'''ماتریس درهم‌ریختگی'''» (گاه «ماتریس درهم‌ریختگی» هم نامیده می‌شود) جدولی ۲×۲ است که تعداد «مثبت واقعی»، «منفی کاذب»، «مثبت کاذب» و «منفی واقعی» را گزارش می‌کند. این جدول امکان تحلیل دقیق‌تری نسبت به صرفاً محاسبهٔ نسبت پیش‌بینی‌های درست (دقت یا Accuracy) فراهم می‌کند. اگر مجموعه‌داده نامتوازن باشد (تعداد نمونه‌ها در کلاس‌های مختلف خیلی متفاوت باشد)، صرف محاسبهٔ دقت می‌تواند گمراه‌کننده باشد.
برای نمونه، اگر در داده‌ها ۹۵ نمونه مبتلا به سرطان و فقط ۵ نمونه سالم وجود داشته باشد، ممکن است یک دسته‌بند به‌طورکلی همه را مبتلا به سرطان تشخیص دهد. در این صورت دقت کلی ۹۵٪ خواهد بود، اما با نگاهی دقیق‌تر مشخص می‌شود که برای افراد مبتلا ۱۰۰٪ میزان تشخیص درست (حساسیت) داریم ولی برای افراد سالم ۰٪! اگر از [[F1 اسکور|F1]] نیز استفاده کنیم، در چنین مواردی ممکن است دچار خطا شویم؛ زیرا در این مثال، مقدار F1 بیش از ۹۷٫۴٪ را نشان می‌دهد، اما [[Informedness]] (شاخصی برای سنجش تصمیم آگاهانه) مقدار صفر را به دست می‌دهد، چرا که حدس‌های ما در مورد افراد سالم هیچ اطلاعاتی را منتقل نمی‌کند (همه را مثبت گرفته‌ایم).
بنابر پژوهش داویده کیکو (Davide Chicco) و جوزپه ژورمان (Giuseppe Jurman)، بااطلاع‌ترین سنجه برای ارزیابی یک ماتریس درهم‌ریختگی، [[Matthews correlation coefficient|ضریب همبستگی متیوز (MCC)]] است.<ref>{{cite journal |vauthors = Chicco D, Jurman G |title = The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation |journal = BMC Genomics |volume = 21 |issue = 1 |date = January 2020 |page = 6-1–6-13 |pmid = 31898477 |doi = 10.1186/s12864-019-6413-7 |pmc = 6941312 |doi-access = free }}</ref>
سایر سنجه‌ها را نیز می‌توان در ماتریس درهم‌ریختگی گنجاند که هریک کاربرد و اهمیت خاص خود را دارند.

{{واژگان ماتریس درهم‌ریختگی}}

== ماتریس‌های سردرگمی با بیش از دو رده == 
ماتریس درهم‌ریختگی منحصر به مسائل دودویی نیست و در طبقه‌بندهای چندرده‌ای هم قابل استفاده است. ماتریس‌های سردرگمی‌ای که پیش‌تر گفتیم فقط دو شرط داشتند (مثبت و منفی). جدول زیر خلاصه از وضعیت ادراک را بین دو محاوره کننده به زبان سوتی'''''{{یادچپ|Whistled Language}}''''' می‌کند که برای ساده شدن، سلول‌های صفر در آن حذف شده‌اند:<ref>{{cite journal |last1=Rialland |first1=Annie |title=Phonological and phonetic aspects of whistled languages |journal=Phonology |date=August 2005 |volume=22 |issue=2 |pages=237–271 |doi=10.1017/S0952675705000552 |citeseerx=10.1.1.484.4384 |s2cid=18615779 }}</ref>

{| class="wikitable" style="text-align:center;"
! {{diagonal split header 2|اصوات<br />تولیدی|اصوات<br />دریافتی}}
! style="width:2em;"|i
! style="width:2em;"|e
! style="width:2em;"|a
! style="width:2em;"|o
! style="width:2em;"|u
|-
! i
| '''15''' ||  || 1 ||  || 
|-
! e
| 1 ||  || 1 ||  || 
|-
! a
| ||  || '''79''' || 5 || 
|-
! o
| ||  || 4 || '''15''' || 3
|-
! u
| ||  ||  || 2 || '''2'''
|}

=== مثال ===
فرض کنیم [[الگوریتم|الگوریتمی]] برای دسته‌بندی بین گربه‌ها، سگ‌ها، خرگوش‌ها طراحی کرده‌ایم. فرض کنیم در این مثال ۸ گربه، ۶ سگ و ۱۳ خرگوش داریم. در سطر مربوط به گربه‌ها، ۵ مورد به عنوان گربه و 3 مورد به عنوان سگ دسته‌بندی شده‌اند. در صورتی که در سطر مربوط به خرگوش‌ها، تنها چند مورد اشتباه وجود دارد. به سادگی مشاهده می‌شود که عملکرد الگوریتم در تمیز دادن دسته‌های خرگوش‌ها نسبت به گربه‌ها بسیار بهتر است. مشخص است که اعداد روی [[قطر اصلی]] ماتریس نمایش تعداد دسته‌بندی‌های درست هستند. لذا در صورتی که تمام اعداد غیر روی قطر اصلی صفر باشند، الگوریتم دارای بالاترین دقت ممکن است.

برای بدست آوردن بازدهی یک دسته‌بندی‌کننده کافی است مجموع عناصر قطر اصلی را بر مجموع کل عناصر ماتریس تقسیم نمود.

{| class="wikitable" style="border:none;  margin-top:0;"
! colspan="2" rowspan="2" style="background:white; border:none;" |
! colspan="3" style="background:none;" | کلاس پیش‌بینی شده
|-
!گربه
!سگ
!خرگوش
|-
! rowspan="3" style="{{vertical text|display=table-cell|background:none}}" | کلاس واقعی{{سخ}}class
!گربه
|۵
|۳
|۰
|-
!سگ
|۲
|۳
|۱
|-
!خرگوش
|۰
|۲
|۱۱
|}

== یادداشت‌ها ==
<references group="persian-alpha" responsive="0" />

== منابع ==
{{پانویس}}

[[رده:دسته‌بندی آماری]]
[[رده:یادگیری ماشین]]