نمایش مبدأ برای الگوریتم کی-نزدیک‌ترین همسایه

{{یادگیری ماشین}}
در [[آمار]] و در [[بازشناخت الگو]] کی-نزدیکترین همسایه (انگلیسی: k-nearest neighbors algorithm) یک روش [[آمار ناپارامتری]] و یک [[یادگیری با نظارت|یادگیری باناظر]] است که برای [[طبقه‌بندی آماری]] و [[تحلیل رگرسیون|رگرسیون]] استفاده می‌شود. این روش را در ابتدا [[اولین فیکس]] و [[جوزف هاجز]]، در سال ۱۹۵۱ توسعه دادند<ref>{{Cite report|last1=Fix|first1=Evelyn|last2=Hodges|first2=Joseph L.|title=Discriminatory Analysis. Nonparametric Discrimination: Consistency Properties|issue=Report Number 4, Project Number 21-49-004|year=1951|url=https://apps.dtic.mil/dtic/tr/fulltext/u2/a800276.pdf|archive-url=https://web.archive.org/web/20200926212807/https://apps.dtic.mil/dtic/tr/fulltext/u2/a800276.pdf|url-status=live|archive-date=September 26, 2020|publisher=USAF School of Aviation Medicine, Randolph Field, Texas}}</ref> و بعدتر [[تامس ام. کاور|توماس کاور]] آن را توسعه داد.<ref name=":12">{{cite journal|last1=Cover|first1=Thomas M.|last2=Hart|first2=Peter E.|author-link2=Peter E. Hart|year=1967|title=Nearest neighbor pattern classification|url=http://ssg.mit.edu/cal/abs/2000_spring/np_dens/classification/cover67.pdf|journal=IEEE Transactions on Information Theory|volume=13|issue=1|pages=21–27|citeseerx=10.1.1.68.2616|doi=10.1109/TIT.1967.1053964|author-link1=Thomas M. Cover|s2cid=5246200}}</ref>  در هر دو موضوع طبقه‌بندی آماری و رگرسیون کی شامل نزدیک‌ترین نمونه آموزشی در فضای داده‌ای می‌باشد و خروجی آن بسته به نوع مورد استفاده در طبقه‌بندی و رگرسیون متغیر است. در حالت طبقه‌بندی با توجه به مقدار مشخص شده برای کی، به محاسبه فاصله نقطه ای که می‌خواهیم برچسب آن را مشخص کنیم با نزدیک‌ترین نقاط می‌پردازد و با توجه به تعداد رای حداکثری این نقاط همسایه، در رابطه با برچسب نقطه مورد نظر [[تصمیم‌گیری]] می‌کنیم. برای محاسبه این فاصله می‌توان از روش‌های مختلفی استفاده کرد که یکی از مطرح‌ترین این روش‌ها، [[فاصله اقلیدسی]] است. در حالت رگرسیون نیز میانگین مقادیر به‌دست آمده از کی خروجی آن می‌باشد. از آنجا که محاسبات این الگوریتم بر اساس فاصله است [[نرمال‌سازی (آمار)|نرمال‌سازی]] داده‌ها می‌تواند به بهبود عملکرد آن کمک کند.<ref name=":1">{{Cite journal|last=Piryonesi|first=S. Madeh|last2=El-Diraby|first2=Tamer E.|date=2020-06|title=Role of Data Analytics in Infrastructure Asset Management: Overcoming Data Size and Quality Problems|url=https://doi.org/10.1061/JPEODX.0000175|journal=Journal of Transportation Engineering, Part B: Pavements|volume=146|issue=2|pages=04020022|doi=10.1061/jpeodx.0000175|issn=2573-5438}}</ref><ref name=":2">{{Cite book|last=Hastie, Trevor.|url=https://www.worldcat.org/oclc/46809224|title=The elements of statistical learning: data mining, inference, and prediction: with 200 full-color illustrations|date=2001|publisher=Springer|others=Tibshirani, Robert. , Friedman, J. H. (Jerome H.)|isbn=0-387-95284-5|location=New York|oclc=46809224}}</ref>

== تنظیمات آماری ==
فرض کنید زوج مرتب‌های (X<sub>n</sub>,Y<sub>n</sub>),... ,(X<sub>2</sub>,Y<sub>2</sub>),(X<sub>1</sub>,Y<sub>1</sub>) از {۱٬۲} × R<sup>d</sup> مقدار می‌گیرد. (Y نشان دهنده کلاس X است). در نتیجه خواهیم داشت: X|Y = r ~ P<sub>r</sub> برای r = ۱٬۲ که P<sub>r</sub> [[توزیع احتمال]] است.

با داشتن تعدادی اندازه (norm) ‖. ‖ در R<sub>d</sub> و نقطه x، زوج مرتب‌های (X<sub>(n)</sub>,Y<sub>(n)</sub>) ,... , (X<sub>(2)</sub>,Y<sub>(2)</sub>),(X<sub>(1)</sub>,Y<sub>(1</sub>) را که ترتیب دیگری از داده‌های اولیه هستند با شرط ǁX<sub>(n)</sub> ≤ xǁ ,... , ǁX<sub>(1)</sub> ≤ xǁ تعریف می‌کنیم.

== الگوریتم ==
[[File:Knnclass.png|thumb|مثال طبقه‌بندی: NN-<math>k</math> نمونه آزمایش (نقطه سبز) باید به دسته اول) کره آبی) یا دسته دوم (کره قرمز) طبقه‌بندی شود. اگر <math>k</math> = ۳ (دایره سیاه)، نمونه به دسته دوم اختصاص دارد؛ زیرا درون دایره سیاه درونی، ۲ کره قرمز و ۱ کره آبی وجود دارد. هم چنین اگر <math>k</math> = ۵ (دایره نارنجی) به دسته اول اختصاص داده می‌شود؛ زیرا در حلقه بیرونی ۳ کره آبی و ۲ کره قرمز است.]]
داده‌های اولیه، بردارهایی در یک فضای چند بعدی هستند که هر کدام شامل برچسبی به نام دسته می‌باشند.

فاز یادگیری (training phase) الگوریتم، شامل ذخیره‌سازی بردارهای ویژگی و برچسب دسته نمونه‌های اولیه است.

در فاز طبقه‌بندی، k یک ثابت توسط کاربر تعریف می‌شود و بردار بدون برچسب (نقطه تست) از دسته ای است که بیشترین تعداد را در k نزدیک‌ترین همسایه آن نقطه داشته باشد. به این ترتیب برچسب نقطه تست نیز مشخص می‌شود.

معیار فاصله برای متغیرهای پیوسته معمولاً [[فاصله اقلیدسی]] است.

برای متغیرهای گسسته، مانند دسته‌بندی متون، می‌توان از یک معیار دیگر مانند [[فاصله همینگ]] استفاده کرد.

اگر NN-<math>k</math> را با استفاده از الگوریتم‌های تخصصی مانند تجزیه و تحلیل اجزای همسایه (Neighbourhood components analysis) یا حاشیه بزرگ نزدیک‌ترین همسایه (Large Margin Nearest Neighbor) پیاده‌سازی کرد، می‌توان دقت اندازه‌گیری را به شدت بهبود داد.

یک اشکال طبقه‌بندی پایه «رای اکثریت» (majority voting) زمانی اتفاق می‌افتد که توزیع دسته درهم شکسته شود. به این معنی که تعداد زیادی از نمونه‌های یک دسته در میان نزدیک‌ترین همسایه عضو جدید بوده‌است.<ref>D. Coomans; D.L. Massart: نزدیکترین همسایه با استفاده از قوانین رای‌گیری جایگزین</ref>
یکی از راه‌های غلبه بر این مشکل، وزن دادن به طبقه‌بندی بر مبنای فاصله هر یک از نمونه‌های اولیه، از عضو جدید است. دسته (یا مقدار در مسائل رگرسیون) هرکدام از k نزدیک‌ترین نقاط در وزن خود که متناسب با معکوس فاصله آن‌ها از نقطه تست است، ضرب می‌شود.

یکی دیگر از راه‌های غلبه بر این مشکل، انتزاع در نمایش داده‌ها است. برای مثال، در یک [[نقشه‌های خودسازمان‌دهنده]] (SOM)، هر گره، صرف نظر از تراکم آن‌ها در داده‌های اولیه اصلی، یک نماینده (مرکز) از نقاط مشابه است. سپس NN-<math>k</math> به SOM اعمال می‌شود.

مراحل الگوریتم knn شامل موارد زیر خواهد بود:<ref>[https://towardsdatascience.com/machine-learning-basics-with-the-k-nearest-neighbors-algorithm-6a6e71d01761  The KNN Algorithm]</ref>
# داده‌های را بارگیری کنید.
# K به عنوان تعداد نزدیک‌ترین همسایگان انتخاب کنید.
# برای هر یک از داده‌های اولیه:
## فاصله بین داده مورد سؤال و هر یک داده‌های اولیه را محاسبه کنید.
## فاصله و [[اندیس (معدن)|اندیس]] نمونه را به یک مجموعه اضافه کنید.
## مجموعه را بر اساس فاصله از کوچک به بزرگ مرتب کنید.
## نقاط K عضو اول مجموعه مرتب شده را انتخاب کنید.
## بسته به حالت یا حالت طبقه‌بندی، خروجی را اعلام کنید.
به این ترتیب، کد پایتون محاسبه فاصله اقلیدسی و NN-<math>k</math> را در ادامه می‌بینید:
<syntaxhighlight lang="python">

 def EuclideanDistance(x1, x2, length):
    distance = 0
    for x in range(length):
        distance += np.square(x1[x] - x2[x])
    return np.sqrt(distance)
</syntaxhighlight>
کد زیر مربوط به الگوریتم knn گفته شده در حالت دسته‌بندی است. داده‌های اولیه، trainingSet و داده مورد سؤال testInstance نامیده شده‌است.

<syntaxhighlight lang="python">
 def knn(trainingSet, testInstance, k):
    distances = {}
    sort = {}

    length = testInstance.shape[1]

    for x in range(len(trainingSet)):
        dist = EuclideanDistance(testInstance, trainingSet.iloc[x], length)
        distances[x] = dist[0]
    sortdist = sorted(distances.items(), key=operator.itemgetter(1))
    neighbors = []
    for x in range(k):
        neighbors.append(sortdist[x][0])
    Votes = {} #to get most frequent class of rows
    for x in range(len(neighbors)):
        response = trainingSet.iloc[neighbors[x]][-1]
        if response in Votes:
            Votes[response] += 1
        else:
            Votes[response] = 1
    sortvotes = sorted(Votes.items(), key=operator.itemgetter(1), reverse=True)
    return(sortvotes[0][0], neighbors)
</syntaxhighlight>

== انتخاب پارامتر ==
{{مقاله اصلی|بهینه‌سازی ابرپارامترها}}
بهترین انتخاب <math>k</math> بستگی به داده‌ها دارد؛ به‌طور کلی، مقادیر بزرگ <math>k</math> باعث کاهش خطا در طبقه‌بندی می‌شود، اما وضوح مرز بین کلاس‌ها را کمتر می‌کند.<ref>Everitt, B. S. , Landau, S. , Leese, M. and Stahl, D</ref>
<math>k</math> مناسب را می‌توان با استفاده از تکنیک‌های مختلف انتخاب کرد. مورد خاص زمانی است که دسته پیش‌بینی شده برای عضو جدید، همان دسته نزدیکترین نمونه باشد. (به ازای k = ۱). در این صورت، الگوریتم نزدیکترین همسایه نامیده می‌شود.

دقت الگوریتم NN-<math>k</math> می‌تواند در نتیجه وجود خطا، یا ویژگی‌های غیر مرتبط یا اگر مقیاس داده‌ها با اهمیت آن‌ها تطابق نداشته باشد، به شدت تضعیف می‌شود. برای بهبود طبقه‌بندی، تلاش‌های زیادی در زمینه انتخاب یا مقیاس بندی داده‌ها شده‌است. یک رویکرد بسیار مشهور، استفاده از [[الگوریتم فرگشتی|الگوریتم‌های تکاملی]] برای [[بهینه‌سازی ابرپارامترها|بهینه‌سازی مقیاس بندی]] داده‌ها است.

در دسته‌بندی‌های دو کلاس، بهتر است که k یک عدد فرد انتخاب شود؛ زیرا این امر از گره خوردن آرا جلوگیری می‌کند.

== نزدیکترین همسایه ==
شهودی‌ترین نوع نزدیکترین همسایه در حالت طبقه‌بندی، تنها نزدیکترین همسایه است که یک نقطه را به کلاس نزدیکترین همسایه خود اختصاص می‌دهد؛ به این معنی که <sub>(1)</sub>C<sup>lnn</sup><sub>n</sub>(x) = Y.

هر چه تعداد داده‌های اولیه به بی‌نهایت نزدیک می‌شود، نزدیکترین همسایه در حالت طبقه‌بندی تضمین می‌کند که میزان خطا بیشتر از دو برابر خطای بایاس (حداقل خطا قابل دستیابی با توجه به توزیع داده‌ها) نخواهد بود.

== خصوصیات ==
kNN یک مورد خاص از [[پهنای‌باند|پهنای باند]] متغیر است.<ref>D. G. Terrell; D. W. Scott (1992). "Variable kernel density estimation"</ref><ref>Mills, Peter. "Efficient statistical classification of satellite measurements"</ref>

نسخهٔ ساده این الگوریتم از محاسبه فاصلهٔ نمونه مورد سؤال با تمامی نمونه‌های اولیه، به‌دست می‌آید؛ اما برای مجموعه اولیه‌های بزرگ، این محاسبات بسیار سنگین خواهد بود. با استفاده از الگوریتم تقریبی [[جستجوی نزدیکترین همسایه]]، می‌توان از شدت این محاسبات، حتی برای مجموعه اولیه‌های بزرگ، کاست. در طول سال‌ها، بسیاری از الگوریتم‌های جستجوی نزدیکترین همسایه پیشنهاد شده‌اند که به دنبال کاهش تعداد محاسبه‌های انجام شده بوده‌اند.

NN-<math>k</math> نتایجی با سازگاری(consistency) قوی دارد. هر چه تعدا داده‌ها به بی‌نهایت نزدیک می‌شود، الگوریتم NN-<math>k</math> با دو دسته، تضمین می‌کند که نرخ خطا بیشتر از دو برابر نرخ خطای Bayes(حداقل خطا قابل دستیابی با توجه به توزیع داده‌ها) نباشد.<ref>[[تامس ام. کاور|Cover TM]]
.Hart PE ,
[http://ssg.mit.edu/cal/abs/2000_spring/np_dens/classification/cover67.pdf Nearest neighbor pattern classification] {{Webarchive|url=https://web.archive.org/web/20181223080756/http://ssg.mit.edu/cal/abs/2000_spring/np_dens/classification/cover67.pdf |date=۲۳ دسامبر ۲۰۱۸}}</ref>
هم چنین می‌توان با استفاده از گرافهای مجاورت، سرعت kNN را بهبود بخشید.<ref>"Toussaint GT (April 2005). "Geometric proximity graphs for improving nearest neighbor methods in instance-based learning and data mining</ref>

برای طبقه‌بندی NN-<math>k</math> چند کلاس، کاور و هارت (۱۹۶۷) ثابت می‌کنند که حد بالای نرخ خطا برابر است با:
{{چپ‌چین}}
R<sup>*</sup>
≤
R<sub>kNN</sub>
≤
R<sup>*</sup>
(2 -
{{frac
|
MR<sup>*</sup>
|
M-1
}})
{{پایان چپ‌چین}}

<sup>*</sup>R نرخ خطای Bayes (حداقل نرخ خطا ممکن)، R<sub>kNN</sub> نرخ خطای NN-<math>k</math> و M تعداد دسته‌ها در مسئله است. برای M = ۲ خطای بیزین <sup>*</sup>R به صفر میل می‌کند؛ این حد، حداکثر به میزان دو برابر خطای بیزین کاهش می‌یابد.

== یادگیری متریک ==
عملکرد <math>k</math> نزدیکترین همسایه، اغلب می‌تواند به‌طور قابل توجهی، از طریق یادگیری متریک بهبود یابد. الگوریتم‌های مشهور، تجزیه و تحلیل اجزای همسایه (Neighbourhood components analysis) یا حاشیه بزرگ نزدیک‌ترین همسایه (Large Margin Nearest Neighbor) هستند. الگوریتم‌های یادگیری متریک، از اطلاعات نمونه، برای یادگیری متریک جدید یا شبه متریک استفاده می‌کنند.

== استخراج ویژگی ==
هنگامی که داده‌های ورودی یک الگوریتم برای پردازش بیش از حد بزرگ باشد و داده‌ها مشکوک به بی‌استفاده یا تکراری بودن باشند (به عنوان مثال اندازه‌گیری یکسان یک ویژگی با دو واحد متفاوت) آنگاه داده‌های ورودی به یک مجموعه با ابعاد کاهش یافته از ویژگی‌ها تبدیل می‌شوند (همچنین بردار ویژگی‌ها نامیده می‌شود). تبدیل داده‌های ورودی به مجموعه ویژگی‌ها را [[استخراج ویژگی]] می‌گویند. اگر ویژگی‌های استخراج‌شده با دقت انتخاب شوند، انتظار می‌رود که مجموعه ویژگی‌ها اطلاعات مربوط را از داده‌های ورودی استخراج کند تا با استفاده از این نمایش کاهش‌یافته به جای ورودی با اندازه بزرگ الگوریتم را اجرا کرد و به نتیجه رسید. استخراج ویژگی بر روی داده‌های خام قبل از اعمال الگوریتم k-NN انجام می‌شود تا الگوریتم بر روی داده‌های تبدیل شده در فضای ویژگی جدید اجرا شود.

== مرز تصمیم‌گیری ==
قواعد مربوط به نزدیکترین همسایه در عمل به‌طور ضمنی مرز تصمیم را محاسبه می‌کنند. همچنین می‌توان مرز تصمیم را به‌طور صریح محاسبه کرد و این کار را به‌طور کارآمد انجام داد، به طوری که [[نظریه پیچیدگی محاسباتی|پیچیدگی محاسباتی]] در مجموع تابعی از پیچیدگی مرزی خواهد بود.<ref>{{cite journal |doi=10.1007/s00454-004-1152-0 |last1=Bremner |first1=David |author-link2=Erik Demaine |last2=Demaine |first2=Erik |last3=Erickson |first3=Jeff |author-link4=John Iacono |last4=Iacono |first4=John |author-link5=Stefan Langerman |last5=Langerman |first5=Stefan |author-link6=Pat Morin |last6=Morin |first6=Pat |author-link7=Godfried Toussaint |last7=Toussaint |first7=Godfried T. |title=Output-sensitive algorithms for computing nearest-neighbor decision boundaries |journal=Discrete and Computational Geometry |volume=33 |issue=4 |year=2005 |pages=593–604 |doi-access=free}}</ref>

== کاهش ابعاد ==
برای داده‌های با ابعاد بالا (به عنوان مثال، با تعداد ابعاد بیش از ۱۰)، [[کاهش ابعاد]] معمولاً قبل از اعمال الگوریتم k-NN انجام می‌شود تا از اثرات [[مشقت بعدچندی]] جلوگیری شود.<ref>{{cite journal | last1 = Beyer | first1 = Kevin | display-authors = etal | title = When is "nearest neighbor" meaningful? | url = https://minds.wisconsin.edu/bitstream/handle/1793/60174/TR1377.pdf?sequence=1 | journal = Database Theory—ICDT'99 | volume = 1999 | pages = 217–235}}</ref>

مشقت بعدچندی در زمینه k-NN اساساً به این معنی است که [[فاصله اقلیدسی]] در ابعاد بالا مفید نیست، زیرا همه بردارها تقریباً با بردار پرس‌وجو(query) فاصله دارند (تصور کنید چندین نقطه تقریباً بر روی یک دایره به مرکز نقطه پرس‌وجو قرار دارند. فاصله نقطه پرس‌وجو تا تمام نقاط داده در فضای جستجو تقریباً یکسان است).

[[استخراج ویژگی]] و کاهش ابعاد را می‌توان در یک مرحله با استفاده از [[تحلیل مؤلفه‌های اصلی|تحلیل مؤلفه اصلی]] (PCA)، [[آنالیز افتراقی خطی|تجزیه و تحلیل متمایز خطی]] (LDA)، یا تجزیه و تحلیل همبستگی متعارف (CCA) به عنوان یک مرحله پیش پردازش، و پس از خوشه بندی توسط k-NN بر روی بردارهای ویژگی‌ها در فضا با بعد کاهش یافته انجام داد. به این فرایند [[نشاندن (ریاضیات)|تعبیه]] با ابعاد کم نیز می‌گویند.<ref>{{citation |last1=Shaw |first1=Blake |last2=Jebara |first2=Tony |title=Structure preserving embedding |work=Proceedings of the 26th Annual International Conference on Machine Learning |year=2009 |pages=1–8 | publication-date=June 2009 |url=http://www.cs.columbia.edu/~jebara/papers/spe-icml09.pdf |doi=10.1145/1553374.1553494 |isbn=978-1-60558-516-1 |s2cid=8522279}}</ref>

برای مجموعه داده‌های با ابعاد بسیار بالا (به عنوان مثال هنگام انجام جستجوی تشابه در جریان‌های ویدیویی زنده، داده‌های [[دی‌ان‌ای|DNA]] یا [[سری‌های زمانی]] با ابعاد بالا) یک جستجوی سریع و تقریبی k-NN با استفاده از درهم‌سازی حساس محلی(LSH)، «پیش‌بینی‌های تصادفی»،<ref>{{cite book|doi=10.1145/502512.502546|chapter=Random projection in dimensionality reduction |title=Proceedings of the seventh ACM SIGKDD international conference on Knowledge discovery and data mining - KDD '01 |url=https://archive.org/details/kdd2001proceedin0000inte|year=2001 |last1=Bingham |first1=Ella |last2=Mannila |first2=Heikki |pages=[https://archive.org/details/kdd2001proceedin0000inte/page/245 245]–250 |isbn=1-58113-391-X |s2cid=1854295}}</ref> «طرح‌ها»<ref>Ryan, Donna (editor); ''High Performance Discovery in Time Series'', Berlin: Springer, 2004, {{ISBN|0-387-00857-8}}</ref> یا سایر تکنیک‌های جستجوی شباهت با ابعاد بالا از جعبه ابزار VLDB ممکن است تنها گزینه ممکن باشد.

== کاهش داده‌ها ==
کاهش داده‌ها یکی از مهم‌ترین مسائل در کار با مجموعه داده‌های عظیم است. معمولاً فقط برخی از نقاط داده برای طبقه‌بندی دقیق مورد نیاز است. این داده‌ها نمونه‌های اولیه نامیده می‌شوند و می‌توان آنها را با استفاده از سه مرحله زیر یافت:
# پیدا کردن [[داده پرت|داده‌های پرت]]: پیدا کردن داده‌هایی که در زمان آموزش به اشتباه توسط k-NN طبقه‌بندی شده‌اند.
# تقسیم بقیه داده‌ها به دو دسته: بقیه داده‌ها را دودسته تقسیم می‌کنیم. یک دسته نمونه‌های اولیه که برای تصمیم‌گیری‌های طبقه‌بندی استفاده می‌شوند و دسته دیگر نقاط جذب (نقاطی که می‌توانند به درستی توسط k-NN با استفاده از نمونه‌های اولیه طبقه‌بندی شوند)
# در انتها نقاط جذب شده را می‌توان از مجموعه داده‌های آموزش حذف کرد.

== <math>k</math> نزدیکترین همسایه در حالت رگرسیون ==
در رگرسیون، الگوریتم NN-<math>k</math> برای تخمین زدن متغیرهای پیوسته استفاده می‌شود. یکی از این الگوریتم‌ها از [[میانگین وزنی]] k نزدیکترین همسایه به‌دست می‌آید (میانگین وزنی از معکوس فاصله آنها محاسبه می‌شود). این الگوریتم به شرح زیر عمل می‌کند:
# محاسبه فاصله اقلیدسی یا [[:en:Mahalanobis distance|فاصله Mahalanobis]] از نمونه مسئله داده شده به نمونه‌های علامت زده شده.
# مرتب‌سازی مثال‌های علامت زده شده با افزایش فاصله.
# بر اساس [[:en:Root-mean-square deviation|RMSD]] بهینه‌ترین <math>k</math> در <math>k</math> نزدیک‌ترین همسایه را پیدا کنید. این کار با استفاده از اعتبارسنجی متقابل انجام می‌شود.
# محاسبه میانگین معکوس فاصله <math>k</math> نزدیکترین همسایه.

== اعتبارسنجی نتایج ==
یک [[ماتریس درهم‌ریختگی]] یا «ماتریس تطبیق» اغلب به عنوان ابزاری برای تأیید صحت طبقه‌بندی k-NN استفاده می‌شود. روش‌های آماری قوی‌تری مانند [[آزمون نسبت درست‌نمایی]] نیز می‌تواند استفاده شود.

== مزایا و معایب ==
<ref>[https://blog.usejournal.com/a-quick-introduction-to-k-nearest-neighbors-algorithm-62214cea29c7 : A Quick Introduction to K-Nearest Neighbors Algorithm]</ref>
مزایا:
* هیچ پیش فرضی در مورد داده‌ها وجود ندارد - مثال برای داده‌های غیر خطی
* الگوریتم ساده
* دقت نسبتاً بالا
* مقایسه مدل‌های یادگیری تحت نظارت بهتر
* چند منظوره - برای طبقه‌بندی و رگرسیون

مضرات:
* محاسبه گران
* نیاز به حافظه بالا - چرا که الگوریتم، تمام داده‌های قبلی را ذخیره می‌کند.
* ذخیره تقریباً یا همه داده‌های اولیه
* مرحله پیش‌بینی ممکن است کند باشد (با N بزرگ)
* حساس به ویژگی‌های نامناسب و مقیاس داده

== منابع ==
{{پانویس|۲}}
{{یادکرد-ویکی
|پیوند = https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm
|عنوان = K-nearest_neighbors_algorithm
|زبان = انگلیسی
|بازیابی =۱۵ آوریل ۲۰۱۹
}}

[[رده:آمار ناپارامتری]]
[[رده:الگوریتم‌های جستجو]]
[[رده:الگوریتم‌های دسته‌بندی]]
[[رده:الگوریتم‌های یادگیری ماشین]]
[[رده:روش‌های خوشه‌بندی]]