امتیاز اف ۱

دقت و بازیابی

در تجزیه و تحلیل طبقه‌بندهای آماری، امتیاز اف الگو:به انگلیسی معیاری برای ارزیابی دقت یک مدل طبقه‌بندی آماری است. این معیار با توجه به میزان دقت و بازیابی الگو:به انگلیسی یک طبقه‌بند محاسبه می‌شود که در آن دقت، نسبت تعداد نمونه‌های مثبت صادق به تعداد کل نمونه‌هایی که مثبت پیش‌بینی شده‌اند است و بازیابی، نسبت تعداد نمونه‌های مثبت صادق به تعداد کل نمونه‌های مثبت است. امتیاز F₁ برابر با میانگین همساز دقت و بازیابی است. امتیاز عمومی‌تر $F_{\beta }$ یک پارامتر وزن هم دارد که یکی از معیارهای دقت یا بازیابی را بیش از دیگری تأثیر می‌دهد. بیشترین مقدار ممکن برای امتیاز اف، ۱ و کمترین مقدار ممکن برای این معیار ۰ است.

تعریف ریاضی

اندازه‌گیری سنتی امتیاز اف، برابر با میانگین هارمونیک دقت و بازیابی است.

$F_1=\frac{2}{{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}^{-1}+{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}^{-1}}=2\frac{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\cdot \mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}+\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}=\frac{2\mathrm{t}\mathrm{p}}{2\mathrm{t}\mathrm{p}+\mathrm{f}\mathrm{p}+\mathrm{f}\mathrm{n}}$.

امتیاز F_β

$F_{\beta }$ یک امتیاز $F$ عمومی‌تر است که از یک فاکتور مثبت حقیقی $\beta$ استفاده می‌کند و در این معیار $\beta$ طوری تعیین شده‌است که اهمیت بازیابی $\beta$ برابر اهمیت دقت باشد.

$F_{\beta }=(1+{\beta }^2)\cdot \frac{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\cdot \mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}{({\beta }^2\cdot \mathrm{p}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n})+\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}$

با توجه به خطای نوع اول و دوم این مقدار برابر خواهد بود با:

$F_{\beta }=\frac{(1+{\beta }^2)\cdot \mathrm{t}\mathrm{r}\mathrm{u}\mathrm{e}\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}}{(1+{\beta }^2)\cdot \mathrm{t}\mathrm{r}\mathrm{u}\mathrm{e}\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}+{\beta }^2\cdot \mathrm{f}\mathrm{a}\mathrm{l}\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{e}\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}+\mathrm{f}\mathrm{a}\mathrm{l}\mathrm{s}\mathrm{e}\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}}$

دو مقدار رایج برای $\beta$ مقادیر $2$ و $0.5$ هستند که مقدار $2$ به بازیابی وزن بیشتر و مقدار $0.5$ به دقت وزن بیشتری می‌دهد.

وابستگی امتیاز اف به عدم تعادل کلاس

منحنی دقت و بازیابی و در نتیجه امتیاز اف، به شدت نسبت به تعداد نمونه‌های مثبت به منفی در داده‌ها وابسته هستند. این بدان معناست که مقایسه امتیاز اف در مسائل مختلف با نسبت‌های کلاس متفاوت، مشکل‌ساز است. یکی از راه‌های رفع این مشکل، استفاده از نسبت کلاس استاندارد $r_0$ هنگام انجام چنین مقایسه‌هایی است.

کاربردها

امتیاز اف اغلب در زمینه بازیابی اطلاعات برای اندازه‌گیری عملکرد جستجو، طبقه‌بندی اسناد و طبقه‌بندی پرس و جو استفاده می‌شود. اکثر مطالعات قبلی بر روی امتیاز $F_1$ متمرکز بودند اما با گسترش موتورهای جستجو در مقیاس بزرگ، اهداف و عملکردها تغییر کردند تا تأکید بیشتری بر دقت یا بازیابی قرار گیرد. در نتیجه $F_{\beta }$ کاربرد وسیعی دارد.

امتیاز اف در یادگیری ماشین هم کاربرد وسیعی دارد. با این حال، امتیاز اف، منفی‌های صادق را در نظر نمی‌گیرد، در نتیجه در برخی از مسائل، معیارهای ضریب همبستگی متیو و کاپای کوهن ممکن است برای ارزیابی عملکرد یک طبقه‌بند دودویی ترجیح داده شوند.

انتقادها

دیوید هند و دیگران از استفاده گسترده از امتیاز $F_1$ انتقاد می‌کنند زیرا به دقت و بازیابی اهمیت یکسانی می‌دهد. در عمل، انواع مختلف طبقه‌بندی‌های نادرست، هزینه‌های متفاوتی را به همراه دارد. به عبارت دیگر، اهمیت نسبی دقت و بازیابی جنبه‌ای از مشکل است. طبق گفته‌های Davide Chicco و Giuseppe Jurman، ضریب همبستگی متیو در ارزیابی طبقه‌بندهای دودویی صادقانه و آموزنده‌تر است.

تعمیم به طبقه‌بندی چند کلاسه الگو:به انگلیسی

امتیاز اف، برای ارزیابی مسائل طبقه‌بندی با بیش از دو کلاس هم استفاده می‌شود. در این تنظیمات، امتیاز نهایی با میانگین‌گیری خرد (با در نظر گرفتن فراوانی کلاس) یا میانگین‌گیری کلان (با در نظر گرفتن همهٔ کلاس‌ها به صورت یکسان) به دست می‌آید. برای میانگین‌گیری کلان، دو فرمول مختلف توسط متقاضیان استفاده شده‌است. یکی امتیاز اف برای میانگین دقت و بازیابی کلاس‌ها، و یکی میانگین امتیاز اف که برای هر کلاس به صورت جداگانه محاسبه شده‌است.

جستارهای وابسته

• دقت و بازیابی
• جایگزین ارزشیابی دوزبانه
• منحنی مشخصه عملکرد سیستم
• ضریب همبستگی متیو
• ماتریس درهم‌ریختگی