F-bal - F-score - Wikipedia

Aniqlik va eslash

Yilda statistik tahlil qilish ikkilik tasnif, F-bal yoki F o'lchovi testning aniqligini o'lchaydigan o'lchovdir. U dan hisoblanadi aniqlik va eslash testning aniqligi, bu to'g'ri aniqlangan ijobiy natijalar soniga, shu jumladan to'g'ri aniqlanmagan natijalarga va qaytarib olish esa to'g'ri aniqlangan ijobiy natijalar soniga bo'linadigan barcha namunalar soniga bo'linadi. ijobiy deb topilgan.

The F1 ball garmonik o'rtacha aniqlik va eslash. Umumiyroq ball qo'shimcha og'irliklarni qo'llaydi, aniqlikdan birini baholaydi yoki boshqasidan ko'proq esga oladi.

F-balining mumkin bo'lgan eng yuqori qiymati mukammal aniqlik va eslashni bildiruvchi 1, eng past qiymat esa 0, agar aniqlik yoki eslash nolga teng bo'lsa. F1 ball shuningdek Syorsen-Zar koeffitsienti yoki zar o'xshashlik koeffitsienti (DSC).[iqtibos kerak ]

Etimologiya

F-o'lchov nomi Van Rijsbergenning kitobida, to'rtinchisi bilan tanishganda, boshqa F funktsiyasi nomi bilan atalgan deb ishoniladi. Xabarni tushunish konferentsiyasi (MUC-4, 1992).[1]

Ta'rif

An'anaviy F o'lchovi yoki muvozanatli F ballari (F1 Xol) bo'ladi garmonik o'rtacha aniqlik va eslash:

.

Umumiy F balli, , aniq ijobiy omilni ishlatadigan $ mathbb {L} $ tanlangan bo'lsa, eslash aniqlikdan muhimroq $ considered marta muhim deb hisoblanadi:

.

Xususida I va II tipdagi xatolar bu shunday bo'ladi:

.

D uchun tez-tez ishlatiladigan ikkita qiymat eskirishni aniqlikdan yuqori bo'lgan 2 ga teng, va eslash aniqlikdan pastroq bo'lgan 0,5 ga teng.

F o'lchovi shunday olingan "aniqlikdan tashqari eslashga ko'proq ahamiyat beradigan foydalanuvchiga nisbatan qidiruv samaradorligini o'lchaydi".[2] Bunga asoslanadi Van Raysbergen samaradorlik o'lchovi

.

Ularning munosabatlari qayerda .

Diagnostik test

Bu maydon bilan bog'liq ikkilik tasnif bu erda eslash ko'pincha "sezgirlik" deb nomlanadi.

Haqiqiy holat
Jami aholiVaziyat ijobiyVaziyat salbiyTarqalishi = Ition shart ijobiy/Σ Jami aholiAniqlik (ACC) = Σ Haqiqiy ijobiy + Σ Haqiqiy salbiy/Σ Jami aholi
Bashorat qilingan holat
Bashorat qilingan holat
ijobiy
Haqiqiy ijobiyNoto'g'ri ijobiy,
I toifa xatosi
Ijobiy taxminiy qiymat (PPV), Aniqlik = Σ Haqiqiy ijobiy/Σ Bashorat qilingan holat ijobiyNoto'g'ri kashfiyot darajasi (FDR) = Σ Noto'g'ri ijobiy/Σ Bashorat qilingan holat ijobiy
Bashorat qilingan holat
salbiy
Noto'g'ri salbiy,
II turdagi xato
Haqiqiy salbiyNoto'g'ri tashlab qo'yish darajasi (FOR) = Σ Soxta salbiy/Condition Bashorat qilingan holat salbiySalbiy bashorat qiluvchi qiymat (NPV) = Σ Haqiqiy salbiy/Condition Bashorat qilingan holat salbiy
Haqiqiy ijobiy stavka (TPR), Eslatib o'tamiz, Ta'sirchanlik, aniqlash ehtimoli, Quvvat = Σ Haqiqiy ijobiy/Ition shart ijobiyNoto'g'ri ijobiy stavka (FPR), Qatordan chiqib ketish, yolg'on signal berish ehtimoli = Σ Noto'g'ri ijobiy/Ition Ahvol salbiyIjobiy ehtimollik darajasi (LR +) = TPR/FPRDiagnostik stavkalar nisbati (DOR) = LR +/LR−F1 Xol = 2 · Aniqlik · Eslatib o'tamiz/Aniqlik + qaytarib olish
Soxta salbiy ko'rsatkich (FNR), Miss stavkasi = Se Soxta salbiy/Ition shart ijobiyXususiyat (SPC), selektivlik, Haqiqiy salbiy ko'rsatkich (TNR) = Σ Haqiqiy salbiy/Ition Ahvol salbiySalbiy ehtimollik darajasi (LR−) = FNR/TNR

Ilovalar

F-skor ko'pincha maydonida ishlatiladi ma'lumot olish o'lchov uchun qidirmoq, hujjatlarning tasnifi va so'rovlar tasnifi ishlash.[3] Avvalgi ishlar asosan F ga qaratilgan edi1 skor, ammo keng ko'lamli qidiruv tizimlarining ko'payishi bilan ishlash maqsadlari o'zgarib, aniqlikka yoki eslashga ko'proq e'tibor qaratdi.[4] va hokazo keng qo'llanilishida ko'rinadi.

F-skorida ham ishlatiladi mashinada o'rganish.[5] Biroq, F-choralari haqiqiy salbiylarni hisobga olmaydi, shuning uchun kabi choralar Metyusning o'zaro bog'liqlik koeffitsienti, Axborot yoki Koenning kappasi ikkilik klassifikatorning ishlashini baholash uchun afzal bo'lishi mumkin.[iqtibos kerak ]

F-bal tabiiy tilni qayta ishlash adabiyotida keng qo'llanilgan,[6] kabi nomlangan shaxsni tan olish va so'zlarni ajratish.

Tanqid

Devid Xand va boshqalar F ning keng ishlatilishini tanqid qiladilar1 ball, chunki u aniqlikka va eslashga teng ahamiyat beradi. Amalda noto'g'ri tasniflarning har xil turlari har xil xarajatlarni keltirib chiqaradi. Boshqacha qilib aytganda, aniqlik va eslashning nisbiy ahamiyati muammoning bir tomonidir.[7]

Davide Chikko va Juzeppe Yurmanning fikriga ko'ra, F1 ball unchalik aniq emas va ma'lumotlidir Metyus korrelyatsiya koeffitsienti (MCC) ikkilik baholash tasnifida.[8]

Devid Pauersning ta'kidlashicha, F1 Haqiqiy Negativlarni e'tiborsiz qoldiradi va shu bilan muvozanatsiz sinflar uchun chalg'itadi, kappa va korrelyatsiya o'lchovlari nosimmetrik bo'lib, bashorat qilishning har ikki yo'nalishini baholaydi - klassifikator haqiqiy sinfni va haqiqiy sinf klassifikatorni bashorat qilishni bashorat qilmoqda, alohida ko'p sinf o'lchovlarini taklif qiladi Axborot va Belgilanish ularning geometrik o'rtacha nisbati ekanligini ta'kidlab, ikki yo'nalish uchun.[9]

Fowlkes-Mallows indeksidan farq

F o'lchovi esa garmonik o'rtacha eslash va aniqlik, Fowlkes-Mallows indeksi ularniki geometrik o'rtacha.[10]

Ko'p sinfli tasnifga kengayish

F-bal, shuningdek, ikkitadan ortiq sinflar bilan tasniflash muammolarini baholash uchun ishlatiladi (Ko'p sinfli tasnif ). Ushbu sozlamada yakuniy bal mikro-o'rtacha (sinf chastotasiga qarab) yoki makro-o'rtacha (barcha sinflarni bir xil darajada muhim deb hisoblash) yo'li bilan olinadi. Ibratli o'rtacha uchun talabnoma beruvchilar tomonidan ikki xil formuladan foydalanilgan: (arifmetik) sinf bo'yicha aniqlik va eslash vositalarining F-ballari yoki sinflar uchun F-ballarining o'rtacha arifmetikasi, bu erda ikkinchisi ko'proq kerakli xususiyatlarni namoyish etadi.[11]

Shuningdek qarang

Adabiyotlar

  1. ^ Sasaki, Y. (2007). "F o'lchovining haqiqati" (PDF).
  2. ^ Van Rijsbergen, C. J. (1979). Axborot olish (2-nashr). Butterworth-Heinemann.
  3. ^ Beitzel., Steven M. (2006). Veb-so'rovlarni tushunish va tasniflash to'g'risida (Doktorlik dissertatsiyasi). IIT. CiteSeerX  10.1.1.127.634.
  4. ^ X. Li; Y.-Y. Vang; A. Acero (2008 yil iyul). Muntazam bosish grafikalaridan so'rovlarni o'rganish. 31-SIGIR konferentsiyasi materiallari. doi:10.1145/1390334.1390393. S2CID  8482989.
  5. ^ Masalan, ning baholanishiga qarang [1].
  6. ^ Derczinski, L. (2016). Qo'shimcha, F-ball va NLPni baholash. Til resurslari va baholash bo'yicha xalqaro konferentsiya materiallari.
  7. ^ Qo'l, Devid. "Yozuvni bog'lash algoritmlarini baholash uchun F o'lchovidan foydalanish to'g'risida eslatma - o'lchovlar". app.dimensions.ai. doi:10.1007 / s11222-017-9746-6. hdl:10044/1/46235. S2CID  38782128. Olingan 2018-12-08.
  8. ^ Chicco D, Jurman G (yanvar 2020). "Metyus korrelyatsiya koeffitsientining (MCC) F1 balidan ustunligi va ikkilik tasnifni baholashda aniqligi". BMC Genomics. 21 (6): 6. doi:10.1186 / s12864-019-6413-7. PMC  6941312. PMID  31898477.
  9. ^ Pauers, Devid M V (2011). "Baholash: aniqlik, qaytarib olish va F-ballardan ROCgacha, ma'lumotlilik, belgilanish va o'zaro bog'liqlik". Mashinali o'qitish texnologiyalari jurnali. 2 (1): 37–63. hdl:2328/27165.
  10. ^ Tarvat A (2018 yil avgust). "Tasniflashni baholash usullari". Amaliy hisoblash va informatika (bosmadan oldin). doi:10.1016 / j.aci.2018.08.003.
  11. ^ J. Opits; S. Burst (2019). "Ibratli F1 va Ibratli F1". arXiv:1911.03347 [stat.ML ].