Lineer klassifikator - Linear classifier

Sohasida mashinada o'rganish, maqsadi statistik tasnif qaysi sinfga (yoki guruhga) tegishli ekanligini aniqlash uchun ob'ektning xususiyatlaridan foydalanish. A chiziqli klassifikator a qiymatiga qarab tasniflash to'g'risida qaror qabul qilish orqali bunga erishadi chiziqli birikma xususiyatlari. Ob'ektning xususiyatlari, shuningdek, sifatida tanilgan xususiyat qiymatlari va odatda mashinaga a deb nomlangan vektorda taqdim etiladi xususiyat vektori. Kabi klassifikatorlar kabi amaliy muammolar uchun yaxshi ishlaydi hujjatlarning tasnifi va umuman olganda ko'plab o'zgaruvchilar bilan bog'liq muammolar uchun (Xususiyatlari ), chiziqli bo'lmagan tasniflagichlar bilan taqqoslanadigan aniqlik darajalariga erishish, shu bilan birga o'qitish va ishlatish uchun kam vaqt talab etiladi.^[1]

Ta'rif

Bunday holda, qattiq va bo'sh nuqtalarni har qanday chiziqli tasniflagichlar bo'yicha to'g'ri tasniflash mumkin. H1 (ko'k) ularni H2 (qizil) kabi to'g'ri tasniflaydi. H2 ni "yaxshiroq" deb hisoblash mumkin, chunki u ikkala guruhdan ham uzoqroq. H3 (yashil) nuqtalarni to'g'ri tasniflay olmaydi.

Agar klassifikatorga kirish xususiyati vektori a haqiqiy vektor ${ displaystyle { vec {x}}}$ , keyin chiqish balidir

{ displaystyle y = f ({ vec {w}} cdot { vec {x}}) = f left ( sum _ {j} w_ {j} x_ {j} right),}

qayerda ${ displaystyle { vec {w}}}$ og'irliklarning haqiqiy vektori va f ni o'zgartiradigan funktsiya nuqta mahsuloti kerakli vektorga ikkita vektorning. (Boshqa so'zlar bilan aytganda, ${ displaystyle { vec {w}}}$ a bitta shakl yoki chiziqli funktsional xaritalash ${ displaystyle { vec {x}}}$ ustiga R.) Og'irlik vektori ${ displaystyle { vec {w}}}$ etiketli o'quv namunalari to'plamidan o'rganiladi. Ko'pincha f a pol funktsiyasi, ning barcha qiymatlarini xaritalaydigan ${ displaystyle { vec {w}} cdot { vec {x}}}$ birinchi darajaga ma'lum chegaradan yuqori va ikkinchi darajaga barcha boshqa qiymatlar; masalan,

{ displaystyle f ( mathbf {x}) = { begin {case} 1 & { text {if}} mathbf {w} cdot mathbf {x}> T, 0 & { text {aks holda }} end {case}}}

Keyinchalik murakkab f narsa ma'lum bir sinfga tegishli bo'lish ehtimolini berishi mumkin.

Ikki sinfli tasniflash muammosi uchun chiziqli tasniflagichning ishlashini ajratish sifatida tasavvur qilish mumkin yuqori o'lchovli a bilan kirish maydoni giperplane: giperplaning bir tomonidagi barcha nuqtalar "ha", qolganlari "yo'q" deb tasniflanadi.

Lineer klassifikator ko'pincha tasniflash tezligi muammo bo'lgan holatlarda qo'llaniladi, chunki u ko'pincha eng tez tasniflagich hisoblanadi, ayniqsa ${ displaystyle { vec {x}}}$ siyrak. Shuningdek, chiziqli tasniflagichlar ko'pincha o'lchamlari juda yaxshi bo'lganda ishlaydi ${ displaystyle { vec {x}}}$ kabi katta hujjatlarning tasnifi, bu erda har bir element ${ displaystyle { vec {x}}}$ odatda hujjatdagi so'zning paydo bo'lish soni (qarang) hujjat-muddat matritsasi ). Bunday hollarda klassifikator yaxshi bo'lishi kerakmuntazam ravishda.

Generativ modellar va diskriminatsion modellar

Lineer tasniflagich parametrlarini aniqlashning ikkita keng klasslari mavjud ${ displaystyle { vec {w}}}$ . Ular bo'lishi mumkin generativ va kamsituvchi modellar.^[2]^[3] Birinchi sinf modelining usullari shartli zichlik funktsiyalari ${ displaystyle P ({ vec {x}} | { rm {class}})}$ . Bunday algoritmlarning misollariga quyidagilar kiradi:

Lineer diskriminantli tahlil (LDA) - taxmin Gauss shartli zichlik modellari
Naive Bayes tasniflagichi ko'p pulli yoki ko'p o'zgaruvchan Bernoulli tadbir modellari bilan.

Ikkinchi uslublar to'plami o'z ichiga oladi kamsituvchi modellar, bu mahsulot sifatini maksimal darajada oshirishga harakat qiladi o'quv to'plami. Trening xarajatlari funktsiyasidagi qo'shimcha shartlarni osongina bajarish mumkin muntazamlik yakuniy model. Chiziqli tasniflagichlarni diskriminativ o'qitish misollariga quyidagilar kiradi:

Logistik regressiya - ehtimolligini maksimal darajada baholash ${ displaystyle { vec {w}}}$ kuzatilgan o'quv majmuasi klassifikatorning chiqishiga bog'liq bo'lgan binomial model tomonidan yaratilgan deb taxmin qilish.
Pertseptron - o'quv majmuasida uchragan barcha xatolarni tuzatishga urinadigan algoritm
Fisherning Lineer Diskriminantli Tahlili - boshqa taxminlarsiz, sinflararo tarqalishning sinf ichidagi tarqalishga nisbatini maksimal darajada oshiradigan algoritm ("LDA" dan farqli). Bu mohiyatan ikkilik tasniflash uchun o'lchovni kamaytirish usuli. ^[4]
Vektorli mashinani qo'llab-quvvatlash - ni maksimal darajaga ko'taradigan algoritm chekka qaror giper samolyoti va o'quv to'plamidagi misollar o'rtasida.

Eslatma: LDA o'z nomiga qaramay, ushbu taksonomiyada diskriminatsion modellar sinfiga kirmaydi. Biroq, LDA ni boshqa asosiy chiziqli bilan taqqoslaganda uning nomi mantiqan to'g'ri keladi o'lchovni kamaytirish algoritm: asosiy tarkibiy qismlarni tahlil qilish (PCA). LDA - bu nazorat ostida o'rganish ma'lumotlar yorliqlaridan foydalanadigan algoritm, PCA esa nazoratsiz o'rganish yorliqlarni e'tiborsiz qoldiradigan algoritm. Xulosa qilib aytganda, bu nom tarixiy eksponatdir.^[5]^:117

Diskriminativ trening ko'pincha shartli zichlik funktsiyalarini modellashtirishga qaraganda yuqori aniqlikka ega^{[iqtibos kerak ]}. Biroq, etishmayotgan ma'lumotlar bilan ishlash ko'pincha shartli zichlik modellari bilan osonroq bo'ladi^{[iqtibos kerak ]}.

Yuqorida sanab o'tilgan barcha chiziqli tasniflash algoritmlari boshqa kirish maydonida ishlaydigan chiziqli bo'lmagan algoritmlarga aylantirilishi mumkin ${ displaystyle varphi ({ vec {x}})}$ yordamida yadro hiyla-nayrang.

Diskriminativ trening

Lineer tasniflagichlarning diskriminatsion tayyorgarligi odatda a nazorat qilingan yo'li bilan, an optimallashtirish algoritmi kerakli natijalar bilan mashg'ulotlar to'plami berilgan va yo'qotish funktsiyasi bu tasniflagichning chiqishlari va kerakli natijalar o'rtasidagi farqni o'lchaydi. Shunday qilib, o'quv algoritmi shaklni optimallashtirish masalasini hal qiladi^[1]

{ displaystyle { underset { mathbf {w}} { arg min}} ; R ( mathbf {w}) + C sum _ {i = 1} ^ {N} L (y_ {i} , mathbf {w} ^ { mathsf {T}} mathbf {x} _ {i})}

qayerda

$w$ - bu klassifikator parametrlarining vektori,
$L (y men, w T x men)$ - bu klassifikatorning bashorati va haqiqiy chiqishi o'rtasidagi farqni o'lchaydigan yo'qotish funktsiyasi $y men$ uchun $men$ 'o'quv namunasi,
$R (w)$ a muntazamlik parametrlarning juda katta bo'lishiga to'sqinlik qiladigan funktsiya (sabab bo'ladi ortiqcha kiyim ) va
$C$ tartibga solish va yo'qotish funktsiyasi o'rtasidagi muvozanatni boshqaradigan skalar doimiysi (o'quv algoritmi foydalanuvchisi tomonidan o'rnatiladi).

Ommabop yo'qotish funktsiyalari quyidagilarni o'z ichiga oladi menteşenin yo'qolishi (chiziqli SVMlar uchun) va jurnalni yo'qotish (chiziqli logistik regressiya uchun). Agar tartibga solish funktsiyasi bo'lsa $R$ bu qavariq, keyin yuqoridagi a qavariq muammo.^[1] Bunday muammolarni hal qilish uchun ko'plab algoritmlar mavjud; chiziqli tasniflash uchun mashhur bo'lganlarga (stoxastik ) gradiyent tushish, L-BFGS, koordinatali tushish va Nyuton usullari.

Shuningdek qarang

Izohlar

^ ^a ^b ^v Guo-Xun Yuan; Chia-Xua Xo; Chih-Jen Lin (2012). "Katta ko'lamli chiziqli tasnifning so'nggi yutuqlari" (PDF). Proc. IEEE. 100 (9).
^ T. Mitchell, Generativ va diskriminatsion tasniflagichlar: sodda baylar va logistik regressiya. Loyiha versiyasi, 2005 yil
^ A. Y. Ng va M. I. Iordaniya. Diskriminativ va generativ klassifikatorlar to'g'risida: Logistik regressiya va sodda Baysni taqqoslash. NIPS 14, 2002 yilda.
^ R.O. Duda, P.E. Xart, D.G. Stork, "Pattern Classification", Wiley, (2001). ISBN 0-471-05669-3
^ R.O. Duda, P.E. Xart, D.G. Stork, "Pattern Classification", Wiley, (2001). ISBN 0-471-05669-3

Qo'shimcha o'qish

Y. Yang, X. Lyu, "Matn toifalarini qayta tekshirish", Proc. ACM SIGIR konferentsiyasi, 42-49 bet, (1999). paper @ citeseer
R. Herbrich, "Kernel klassifikatorlarini o'rganish: nazariya va algoritmlar", MIT Press, (2001). ISBN 0-262-08306-X

[ieee-1] v Guo-Xun Yuan; Chia-Xua Xo; Chih-Jen Lin (2012). "Katta ko'lamli chiziqli tasnifning so'nggi yutuqlari" (PDF). Proc. IEEE. 100 (9).

[2] T. Mitchell, Generativ va diskriminatsion tasniflagichlar: sodda baylar va logistik regressiya. Loyiha versiyasi, 2005 yil

[3] A. Y. Ng va M. I. Iordaniya. Diskriminativ va generativ klassifikatorlar to'g'risida: Logistik regressiya va sodda Baysni taqqoslash. NIPS 14, 2002 yilda.

[4] R.O. Duda, P.E. Xart, D.G. Stork, "Pattern Classification", Wiley, (2001). ISBN 0-471-05669-3

[5] R.O. Duda, P.E. Xart, D.G. Stork, "Pattern Classification", Wiley, (2001). ISBN 0-471-05669-3

[1]

[2]

[3]

[4]

[5]