Kapsül asab tarmog'i - Capsule neural network

A Kapsül asab tarmog'i (CapsNet) - bu turi bo'lgan mashina o'qitish tizimi sun'iy neyron tarmoq Ierarxik munosabatlarni yaxshiroq modellashtirish uchun ishlatilishi mumkin bo'lgan (ANN). Ushbu yondashuv biologik asabiy tashkilotni yanada yaqin taqlid qilishga urinishdir.^[1]

Ushbu g'oya a ga "kapsulalar" deb nomlangan tuzilmalarni qo'shishdir konvolyutsion asab tizimi (CNN) va ushbu kapsulalarning bir nechtasidan chiqishni yuqori kapsulalar uchun barqarorroq (turli xil bezovtaliklarga nisbatan) vakolatlarni yaratish uchun qayta ishlatish.^[2] Chiqish - dan tashkil topgan vektor kuzatish ehtimoli va a ushbu kuzatish uchun poz. Ushbu vektor, masalan, bajarishda bajarilgan narsaga o'xshaydi lokalizatsiya bilan tasniflash CNN-larda.

Boshqa foydali tomonlardan tashqari, kapsnetlar tasvirni aniqlashda "Pikasso muammosi" ga murojaat qilishadi: barcha kerakli qismlarga ega bo'lgan, ammo to'g'ri fazoviy aloqada bo'lmagan rasmlar (masalan, "yuz" da, og'iz va bitta ko'zning holati almashtirilgan) ). Tasvirni tanib olish uchun kapsnetlar nuqtai nazarning o'zgarishi piksel darajasida chiziqli bo'lmagan ta'sirga ega bo'lsa-da, qism / ob'ekt darajasida chiziqli effektlarga ega bo'lishidan foydalanadi.^[3] Buni bir nechta qismlardan iborat ob'ektni ko'rsatishni teskari aylantirish bilan taqqoslash mumkin.^[4]

Tarix

2000 yilda, Jefri Xinton va boshq. birlashtirilgan tasvir tizimini tasvirlab berdi segmentatsiya va bitta xulosa chiqarish jarayonida tan olinishi daraxtlarni tahlil qilish. Ishonchlilik tarmoqlari deb ataladigan narsa, yashirin o'zgaruvchilar va mumkin bo'lgan ajralish daraxtlari bo'yicha birgalikda taqsimlashni tavsifladi. Ushbu tizim foydali bo'ldi MNIST qo'lda yozilgan raqamli ma'lumotlar bazasi.^[4]

Kapsül tarmoqlari uchun dinamik marshrutlash mexanizmi Xinton va uning jamoasi tomonidan 2017 yilda joriy qilingan. Xato stavkalarini kamaytirishga yondashuv MNIST va o'quv majmualarining hajmini kamaytirish. Natijalar bir-birining ustiga o'ralgan raqamlar bo'yicha CNNga qaraganda ancha yaxshi deb da'vo qilingan.^[1]

Xintonning asl g'oyasida bitta kichik ustun bitta ko'p o'lchovli mavjudotni ifodalaydi va aniqlaydi.^{[5][1-eslatma]}

Transformatsiyalar

An o'zgarmas bu ba'zi bir o'zgartirishlar natijasida o'zgarmaydigan ob'ekt xususiyati. Masalan, aylana chap tomonga o'girilsa, aylananing maydoni o'zgarmaydi.

Norasmiy ravishda ekvariant transformatsiya ostida taxminiy ravishda o'zgarib turadigan xususiyatdir. Masalan, aylananing markazi siljiganida aylana bilan bir xil miqdordagi harakat qiladi.^[6]

Noquivariant - bu konvertatsiya ostida qiymati taxminiy ravishda o'zgarmaydigan xususiyat. Masalan, aylanani ellipsga aylantirish, uning perimetri endi diametrining as barobarigacha hisoblab bo'lmasligini anglatadi.

Kompyuter ko'rinishida ob'ektning klassi ko'plab o'zgarishlarga nisbatan o'zgarmas bo'lishi kutilmoqda. Ya'ni, agar mushuk siljigan, teskari o'girilgan yoki kichraytirilgan bo'lsa, mushuk hali ham mushukdir. Biroq, aksariyat boshqa xususiyatlar ekvariantdir. Mushukning hajmi kattalashganda o'zgaradi.

Fazoviy munosabat kabi ekvariant xususiyatlar a da ushlanadi pozitsiya, ob'ektni tasvirlaydigan ma'lumotlar tarjima, aylanish, o'lchov va aks ettirish. Tarjima - bu bir yoki bir nechta o'lchamdagi joylashishni o'zgartirish. Aylantirish - bu yo'nalishni o'zgartirish. Miqyos - bu o'lchamning o'zgarishi. Ko'zgu bu ko'zgu tasviridir.^[1]

Nazorat qilinmagan capsnets global narsani o'rganadi chiziqli manifold ob'ekt va uning vazni matritsasi sifatida pozasi o'rtasida. Boshqacha qilib aytganda, kapsnetlar ob'ektni tanib olishni o'rganishga emas, balki ob'ektning bir qismi sifatida fazoviy munosabatlarni o'z ichiga olgan holda, uni o'z pozitsiyasidan mustaqil ravishda aniqlay olishadi. Capsnets-da, pozitsiya fazoviy munosabatlardan tashqari xususiyatlarni o'z ichiga olishi mumkin, masalan, rang (mushuklar turli xil ranglarda bo'lishi mumkin).

Ob'ektni manifold bilan ko'paytirish ob'ektni (ob'ekt uchun, kosmosda) pozitsiyasini keltirib chiqaradi.^[7]

Hovuz

Capsnets rad etadi hovuz qatlami an'anaviy CNN-lar strategiyasi, bu keyingi yuqori qatlamda ishlov beriladigan tafsilotlarni kamaytiradi. Hovuzga o'tish translyatsion invariantlik darajasiga imkon beradi (u bir xil ob'ektni bir oz boshqacha joyda taniy oladi) va ko'p sonli xususiyat turlarini namoyish etishga imkon beradi. Capsnet tarafdorlari birlashish:^[1]

• ichki koordinatali ramkaga ega bo'lmaganligi sababli shaklning biologik idrokini buzadi;
• ekvariantlik o'rniga (bu ma'lumotni echish) o'zgarmaslikni (pozitsion ma'lumotni yo'q qilishni) ta'minlaydi;
• tasvirlar orasidagi ko'plab o'zgarishlarning negizida joylashgan chiziqli kollektorni e'tiborsiz qoldiradi;
• potentsial "topish" ni qadrlashi mumkin bo'lgan xususiyatga etkazish o'rniga statik ravishda yo'nalishlar;
• ular ishongan ma'lumotlarni o'chirib tashlab, yaqin atrofdagi detektorlarga zarar etkazadi.

Kapsulalar

Kapsül - bu ob'ekt turining turli xil xususiyatlari, masalan, holati, hajmi va rangi uchun individual ravishda faollashadigan neyronlarning to'plami. Rasmiy ravishda, kapsula - bu birgalikda ishlab chiqaradigan neyronlarning to'plamidir faoliyat vektori har bir neyron uchun bitta element bilan ushbu neyronning instantatsiya qiymatini ushlab turishi kerak (masalan, rang).^[1] Grafik dasturlar ob'ektni chizish uchun oniy qiymatdan foydalanadi. Capsnets bularni o'zlarining ma'lumotlaridan olishga harakat qiladi. Vujudning ma'lum bir kirishda bo'lish ehtimoli vektorning uzunligi, vektor yo'nalishi esa kapsulaning xususiyatlarini aniqlaydi.^[1][3]

Sun'iy neyronlar an'anaviy ravishda skaler, real kuzatiladigan aktivatsiyani kuzatish ehtimolini erkin ifodalaydi. Capsnets skalar-chiqadigan xususiyat detektorlarini vektorli chiqish kapsulalari bilan almashtiradi va kelishuv bo'yicha maksimal to'plash.^[1]

Kapsüller mustaqil bo'lganligi sababli, bir nechta kapsulalar rozi bo'lganda, to'g'ri aniqlash ehtimoli ancha yuqori. Olti o'lchovli ob'ektni hisobga olgan holda ikkita kapsuladan iborat minimal klaster tasodifan million sinovda bir marta 10% gacha rozi bo'ladi. O'lchamlarning soni oshgani sayin kattaroq kattalikdagi kattaroq klasterda tasodifiy kelishuv ehtimoli keskin kamayib boradi.^[1]

Yuqori qatlamlardagi kapsulalar quyi qatlamlardagi kapsulalardan chiqindilarni olib chiqadi va ularning chiqishi klasterlanganlarni qabul qiladi. Klaster yuqoriroq kapsulani mavjud bo'lganligi va yuqori o'lchovli (20-50 +) pozitsiyani chiqarishi ehtimoli yuqori bo'lishini keltirib chiqaradi.^[1]

Yuqori darajadagi kapsulalar klasterlarga e'tiborni qaratib, tashqi ko'rsatkichlarga e'tibor bermaydi. Bu o'xshash Hough transformatsiyasi, RHT va RANSAC klassikadan raqamli tasvirni qayta ishlash.^[1]

Shartnoma bo'yicha yo'nalish

Bitta kapsuladan (boladan) chiqadigan narsalar, ota-onaning natijalarini taxmin qilish qobiliyatiga ko'ra, keyingi qatlamdagi (ota-ona) kapsulalarga yo'naltiriladi. Bir necha takrorlash davomida har bir ota-onaning natijalari ba'zi bolalarning bashoratlari bilan birlashishi va boshqalarnikidan farq qilishi mumkin, ya'ni ota-ona voqea joyida yoki yo'qligida.^[1]

Mumkin bo'lgan har bir ota-ona uchun har bir bola bashorat vektorini uning natijasini og'irlik matritsasiga ko'paytirib hisoblab chiqadi (tomonidan o'qitilgan orqaga targ'ib qilish ).^[3] Keyinchalik, ota-ona chiqishi quyidagicha hisoblanadi skalar mahsuloti ushbu bolaning ushbu ota-onaga tegishli bo'lish ehtimolini ifodalovchi koeffitsient bilan bashorat qilish. Bashoratlari natijaga ko'ra nisbatan yaqin bo'lgan bola ketma-ket ushbu ota-ona va bola o'rtasidagi koeffitsientni oshiradi va ota-onalar uchun unchalik mos kelmasligini kamaytiradi. Bu bolaning ota-onaga qo'shadigan hissasini oshiradi, shuning uchun ota-onaning natijasi bilan kapsulani bashorat qilishning skalar mahsulotini oshiradi. Bir necha marta takrorlangandan so'ng, koeffitsientlar ota-onani eng katta ehtimoliy bolalari bilan qattiq bog'laydi, bu esa bolalarning mavjudligi sahnada ota-onaning mavjudligini anglatadi.^[1] Bashoratlari ota-onaning natijalariga yaqin bo'lgan bolalar qanchalik ko'p bo'lsa, koeffitsientlar shunchalik tez o'sib boradi, konvergentsiyani keltirib chiqaradi. Ota-onaning pozitsiyasi (natijada aks ettirilgan) asta-sekin o'z farzandlariga mos keladi.^[3]

Koeffitsientlarning dastlabki jurnali - bu bolaning ota-onaga tegishli bo'lishining oldingi ehtimolliklari. Oldingilar og'irlik bilan birga diskriminativ ravishda o'qitilishi mumkin. Oldinliklar bolaning joylashuvi va turiga va ota-ona kapsulalariga bog'liq, ammo joriy ma'lumotga bog'liq emas. Har bir takrorlashda koeffitsientlar "marshrutlash" orqali o'rnatiladi softmax shuning uchun ular 1 ga yig'ishni davom ettirishlari uchun (ma'lum bir kapsül ma'lum bir bolaning ota-onasi bo'lish ehtimolini bildirish uchun) Softmax kattaroq qiymatlarni kuchaytiradi va kichikroq qiymatlarni ularning umumiy qismidan kattaroq kamaytiradi. Xuddi shunday, kirishda funktsiya mavjudligi ehtimoli, qiymatlarni kamaytiradigan chiziqli bo'lmagan "siqish" funktsiyasi bilan kattalashtiriladi (kichiklari keskin va kattaroqlari, ular 1 dan kichikroq).^[3]

Ushbu dinamik marshrutlash mexanizmi ustma-ust tushgan ob'ektlarni segmentlarga ajratish uchun zarur bo'lgan alternativalarni ("tushuntirish") eskirishini ta'minlaydi.

Signallarning ushbu o'rganilgan yo'nalishi aniq biologik ekvivalentga ega emas. Ba'zi operatsiyalarni kortikal qatlamlarda topish mumkin, ammo ular ushbu uslub bilan bog'liq emas.

Matematik / kod

Pozitsiya vektori ${ textstyle mathbf {u} _ {i}}$ aylantiriladi va matritsa bilan tarjima qilinadi ${ textstyle mathbf {W} _ {ij}}$ vektorga ${ textstyle mathbf { hat {u}} _ {j | i}}$ bu ota-ona kapsulasining chiqishini taxmin qiladi.

${ displaystyle mathbf { hat {u}} _ {j | i} = mathbf {W} _ {ij} mathbf {u} _ {i}}$

Kapsulalar ${ textstyle s_ {j}}$ keyingi yuqori darajadagi pastki qatlamdagi barcha kapsulalardan prognozlar yig'indisi beriladi, ularning har biri birikish koeffitsientiga ega. ${ textstyle c_ {ij}}$

${ displaystyle s_ {j} = sum {c_ {ij} mathbf { hat {u}} _ {j | i}}}$

Softmax protsedurasi

Kapsuladan ulanish koeffitsientlari ${ textstyle i}$ qatlamda ${ textstyle l}$ qatlamdagi barcha kapsulalarga ${ textstyle l + 1}$ yig'indisi bitta va "bilan belgilanadisoftmax-ni yo'naltirish "Boshlang'ich logits ${ textstyle b_ {ij}}$ oldinroq jurnal ehtimollari marshrutlash uchun. Bu oldindan ehtimollik bu kapsula ${ textstyle i}$ qatlamda ${ textstyle l}$ kapsulaga ulanishi kerak ${ textstyle j}$ qatlamda ${ textstyle l + 1}$. Birlashtirish koeffitsientlarini normallashtirish:^[1]

${ displaystyle { begin {array} {lcl} 1: mathbf {procedure} ~ mathrm {softmax} ( mathbf {b}, i) 2: quad triangleright { mbox {argument matrix}} 3: quad triangleright { mbox {argument scalar}} 4: quad triangleright { mbox {memorize on}} ~ mathbf {b} 5: quad triangleright { mbox { return vector}} 6: quad mathbf {foreach} ~ { mbox {index}} ~ i, j ~ mathbf {do} 7: qquad c_ {ij} leftarrow { frac {e ^ {b_ {ij}}} { sum _ {k} {e ^ {b_ {ik}}}}} 8: quad mathbf {return} ~ mathbf {c} _ {i} end {array}}}$

Ushbu protsedura eng maqbul bo'lishi uchun bir nechta qiymatlarni yodlab olish va har bir takrorlashda ushbu qiymatlarni tiklash kerak bo'ladi. Bu vektor bo'lsa ${ displaystyle mathbf {b}}$ o'zgaradi, keyin yodlangan qiymatlarni yangilash kerak. Buni qanday qilish kerakligi ko'rsatilmagan. Bo'luvchini yodlash ham ko'rsatilmaydi.^[1]

Qovoq protsedurasi

Vektorlarning uzunligi ehtimolliklarni ifodalaganligi sababli ular nol (0) va bitta (1) gacha bo'lishi kerak va buning uchun siqish funktsiyasi qo'llaniladi:^[1]

${ displaystyle { begin {array} {lcl} 1: mathbf {procedure} ~ mathrm {squash} ( mathbf {a}) 2: quad triangleright { mbox {argument vector}} 2: quad triangleright { mbox {return vector}} 3: qquad mathbf {a} leftarrow { frac { | mathbf {a} | ^ {2}} {1+ | mathbf {a} | ^ {2}}} { frac { mathbf {a}} { | mathbf {a} |}} 4: quad mathbf {return} ~ mathbf { a} end {array}}}$

Nolga siqilgan vektor yo'qoladigan gradyanga ega.

Jarayonni yo'naltirish

Marshrutlashning yondashuvlaridan biri quyidagilar^[1]

${ displaystyle { begin {array} {lcl} ~~ 1: mathbf {procedure} ~ mathrm {routing} ( mathbf { hat {u}} _ {j | i}, r, l) ~~ 2: quad triangleright { mbox {argument vector}} ~~ 3: quad triangleright { mbox {argument scalar}} ~ ~ 4: quad triangleright { mbox {argument skalar }} ~~ 5: quad triangleright { mbox {return vector}} ~~ 6: quad mathbf {foreach} ~ { mbox {capsule}} ~ i ~ { mbox {in layer }} ~ l, ~ { mbox {kapsula}} ~ j ~ { mbox {qatlamdagi}} ~ (l + 1) ~ mathbf {do} ~ b_ {ij} leftarrow 0 ~~ 7: quad mathbf {for} ~ { mbox {iteration}} ~ r ~ mathbf {do} ~~ 8: qquad mathbf {foreach} ~ { mbox {capsule}} ~ i ~ { mbox {qatlamda}} ~ l ~ mathbf {do} ~ mathbf {c} _ {i} leftarrow operator nomi {softmax} ( mathbf {b}, i) ~~ 9: qquad mathbf { foreach} ~ { mbox {kapsula}} ~ j ~ { mbox {qatlamdagi}} ~ (l + 1) ~ mathbf {do} ~ mathbf {s} _ {j} leftarrow sum _ {i } {c_ {ij} mathbf { hat {u}} _ {j | i}} 10: qquad mathbf {foreach} ~ { mbox {kapsula}} ~ j ~ { mbox { }} ~ (l + 1) ~ mathbf {do} ~ mathbf {v} _ {j} leftarrow operatorname {squash} ( mathbf {s} _ {j}) 11: qquad math bf {foreach} ~ { mbox {kapsula}} ~ i ~ { mbox {qatlamda}} ~ l, ~ j ~ { mbox {qatlamda}} ~ (l + 1) ~ mathbf {do} ~ mathbf {b} _ {ij} leftarrow mathbf {b} _ {ij} + mathbf { hat {u}} _ {j | i} cdot mathbf {v} _ {j} 12 : quad mathbf {return} ~ mathbf {v} _ {j} end {array}}}$

8-qatorda softmax funktsiyasini har qanday turi bilan almashtirish mumkin hamma g'olib tarmoq. Biologik jihatdan bu biroz o'xshaydi qandil xujayralari, lekin ular ham ulanish koeffitsientlarini hisoblashda (9-qator) yoki kelishuvlarni hisoblashda (11-qator) ishtirok etishi mumkin.

9-qatorda ulanish koeffitsientlari uchun og'irlik matritsasi va yashirin bashorat matritsasi ko'rsatilgan. I va II qavatdagi tuzilish biroz o'xshash miya yarim korteksi agar yulduz hujayralari kirish vektorlarini transpozitsiyalashda qatnashgan deb taxmin qilinadi. Ildiz hujayralarining ikkala turi ham bir xil funktsiyaga ega bo'ladimi, aniq emas, chunki I qavat qo'zg'atuvchi tikanli hujayralarga, II qavat esa inhibitiv aspin hujayralarga ega. Ikkinchisi juda boshqacha tarmoqni ko'rsatadi.

10-qatorda qovoq funktsiyasini vektor yo'nalishini saqlaydigan boshqa funktsiyalar va tarmoq topologiyalari bilan almashtirish mumkin.

Jarayon o'tkaziladi ${ textstyle r}$ takrorlash, odatda 4-5, bilan ${ textstyle l}$ marshrutizatsiyalashgan manba kapsula qatlami yoki asosiy qatlam uchun indeks danva kapsula qatlami ${ textstyle l + 1}$ keyingi yuqori qatlam.

O'qitish

O'rganish nazorat qilingan.^[3] Tarmoq minimallashtirish orqali o'qitiladi evklid masofasi tasvir va terminal kapsulalari chiqishini qayta tiklaydigan CNN chiqishi o'rtasida.^[1]

Tarmoq diskriminativ ravishda o'qitiladi, kelishuv asosida marshrutizatsiyadan foydalaniladi.^[1]

To'g'ri ota-onadan boshqasining faoliyat vektorlari maskalanadi.^[1]

Marj yo'qotish

Instantatsiya vektorining uzunligi sahnada kapsula mavjudligining mavjud bo'lish ehtimolini anglatadi. Yuqori darajadagi kapsula uzoq vektorga ega, agar u bilan bog'liq bo'lgan shaxs mavjud bo'lsa. Bir nechta shaxslarga ruxsat berish uchun alohida marj yo'qotish har bir kapsül uchun hisoblanadi. Yo'q bo'lgan shaxslar uchun yo'qotishning vaznini kamaytirish barcha shaxslar uchun faoliyat vektorining uzunligini qisqartirishni o'rganishni to'xtatadi. Umumiy zarar barcha sub'ektlarning zararlari yig'indisidir.^[1] Xinton misolida yo'qotish funktsiyasi quyidagicha:^[1]

${ displaystyle { begin {aligned} L_ {k} & = underbrace {T_ {k} ~ { max left (0, m ^ {+} - | mathbf {v} _ {k} | right)} ^ {2}} _ { mbox {class present}} + underbrace { lambda left (1-T_ {k} right) ~ { max left (0, | mathbf { v} _ {k} | -m ^ {-} o'ng)} ^ {2}} _ { mbox {sinf mavjud emas}}, va T_ {k} = { begin {case} 1, & { mbox {sinfning raqami}} ~ k ~ { mbox {present}} 0, & { mbox {aks holda}} end {case}} end {aligned}}}$

Ushbu turdagi yo'qotish funktsiyasi ANN-larda keng tarqalgan. Parametrlar ${ textstyle m ^ {+}}$ va ${ textstyle m ^ {-}}$ uzunligi maksimal bo'lmasligi yoki qulab tushmasligi uchun o'rnatiladi, ${ textstyle m ^ {+} = 0.9}$ va ${ textstyle m ^ {-} = 0.1}$. Sinflar uchun boshlang'ich og'irliklarni pastga tortish nazorat qilinadi ${ textstyle lambda}$, bilan ${ textstyle lambda = 0.5}$ oqilona tanlov sifatida.^[1]

Qayta qurishni yo'qotish

Qayta tiklanishdagi qo'shimcha yo'qotish korxonalarni o'zlarining kirish parametrlarini sozlash parametrlarini kodlashni rag'batlantiradi. So'ngra yakuniy faoliyat vektori 3 ta to'liq bog'langan qatlamdan iborat CNN dekoder orqali kirish tasvirini qayta tiklash uchun ishlatiladi. Qayta qurish logistik birliklarning chiqishi va piksel intensivligi o'rtasidagi kvadratik farqlar yig'indisini minimallashtiradi. Ushbu rekonstruksiya yo'qotish 0.0005 ga kamayadi, shunda u mashg'ulotlar paytida margin yo'qotishida ustunlik qilmaydi.^[1]

Namuna konfiguratsiyasi

Birinchi konvolyatsion qatlamlar xususiyatlarni chiqarib olishni amalga oshiradi. 28x28 pikselli MNIST tasvir sinovi uchun dastlabki 256 9x9 piksel konvolyutsion yadrolari (qadam 1 va yordamida rektifikatsiyalangan chiziqli birlik (ReLU) faollashtirish, 20x20 ni belgilaydi qabul qiluvchi maydonlar ) pikselli kirishni 1D xususiyatli faollashtirishga aylantirish va chiziqli bo'lmaganlikni keltirib chiqarish.^[1]

Birlamchi (eng past) kapsula qatlami 256 ta yadroni har biriga 8 ta 9x9 yadrodan iborat 32 ta kapsulaga ajratadi (2-qadam yordamida, 6x6 qabul qiluvchi maydonlarni aniqlaydi). Kapsülni faollashtirish grafikani ko'rsatish jarayonini piksellardan funktsiyalargacha samarali ravishda o'zgartiradi. Yagona vaznli matritsa barcha retseptiv maydonlarda har bir kapsuladan foydalaniladi. Har bir asosiy kapsula maydonlari birlamchi qavatdagi maydonning markaziga to'g'ri keladigan barcha quyi qatlam chiqishini ko'radi. Har bir asosiy kapsula chiqishi (ma'lum bir maydon uchun) 8 o'lchovli vektordir.^[1][3]

Ikkinchi, raqamli kapsula qatlamida har bir raqam (0-9) uchun bitta 16 o'lchovli kapsula mavjud. Dinamik marshrutlash (faqat) asosiy va raqamli kapsula qatlamlarini birlashtiradi. A [32x6x6] x 10 vaznli matritsa qatlamlar orasidagi xaritalashni boshqaradi.^[1]

Capsnets ierarxikdir, chunki har bir quyi darajadagi kapsula faqat bitta yuqori darajadagi kapsulaga katta hissa qo'shadi.^[1]

Biroq, o'rganilgan bilimlarni takrorlash qimmatli bo'lib qolmoqda. Bunga erishish uchun kapsnetning pastki qatlamlari konvolyutsion jumladan, yashirin kapsula qatlamlari. Shunday qilib, yuqori qatlamlar mintaqadagi har bir ob'ektning aniq pozitsiyasi haqida ma'lumotni saqlab, katta hududlarni qamrab oladi. Past darajadagi kapsulalar uchun joylashuv ma'lumotlari "joy kodi" bilan belgilanadi, unga muvofiq kapsula faol bo'ladi. Pozitsion ma'lumot qanchalik baland bo'lsa, tobora ko'proq stavkali kodlangan kapsulaning chiqish vektorida. Joylarni kodlashdan stavkalarni belgilashga o'tish, yuqori darajadagi kapsulalar ko'proq erkinlik darajasiga ega bo'lgan yanada murakkab ob'ektlarni aks ettirish bilan birga, kapsulaning o'lchovliligi darajaga qarab ortib borishini anglatadi.^[1]

Insonning ko'rinishi

Insonning ko'rish qobiliyati diqqat markazlari ketma-ketligini tekshiradi (yo'naltirilgan sakadalar ), sahnaning faqat bir qismini eng yuqori aniqlikda qayta ishlash. Kapsnetlar ilhom asosida qurilgan kortikal kichik ustunlar (shuningdek, kortikal mikrokolonlar deb ham ataladi) miya yarim korteksi. Kichik ustun - bu miya yarim korteksidagi barcha qatlamlarni qamrab oladigan, diametri taxminan 28-40 mm bo'lgan 80-120 neyronni o'z ichiga olgan tuzilishdir. Kattaroq kichik ustunlardagi barcha neyronlar bir xil bo'ladi qabul qiluvchi maydon va ular o'z aktivatsiyalarini quyidagicha chiqaradilar harakat potentsiali yoki boshoq.^[1] Mikrokolumn ichidagi neyronlar umumiy kirishni oladi, umumiy chiqishga ega, bir-biriga bog'langan va asosiy hisoblash birligini tashkil qilishi mumkin. miya yarim korteksi.^[8]

Capsnets inson vizual tizimi yaratadigan intuitivlikni o'rganadi daraxt -har bir fokus nuqtasi uchun tuzilishga o'xshash va ob'ektlarni tanib olish uchun ushbu daraxtlarni muvofiqlashtiradi. Biroq, kapsnetlar yordamida har bir daraxt zudlik bilan yig'ilgandan ko'ra, aniq tarmoqdan (o'yilgan koeffitsientlarni sozlash orqali) "o'yilgan".^[1]

Shu bilan bir qatorda

CapsNets-ning to'rtta asosiy kontseptual afzalliklari borligi da'vo qilinadi konvolyutsion asab tarmoqlari (CNN):

• Ko'rish nuqtai nazarining o'zgarmasligi: pozitsiyali matritsalardan foydalanish kapsula tarmoqlari ob'ektlarni, ularni ko'rish nuqtai nazaridan qat'i nazar, tanib olishga imkon beradi.
• Kamroq parametrlar: Kapsüller neyronlarni birlashtirganligi sababli, qatlamlar orasidagi bog'lanish kamroq parametrlarni talab qiladi.
• Yangi nuqtai nazardan yaxshiroq umumlashtirish: CNNlar, aylanishlarni tushunishga o'rgatishganda, ko'pincha ob'ektni bir nechta turli xil aylanishlardan o'xshash ko'rish mumkinligini bilib oladilar. Biroq, kapsula tarmoqlari yangi nuqtai nazardan yaxshiroq umumlashadi, chunki pozitsiya matritsalari bu xususiyatlarni chiziqli o'zgarishlarga aylantirishi mumkin.
• Oq qutidagi qarama-qarshi hujumlardan himoya: Tez Gradient Belgilash usuli (FGSM) - bu CNN-larga hujum qilishning odatiy usuli. U har bir pikselning gradientini tarmoq yo'qolishiga qarab baholaydi va yo'qotishni maksimal darajaga ko'tarish uchun har bir pikselni ko'pi bilan epsilonga (xato atamasi) o'zgartiradi. Garchi bu usul CNN-larning aniqligini keskin pasaytirishi mumkin bo'lsa-da (masalan: 20% gacha), kapsula tarmoqlari 70% dan yuqori aniqlikni saqlaydi.

To'liq konvolyatsion tarmoqlar o'rganilmagan nuqtai nazarlarni umumlashtira olmaydi (tarjimadan tashqari). Boshqalar uchun afinaviy transformatsiyalar, yoki xususiyat detektorlari o'zgaruvchan o'lchovlar soni bilan eksponent ravishda o'sib boradigan katakchada takrorlanishi kerak yoki etiketlangan mashg'ulotlar to'plamining o'lchamlari (eksponent ravishda) ushbu nuqtai nazarlarni qamrab olish uchun kengayishi kerak. Ushbu eksponent portlashlar ularni katta muammolar uchun yaroqsiz holga keltiradi.^[1]

Capsnet-ning transformatsion matritsalari qism va butunlik o'rtasidagi fazoviy munosabatlarni o'rganadi (bu nuqtai nazardan mustaqil) va shu kabi munosabatlar asosida ikkinchisini tan olishga imkon beradi. Biroq, kapsnetlar har bir joyda kapsula ob'ektining ko'pi bilan bitta nusxasini aks ettiradi deb taxmin qilishadi. Ushbu taxmin kapsulaga ushbu ob'ektni shu joyda namoyish qilish uchun ob'ektning taqsimlangan vakolatxonasidan (uning faoliyat vektori) foydalanishga imkon beradi.^[1]

Capsnets-larda nuqtai nazardan farq qiladigan asabiy harakatlar qo'llaniladi. Ular ob'ektlarni normalizatsiya qilishlari shart emas (kabi fazoviy transformator tarmoqlari ) va hatto ko'paytirilgan transformatsiyalangan narsalarni taniy oladi. Kapsnetlar segmentlangan ob'ektlarni ham qayta ishlashlari mumkin.^[1]

Shuningdek qarang

• Konvolyutsion asab tizimi
• Jefri Xinton
• MNIST ma'lumotlar bazasi

Izohlar

Adabiyotlar

Tashqi havolalar

• Pytorch kodi: Variational Bayes orqali kapsulani yo'naltirish, 2020 yil fevral, olingan 2020-10-23
• PyTorch-ning NIPS 2017 "Kapsüllar orasidagi dinamik marshrutlash" qog'ozini amalga oshirish, Gram.AI, 2017-12-08, olingan 2017-12-08
• Konvolyutsion asab tarmoqlarida nima yomon kuni YouTube
• "Chuqur o'rganish". www.cedar.buffalo.edu. Olingan 2017-12-07.
• Bourdakos, Nik (2018-02-12). "Kapsül tarmoqlarini tushunish - sun'iy intellektning jozibali yangi arxitekturasi". freeCodeCamp.org. Olingan 2019-04-23.
• Dai, Jifeng; Tsi, Xaoji; Xiong, Yuven; Li, Yi; Chjan, Guodun; Xu, Xan; Vey, Yichen (2017-03-17). "Deformatsiyalanadigan konvolyutsion tarmoqlar". arXiv:1703.06211 [cs.CV ].
• De Brabandere, Bert; Jia, Xu; Tuytelaars, Tinne; Van Gool, Lyuk (2016-05-31). "Dinamik filtr tarmoqlari". arXiv:1605.09673 [LG c ].Guo, Xifeng (2017-12-08), CapsNet-Keras: "Kapsulalar orasidagi dinamik marshrutlash" NIPS2017 qog'ozida CapsNet-ning Keras dasturi. Endi sinov xatosi ＝ 0,34%., olingan 2017-12-08
• Xinton, Jefri; Sabur, Sara; Frosst, Nikolay (2017 yil noyabr). "EM ROUTING BILAN MATRIX KAPSULLARI".
• Xinton va Google Brain - Kapsül tarmoqlari kuni YouTube
• Liao, Huadong (2017-12-08), CapsNet-Tensorflow: Xintonning qog'ozida CapsNet (Capsules Net) ning Tensorflow dasturini kapsulalar orasidagi dinamik yo'naltirish, olingan 2017-12-08