Ichki motivatsiya (sun'iy intellekt) - Intrinsic motivation (artificial intelligence)

Ichki motivatsiya o'rganishida sun'iy intellekt va robototexnika imkon berish mexanizmi sun'iy agentlar (shu jumladan robotlar ) ostida guruhlangan tadqiqot va qiziqish kabi o'ziga xos foydali xatti-harakatlarni namoyish etish xuddi shu muddat o'rganishida psixologiya. Psixologlar odamlarda ichki motivatsiyani o'ziga xos mamnuniyat uchun faoliyatni amalga oshirish uchun harakat qilish deb hisoblashadi - bu shunchaki ko'ngil ochish yoki qiyinchilik uchun.[1]

Ta'rif

An aqlli agent agar harakat natijasida paydo bo'lgan tajribaning faqat axborot tarkibi rag'batlantiruvchi omil bo'lsa, harakat qilish uchun ichki motivatsiya mavjud.

Ushbu kontekstdagi axborot tarkibi axborot-nazariy noaniqlik miqdorini aniqlash hissi. Odatda ichki motivatsiya odatiy, hayratlanarli vaziyatlarni izlash (qidirish), ovqatni qidirish (gomeostaz) kabi odatiy tashqi motivatsiyadan farqli o'laroq.[2] Tashqi motivlar odatda sun'iy intellektda quyidagicha tavsiflanadi vazifaga bog'liq yoki maqsadga yo'naltirilgan.

Psixologiyaning kelib chiqishi

Psixologiya va nevrologiyada ichki motivatsiyani o'rganish 1950-yillarda ba'zi psixologlar tomonidan kashfiyotni manipulyatsiya qilish va o'rganish uchun drayvlar orqali tushuntirish bilan boshlandi, ammo bu gomeostatik qarash Uayt tomonidan tanqid qilindi.[3] Dan muqobil tushuntirish Berlin 1960 yilda yangilik va tanish o'rtasidagi maqbul muvozanatni izlash edi.[4] Festinger dunyoning ichki va tashqi ko'rinishi o'rtasidagi farqni organizmlar kamaytirishga turtki bo'lgan dissonans deb ta'riflagan.[5] Shunga o'xshash qarash 70-yillarda Kagan tomonidan kognitiv tuzilish va tajriba o'rtasidagi mos kelmaydiganlikni kamaytirish istagi sifatida ifoda etilgan.[6] Optimal nomuvofiqlik g'oyasidan farqli o'laroq, Deci va Rayan 80-yillarning o'rtalarida kompetentsiya va o'zini o'zi belgilashga asoslangan ichki motivatsiya aniqlandi.[7]

Hisoblash modellari

1990 yillarning boshlarida sun'iy qiziqishni amalga oshirish uchun ta'sirchan dastlabki hisoblash usuli Shmidhuber, keyinchalik "ijodkorlik, qiziqarli va ichki motivatsiyaning rasmiy nazariyasi" ga aylandi.[8]

Ichki motivatsiya ko'pincha hisoblash doirasida o'rganiladi mustahkamlashni o'rganish[9][10] (tomonidan kiritilgan Satton va Barto ), bu erda agentni harakatini qo'zg'atadigan mukofotlar tashqi tomondan emas, balki o'zlari tomonidan olinadi va atrofdan o'rganilishi kerak.[11] Kuchaytirishni o'rganish, mukofotning qanday ishlab chiqarilishi uchun agnostikdir - agent harakatlar va atrof-muhit tomonidan berilgan mukofotlarning taqsimlanishidan siyosatni (harakatlar strategiyasini) o'rganadi. Ushbu sxemadagi ichki motivatsiyaga har bir yondashuv, asosan, agent uchun mukofot funktsiyasini yaratishning boshqacha usuli hisoblanadi.

Qiziqish va razvedka

Ichki motivatsiyali sun'iy agentlar o'xshash xatti-harakatlarni namoyish etadilar qiziqish yoki razvedka. Qidiruv sun'iy intellekt va robototexnika sohasida mustahkamlashni o'rganish modellarida keng o'rganilgan,[12] odatda agentni atrof-muhitni iloji boricha ko'proq o'rganishga, atrof-muhit dinamikasiga (o'tish funktsiyasini o'rganish) noaniqlikni kamaytirishga va maqsadlariga qanday erishish yaxshiroq (mukofotlash funktsiyasini o'rganishga) undash orqali. Ichki motivatsiya, aksincha, agentni avval atrof-muhitning ko'proq ma'lumot beradigan tomonlarini o'rganishga, yangilik izlashga undaydi. Yaqinda o'tkazilgan davlat tashriflari sonini o'rganish va ichki motivatsiyani birlashtirgan ish video o'yin sharoitida tezroq o'rganishni ko'rsatdi.[13]

Modellarning turlari

Ouedeyer va Kaplan ichki motivatsiyani o'rganishga katta hissa qo'shdi.[14][2][15] Ular Berlin nazariyasiga asoslanib ichki motivatsiyani belgilaydilar,[4] va ichki motivatsiyani amalga oshirishga yondashuvlarni psixologiyada ildizlarni keng ta'qib etuvchi uchta toifaga ajratish: "bilimga asoslangan modellar", "vakolatlarga asoslangan modellar" va "morfologik modellar".[2] Bilimga asoslangan modellar yana "axborot-nazariy" va "bashorat qiluvchi" bo'linadi.[15] Baldassare va Mirolli shunga o'xshash tipologiyani taqdim etadilar, bilimga asoslangan modellarni prognozga asoslangan va yangilikka asoslangan holda farqlaydilar.[16]

Axborot-nazariy ichki motivatsiya

Xatti-harakatni boshqarish uchun bashorat qilish va yangilik miqdorini aniqlash, odatda agentlik holati va strategiyasi (siyosati) vaqt o'tishi bilan tavsiflangan ehtimollik taqsimoti bilan ifodalanadigan axborot-nazariy modellarni qo'llash orqali amalga oshiriladi. markov qaror qabul qilish jarayoni va idrok va harakat tsikli axborot kanali sifatida qaraldi.[17][18] Ushbu yondashuvlar oilaning bir qismi sifatida biologik maqsadga muvofiqligini ta'kidlaydilar miya ishiga bayesian yondashuvlar. Ushbu modellarning asosiy tanqidiy va qiyinligi katta diskret yoki uzluksiz holat oralig'ida ehtimollik taqsimotini hisoblashning qiyinligi.[2] Shunga qaramay, juda katta miqdordagi ish sensimotor tsikl atrofida ma'lumot oqimini modellashtirishni yaratdi va bu noaniqlikni kamaytirishdan kelib chiqadigan de-fakto mukofotlash funktsiyalariga olib keldi, shu jumladan faol xulosa chiqarish,[19] Biroq shu bilan birga infotaksis,[20] bashoratli ma'lumot,[21][22] kuchaytirish.[23]

Vakolatga asoslangan modellar

Cheliklar avtotelik printsipi [24] rasmiylashtirishga urinishdir oqim (psixologiya).[25]

Ichki motivli ta'lim

Ichki motivatsiyali (yoki qiziqishga asoslangan) o'rganish - bu sun'iy intellekt va yangi paydo bo'lgan tadqiqot mavzusi rivojlanayotgan robototexnika[26] Umumiy ko'nikmalar yoki xatti-harakatlarni o'rgana oladigan, tashqi vazifalar, masalan, resurslarni sotib olish kabi ishlarni yaxshilash uchun ishlatilishi mumkin bo'lgan agentlarni rivojlantirishga qaratilgan.[27] Ichki motivatsiyali ta'lim mashinalarda umrbod avtonom ta'limga yondoshish sifatida o'rganilgan.[28][29] Ning ta'sirchan muvaffaqiyatiga qaramay chuqur o'rganish aniq domenlarda (masalan, AlphaGo ), bu sohada ko'pchilik (masalan, Gari Markus ) umumlashtirish qobiliyati sun'iy intellektda asosiy muammo bo'lib qolayotganligini ta'kidladilar. Ichki motivatsiyali ta'lim, tashqi muhitga qo'yilgan vazifalarsiz atrof-muhit tuzilishidan maqsadlarni yaratish imkoniyatiga ega bo'lish nuqtai nazaridan umidvor bo'lsa-da, siyosat yoki harakatlar ketma-ketligini qanday qayta ishlatish, qanday qilib doimiy va murakkab holat bo'shliqlarini siqish va aks ettirish kabi bir xil umumlashtirish muammosiga duch keladi. va o'rganilgan taniqli xususiyatlarni saqlab qolish va qayta ishlatish.[27]

Shuningdek qarang

Adabiyotlar

  1. ^ Rayan, Richard M; Deci, Edvard L (2000). "Ichki va tashqi motivlar: Klassik ta'riflar va yangi yo'nalishlar". Zamonaviy ta'lim psixologiyasi. 25 (1): 54–67. doi:10.1006 / ceps.1999.1020. PMID  10620381.
  2. ^ a b v d Oudeyer, Pyer-Iv; Kaplan, Frederik (2008). "Ichki motivatsiyani qanday aniqlashimiz mumkin?". Proc. 8-konf. Epigenetic Robotics haqida. 5. 29-31 betlar.
  3. ^ Oq, R. (1959). "Motivatsiya qayta ko'rib chiqildi: vakolat tushunchasi". Psixologik sharh. 66 (5): 297–333. doi:10.1037 / h0040934. PMID  13844397.
  4. ^ a b Berlin, D .: Mojaro, qo'zg'alish va qiziqish. McGraw-Hill, Nyu-York (1960)
  5. ^ Festinger, L .: Kognitiv kelishmovchilik nazariyasi. Evanston, Row, Peterson (1957)
  6. ^ Kagan, J .: Motivlar va rivojlanish. Shaxsiyat va ijtimoiy psixologiya jurnali 22, 51-66
  7. ^ Deci, EL, Rayan, RM: Inson xulq-atvoridagi ichki motivatsiya va o'zini o'zi belgilash. Plenum, Nyu-York (1985)
  8. ^ Shmidhuber, J (2010). "Ijodkorlik, qiziqarli va ichki motivatsiyaning rasmiy nazariyasi (1990-2010)". IEEE Trans. Auton. Mental Dev. 2 (3): 230–247. doi:10.1109 / TAMD.2010.2056368.
  9. ^ Barto, A., Singx, S., Chentanez, N.: Ierarxik mahorat to'plamlarini ichki motivatsion o'rganish. In: ICDL 2004. Salk instituti, San-Diego, rivojlanish va o'rganish bo'yicha 3-xalqaro konferentsiya materiallari (2004)
  10. ^ Singh, S., Barto, A. G. va Chentanez, N. (2005). Ichki motivatsiya asosida mustahkamlashni o'rganish. Vankuver, B.C., Kanada, asabiy axborotni qayta ishlash tizimlari (NIPS) bo'yicha 18-yillik konferentsiya materiallarida.
  11. ^ Barto, A.G .: Ichki motivatsiya va mustahkamlashni o'rganish. In: Baldassarre, G., Mirolli, M. (tahr.) Tabiiy va sun'iy tizimlarda ichki motivatsiya asosida o'rganish. Springer, Berlin (2012)
  12. ^ Thrun, S. B. (1992). Mustahkamlashni o'rganishda samarali izlanish. https://doi.org/10.1007/978-1-4899-7687-1_244
  13. ^ Bellemare, M. G., Srinivasan, S., Ostrovski, G., Shoul, T., Sakston, D. va Munos, R. (2016). Hisobga asoslangan kashfiyot va ichki motivatsiyani birlashtirish. Asabli ma'lumotni qayta ishlash tizimidagi yutuqlar, 1479–1487.
  14. ^ Kaplan, F. va Oudeyer, P. (2004). Ta'limni maksimal darajada oshirish: rivojlanish uchun ichki mukofotlash tizimi. Gavdalangan sun'iy aql, 629-629 betlar.
  15. ^ a b Oudeyer, P. Y. va Kaplan, F. (2009). Ichki motivatsiya nima? Hisoblash yondashuvlarining tipologiyasi. Neyroobotika chegaralari, 3 (NOV). https://doi.org/10.3389/neuro.12.006.2007
  16. ^ Baldassarre, Janluka; Mirolli, Marko (2013). "Ichki motivatsion ta'lim tizimlari: umumiy nuqtai". Tabiiy 1 va sun'iy tizimlarda ichki motivatsiya asosida o'rganish. Rim, Italiya: Springer. 1-14 betlar.
  17. ^ Klyubin, A., Polani, D. va Nehaniv, C. (2008). Variantlaringizni ochiq holda saqlang: sensorimotor tizimlar uchun axborotga asoslangan haydash printsipi. PLOS ONE, 3 (12): e4018. https://dx.doi.org/10.1371%2Fjournal.pone.0004018
  18. ^ Bihl, Martin; Guckelsberger, nasroniy; Salj, Kristof; Smit, Simon S.; Polani, Daniel (2018). "Faol xulosa landshaftini kengaytirish: idrok va harakatlanish doirasidagi ko'proq ichki motivlar". Neyrorobotiklar chegaralari. 12: 45. arXiv:1806.08083. doi:10.3389 / fnbot.2018.00045. ISSN  1662-5218. PMC  6125413. PMID  30214404.
  19. ^ Friston, Karl; Kilner, Jeyms; Harrison, Li (2006). "Miya uchun bepul energiya printsipi" (PDF). Fiziologiya jurnali-Parij. Elsevier BV. 100 (1–3): 70–87. doi:10.1016 / j.jphysparis.2006.10.001. ISSN  0928-4257. PMID  17097864.
  20. ^ Vergassola, M., Villermaux, E., & Shrayman, B. I. (2007). "Infotaxis" gradientsiz qidirish strategiyasi sifatida. Tabiat, 445 (7126), 406-409. https://doi.org/10.1038/nature05464
  21. ^ Ay, N., Bertschinger, N., Der, R., Guttler, F. va Olbrich, E. (2008), 'Avtonom robotlarning prognozli ma'lumotlari va kashfiyotchi xatti-harakatlari', European Physical Journal B 63 (3), 329 –339.
  22. ^ Martius, G., Der, R. va Ay, N. (2013). Murakkab robot xatti-harakatlarini o'z-o'zini tashkil etishda ma'lumot. PLOS ONE 8: e63400. doi: 10.1371 / journal.pone.0063400
  23. ^ Salge, C; Glackin, C; Polani, D (2014). "Imkoniyatlarni oshirish - kirish so'zi". Prokopenkoda M (tahrir). O'z-o'zini boshqarish bo'yicha qo'llanma: boshlang'ich. Vujudga kelish, murakkablik va hisoblash. 9. Springer. 67–114-betlar. arXiv:1310.1863. doi:10.1007/978-3-642-53734-9_4. ISBN  978-3-642-53733-2.
  24. ^ Cheliklar, Lyuk: avtotelik printsipi. In: Iida, F., Pfeifer, R., Steels, L., Kuniyoshi, Y. (tahr.) O'zida mujassam bo'lgan sun'iy aql. LNCS (LNAI), vol. 3139, 231-242-betlar. Springer, Heidelberg (2004)
  25. ^ Csikszentmihalyi, M. (2000). Zerikish va xavotirdan tashqari. Jossey-Bass.
  26. ^ Lungarella, M., Metta, G., Pfeifer, R. va Sandini, G. (2003). Rivojlanadigan robototexnika: so'rovnoma. Ulanmoq. Ilmiy ish. 15, 151-190. doi: 10.1080 / 09540090310001655110
  27. ^ a b Santucci, V. G., Oudeyer, P. Y., Barto, A., va Baldassarre, G. (2020). Tahririyat: Avtonom robotlarda ichki motivatsiya asosida ochiq o'qitish. Neyroobotika chegaralari, 13 (yanvar), 2019–2021. https://doi.org/10.3389/fnbot.2019.00115
  28. ^ Barto, A. G. (2013). "Tabiiy va sun'iy tizimlarda ichki motivatsion ta'lim" ("Berlin"; Heidelberg: Springer), 17-47 "Ichki motivatsiya va mustahkamlashni o'rganish".
  29. ^ Mirolli, M. va Baldassarre, G. (2013). "Tabiiy va sun'iy tizimlarda ichki motivatsion ta'lim" kitobida "ichki motivatsiyalarning funktsiyalari va mexanizmlari", G. G. Baldassarre va M. Mirolli (Berlin; Heidelberg: Springer), 49-72