Auditoriya sahnasini hisoblash - Computational auditory scene analysis

Auditoriya sahnasini hisoblash (CASA) o'rganishdir eshitish sahnasini tahlil qilish hisoblash vositalari bilan.[1] Aslini olib qaraganda, CASA tizimlari "tinglovchi" tizimlar bo'lib, ular odamlarning tinglovchilari singari ovoz manbalarining aralashmalarini ajratishga qaratilgan. CASA maydonidan farq qiladi ko'r signalni ajratish u (hech bo'lmaganda ma'lum darajada) inson mexanizmlariga asoslanganligi bilan eshitish tizimi va shu bilan akustik muhitni ikkitadan ko'p bo'lmagan mikrofon yozuvlaridan foydalanadi. Bu bilan bog'liq mexnat partiyasi muammosi.

Printsiplar

CASA eshitish tizimining funktsional qismlarini modellashtirishga xizmat qilganligi sababli, biologik eshitish tizimining qismlarini ma'lum fizik modellar nuqtai nazaridan ko'rish kerak. Tashqi, o'rta va ichki quloqning uchta sohasidan iborat bo'lgan eshitish periferiyasi tovush tebranishlarini eshitish asabidagi harakat potentsialiga aylantiradigan murakkab transduser vazifasini bajaradi. The tashqi quloq tashqi quloqdan iborat, quloq kanali va quloq baraban. Tashqi quloq, xuddi akustik voronka singari, tovush manbasini topishga yordam beradi.[2] Eshitish kanali rezonansli naycha vazifasini bajaradi (organ trubkasi singari) 2-5,5 kHz gacha bo'lgan chastotalarni kuchaytiradi, maksimal kuchayishi esa taxminan 11 dB 4 kHz atrofida.[3] Eshitish organi sifatida koklea ikki membranadan iborat, Reissner va bazilar membranasi. Bazilar membranasi ma'lum stimulyator chastotasi orqali bazilar membranasining ma'lum bir mintaqasining rezonans chastotasiga mos keladigan audio stimullarga o'tadi. Bazilar membranasi harakati sochlarning ichki hujayralarini bir yo'nalishda siljitadi, bu spiral gangliyon hujayralaridagi harakat potentsialining yarim to'lqinli rektifikatsiya qilingan signalini kodlaydi. Ushbu hujayralarning aksonlari rektifikatsiyalangan stimulyatorni kodlab, eshitish nervini tashkil qiladi. Eshitish nervlarining reaktsiyalari bazilar membranasiga o'xshash ma'lum chastotalarni tanlaydi. Pastroq chastotalar uchun tolalar "fazalarni qulflash" ni namoyish etadi. Yuqori eshitish yo'llari markazlaridagi neyronlar davriylik, tovush intensivligi, amplituda va chastota modulyatsiyasi kabi o'ziga xos ogohlantiruvchi xususiyatlarga moslashtiriladi.[1] ASA ning neyroanatomik assotsiatsiyalari ham mavjud orqa kortikal joylar, shu jumladan posterior yuqori temporal loblar va orqa singulat. Tadqiqotlar shuni ko'rsatdiki, ASA buzilishi va segregatsiya va guruhlash operatsiyalari bemorlarga ta'sir qiladi Altsgeymer kasalligi.[4]

Tizim me'morchiligi

Kokleagramma

CASA-ni qayta ishlashning birinchi bosqichi sifatida kokleagram kirish signalining vaqt chastotasini aks ettiradi. Tashqi va o'rta quloqning tarkibiy qismlarini taqlid qilib, signal koklea va soch hujayralari tomonidan tabiiy ravishda tanlangan turli xil chastotalarga bo'linadi. Bazilar membranasining chastotali selektivligi tufayli, a filtrli bank membranani modellashtirish uchun ishlatiladi, har bir filtri bazilar membranasining ma'lum bir nuqtasi bilan bog'langan.[1]

Soch hujayralarida boshoq naqshlari hosil bo'lganligi sababli, modelning har bir filtri ham shunga o'xshash boshoq hosil qilishi kerak impulsli javob. A dan foydalanish gammaton filtri gamma funktsiyasi va ohang mahsuli sifatida impuls ta'sirini ta'minlaydi. Gammaton filtrining chiqishi bazilar membranasining siljishini o'lchash sifatida qaralishi mumkin. Ko'pgina CASA tizimlari boshoqqa asoslangan emas, balki eshitish asabidagi otishni o'rganish tezligini aks ettiradi. Buni olish uchun filtr bankining chiqishi yarim to'lqinli rektifikatsiyadan so'ng kvadrat ildiz bilan to'ldiriladi. (Boshqa daromad modellari, masalan, avtomatik daromadni boshqarish moslamalari amalga oshirildi). Yarim rektifikatsiya qilingan to'lqin soch hujayralarining siljish modeliga o'xshaydi. Soch hujayralarining qo'shimcha modellariga soch hujayralarining transduktsiyasini modellashtirish orqali gammaton filtri banki bilan juftlashgan Meddis soch hujayralari modeli kiradi.[5] Har bir soch hujayrasida transmitter moddasining uchta rezervuari borligi va transmitterlar bazilar membranasiga siljish darajasiga mutanosib ravishda chiqarilishi haqidagi taxmin asosida, bo'shatish asab tolasida hosil bo'lgan boshoq paydo bo'lish ehtimoli bilan tenglashtiriladi. Ushbu model CASA tizimidagi rektifikatsiya, siqish, o'z-o'zidan otish va moslashish kabi ko'plab nerv reaktsiyalarini takrorlaydi.[1]

Korrelogramma

Pitch nazariyasining ikkita maktabini birlashtirib, balandlikni sezishning muhim modeli:[1]

  • Joylashtirish nazariyalari (hal qilingan harmonikaning rolini ta'kidlab)
  • Vaqtinchalik nazariyalar (hal qilinmagan harmonikalarning rolini ta'kidlab)

Korrelogramma odatda vaqt zonasida har bir filtr kanalining chiqishiga taqlid qilingan eshitish nervlarini otish faoliyatini avtokorrelyatsiya qilish yo'li bilan hisoblab chiqiladi.[1] Avtokorrelyatsiyani chastota bo'yicha birlashtirib, xulosa korrelogrammasidagi tepaliklarning holati qabul qilingan balandlikka mos keladi.[1]

O'zaro faoliyat korrelogramma

Quloqlar turli vaqtlarda audio signallarni qabul qilganligi sababli, ovoz manbai ikki quloqdan olingan kechikishlar yordamida aniqlanishi mumkin.[6] Chap va o'ng kanallardan (modeldan) kechikishlarni o'zaro bog'liqlik bilan bir-biriga mos keladigan tepaliklar, kirish signalida vaqtinchalik joylashishiga qaramay, bir xil lokalizatsiya qilingan tovush sifatida tasniflanishi mumkin.[1] Interaural o'zaro bog'liqlik mexanizmidan foydalanish fiziologik tadqiqotlar orqali qo'llab-quvvatlandi, eshitishdagi neyronlarning joylashishiga parallel ravishda o'rta miya.[7]

Vaqt chastotasi maskalari

Ovoz manbasini ajratish uchun CASA tizimlari kokleagramni niqoblaydi. Ushbu niqob, ba'zan a Wiener filtri, maqsad manba mintaqalarini tortadi va qolganlarini bostiradi.[1] Niqob ortidagi fiziologik motivatsiya tovushni balandroq ovoz bilan eshitilmaydigan qilib beriladigan eshitish idrokidan kelib chiqadi.[8]

Resintez

Resintez yo'li segmentlar guruhining audio signalini qayta tiklaydi. Kokleagramni teskari aylantirish orqali erishilgan, yuqori sifatli qayta sintez qilingan nutq signallarini olish mumkin.[1]

Ilovalar

Monoural CASA

Monaural tovushni ajratish birinchi navbatda ovozlarni chastotaga qarab ajratishdan boshlandi. Turli xil nutq signallarini chastota orqali segmentlashga asoslangan ko'plab dastlabki o'zgarishlar mavjud edi.[1] Boshqa kosmik modellar, ommaviy ishlov berish va prognozga asoslangan arxitektura orqali moslashtirishni qo'shish orqali boshqa modellar kuzatildi.[9] CASA-dan foydalanish ASR va nutqni ajratish tizimlarining mustahkamligini yaxshiladi.[10]

Binaural CASA

CASA insonning eshitish yo'llarini modellashtirayotganligi sababli, kosmik ajratilgan 2 ta mikrofonni qo'shish orqali ovozni lokalizatsiya qilish, eshitish guruhini va reverberatsiyaga mustahkamligini ta'minlash orqali binaural CASA tizimlari inson modelini yaxshilaydi. O'zaro bog'liqlikka o'xshash usullar bilan tizimlar ikkala kirish mikrofonidan maqsad signalini chiqarishga qodir.[11][12]

Neyron CASA modellari

Biologik eshitish tizimi neyronlarning harakatlari bilan chambarchas bog'liq bo'lganligi sababli, CASA tizimlari dizayn doirasida neyron modellarni ham o'z ichiga olgan. Ikki xil model ushbu maydon uchun asos yaratadi. Malsburg va Shnayder taklif qildilar neyron tarmoq turli xil oqimlarning xususiyatlarini (sinxronlashtirilgan va sinxronizatsiya qilingan) namoyish etish uchun osilatorli model.[13] Vang shuningdek, vaqt chastotasida eshitish sahnasini aks ettirish uchun kechikish chiziqlari bo'lgan global inhibitor bilan qo'zg'atuvchi birliklar tarmog'idan foydalangan holda modelni taqdim etdi.[14][15]

Musiqiy audio signallarni tahlil qilish

CASA tizimidagi odatiy yondashuvlar fizik eshitish tizimini taqlid qilishga urinishda ovoz manbalarini alohida tarkibiy qismlarga ajratishdan boshlanadi. Shu bilan birga, miya audio kirishni alohida-alohida emas, balki aralashgan holda qayta ishlashiga dalil mavjud.[16] Ovoz signalini alohida tarkibiy qismlarga ajratish o'rniga, kirish yuqori darajadagi deskriptorlar, masalan, akkordlar, bass va ohang, ritm tuzilishi, xor va iboralarni takrorlash kabi qismlarga bo'linadi. Ushbu tavsiflovchilar mono va binaural signallari bilan real hayot senariylarida qiyinchiliklarga duch kelmoqdalar.[1] Shuningdek, ushbu tavsiflovchilarni baholash musiqiy asarning madaniy ta'siriga juda bog'liq. Masalan, G'arb musiqasida musiqa va bass o'zakning ohangini ohang bilan tashkil etgan holda uning o'ziga xosligiga ta'sir qiladi. Kuy va boshning chastotali javoblarini farqlash orqali asosiy chastotani baholash va ajratish uchun filtrlash mumkin.[17] Akkordni aniqlash garmonik tarkibni tavsiflovchi past darajadagi xususiyatlarni ajratib olish orqali naqshni aniqlash orqali amalga oshirilishi mumkin.[18] Musiqiy sahnani tahlil qilishda qo'llaniladigan metodlarni ham qo'llash mumkin nutqni aniqlash va boshqa atrof-muhit tovushlari.[19] Kelajakdagi ishlarga audio signallarni qayta ishlashning yuqoridan pastga integratsiyasi kiradi, masalan, real vaqtda urish-kuzatib borish tizimi va eshitish psixologiyasi va fiziologiyasini hisobga olgan holda signalni qayta ishlash doirasini kengaytirish.[20]

Asabiy idrokni modellashtirish

Ko'pgina modellar audio signalni turli xil chastotalarning murakkab birikmasi deb hisoblasa-da, eshitish tizimini modellashtirish asab komponentlarini ham hisobga olishni talab qilishi mumkin. Oqim (xususiyatlarga asoslangan tovushlar) ko'plab miya sohalarida tarqalgan neyronlarning faoliyatiga mos keladigan yaxlit jarayonni olib, ovozni idrok qilishni xaritada va modellashtirishda mumkin edi. Ovoz idrokini va miyadagi sohani bog'lash uchun ikki xil echim taklif qilingan. Ierarxik kodlash ko'plab hujayralarni modellashtirish uchun eshitish sahnasidagi xususiyatlar va ob'ektlarning barcha mumkin bo'lgan kombinatsiyalarini kodlaydi.[21][22] Eshitish funktsiyalari orasidagi bog'lanish holatini kodlash uchun asabiy tebranishlar orasidagi sinxronizatsiya va desinxroniyaga e'tibor qaratish orqali majburiy muammoni hal qiladigan vaqtinchalik yoki salınımlı korrelyatsiya.[1] Ushbu ikkita echim joylarni kodlash va vaqtinchalik kodlash o'rtasidagi zarba bilan juda o'xshash. Nerv tarkibiy qismlarini modellashtirish paytida ASA ning yana bir hodisasi CASA tizimlari bilan o'ynaydi: asab mexanizmlarini modellashtirish darajasi. CASA tizimlarini o'rganish ba'zi ma'lum mexanizmlarni modellashtirishni o'z ichiga olgan, masalan, koklear filtrlashning o'tkazuvchanligi xususiyati va tasodifiy eshitish nervlarini otish naqshlari, ammo bu modellar yangi mexanizmlarni topishga olib kelmasligi mumkin, aksincha ma'lum mexanizmlarga maqsad haqida tushuncha beradi. .[23]

Shuningdek qarang

Qo'shimcha o'qish

D. F. Rozental va H. G. Okuno (1998) Eshitish sahnasini hisoblash. Mahva, NJ: Lourens Erlbaum

Adabiyotlar

  1. ^ a b v d e f g h men j k l m Vang, D. L. va Braun, G. J. (Eds.) (2006). Auditoriya sahnasini hisoblash: Printsiplar, algoritmlar va qo'llanmalar. IEEE Press / Wiley-Interscience
  2. ^ Uorren, R. (1999). Eshitish qobiliyati: yangi tahlil va sintez. Nyu-York: Kembrij universiteti matbuoti.
  3. ^ Wiener, F. (1947), "Inson boshi tomonidan progressiv to'lqinning difraksiyasi to'g'risida". Amerika akustik jamiyati jurnali, 19, 143–146.
  4. ^ Goll, J., Kim, L. (2012), "Altsgeymer kasalligida eshitish sahnasini tahlil qilishning buzilishi", Miya 135 (1), 190–200.
  5. ^ Meddis, R., Xevitt, M., Shaklton, T. (1990). "Soch ichki hujayrasi / eshitish nerv sinapsining hisoblash modelini amalga oshirish tafsilotlari". Amerika akustik jamiyati jurnali 87(4) 1813–1816.
  6. ^ Jeffress, L.A. (1948). "Ovozni mahalliylashtirishning joy nazariyasi". Qiyosiy va fiziologik psixologiya jurnali, 41 35–39.
  7. ^ Yin, T., Chan, J. (1990). "Mushukning medial zaytunida vaqt oralig'idagi sezgirlik" Nörofizyoloji jurnali, 64(2) 465–488.
  8. ^ Mur, B. (2003). Eshitish psixologiyasiga kirish (5-nashr). Academic Press, London.
  9. ^ Ellis, D (1996). "Predication-Drived Computing Auditory Scene Tahlili". Doktorlik dissertatsiyasi, MIT Elektrotexnika va kompyuter fanlari kafedrasi.
  10. ^ Li, P., Guan, Y. (2010). "Nutqni ishonchli aniqlash uchun MASVQ va CASA asosida monoal nutqni ajratish" Kompyuter nutqi va tili, 24, 30–44.
  11. ^ Bodden, M. (1993). "Odamlarning ovoz manbalari va mexnat partiyalarining ta'sirini modellashtirish" Acta Acustica 1 43–55.
  12. ^ Lion, R. (1983). "Ikki tomonlama joylashishni va ajratishni hisoblash modeli". Akustika, nutq va signallarni qayta ishlash bo'yicha xalqaro konferentsiya materiallari 1148–1151.
  13. ^ Von der Malsburg, C., Shnayder, V. (1986). "Neytral kokteyl protsessori". Biologik kibernetika 54 29–40.
  14. ^ Vang, D. (1994). "Tebranuvchi korrelyatsiyaga asoslangan eshitish oqimini ajratish". Signallarni qayta ishlash uchun neyron tarmoqlari bo'yicha IEEE Xalqaro seminarining materiallari, 624–632.
  15. ^ Vang, D. (1996), "salınımlı korrelyasyona asoslangan ibtidoiy eshitish ajratish". Kognitiv fan 20, 409–456.
  16. ^ Bregman, A (1995). "Inson idrokidan kelib chiqadigan auditoriya sahnasini tahlil qilishning hisoblash modellariga cheklovlar". Yaponiya akustik jamiyati jurnali (E), 16(3), 133–136.
  17. ^ Goto, M. (2004). "Haqiqiy vaqtda musiqiy-sahnani tavsiflash tizimi: haqiqiy audio signallarda kuy va bosh satrlarni aniqlash uchun F0 bahosi ustunlik qiladi". Nutq aloqasi, 43, 311–329.
  18. ^ Zbignev, R., Wieczorkowska, A. (2010). "Musiqiy ma'lumot olishning yutuqlari". Hisoblash intellekti bo'yicha tadqiqotlar, 274 119–142.
  19. ^ Masuda-Katsuse, I (2001). "Statsionar bo'lmagan, oldindan aytib bo'lmaydigan va yuqori darajadagi shovqin mavjudligida nutqni tanib olishning yangi usuli". Ishlar Eurospeech, 1119–1122.
  20. ^ Goto, M (2001). "Tovushli yoki barabonsiz musiqani tinglash uchun audio-real vaqtda real vaqtda trekni kuzatish tizimi". Yangi musiqa tadqiqotlari jurnali, 30(2): 159–171.
  21. ^ deCharms, R., Merzenich, M, (1996). "Harakat potentsial vaqtini muvofiqlashtirish orqali tovushlarni birlamchi kortikal tasvirlash". Tabiat, 381, 610–613.
  22. ^ Vang, D. (2005). "Sahna tahlilining vaqt o'lchovi". IEEE-ning asab tizimidagi operatsiyalari, 16(6), 1401–1426.
  23. ^ Bregman, A. (1990). Eshitish sahnasini tahlil qilish. Kembrij: MIT Press.