Parafrazing (hisoblash lingvistikasi) - Paraphrasing (computational linguistics)

Parafraza yoki Parafrazing yilda hisoblash lingvistikasi bo'ladi tabiiy tilni qayta ishlash aniqlash va yaratish vazifasi parafrazalar. Parafrazing qo'llanilishi turli xil, shu jumladan ma'lumot olish, savolga javob berish, matnni umumlashtirish va plagiatni aniqlash.^[1] Parafrazing shuningdek mashina tarjimasini baholash,^[2] shu qatorda; shu bilan birga semantik tahlil^[3] va avlod mavjudlarini kengaytirish uchun yangi namunalar korpuslar.^[4]

Parafraz hosil qilish

Bir nechta ketma-ketlikni tekislash

Barzilay va Li^[4] bir tilli foydalanish orqali parafrazalarni yaratish usulini taklif qildi parallel korpuslar, ya'ni xuddi shu kuni bir xil voqeani yoritadigan yangiliklar maqolalari. Trening foydalanishdan iborat ko'p ketma-ketlikdagi hizalama izohlanmagan korpusdan jumla darajasidagi parafrazalarni yaratish. Bu tomonidan amalga oshiriladi

har bir alohida korpusda takrorlanadigan naqshlarni topish, ya'ni. " $X$ (yaralangan / yaralangan) $Y$ odamlar, $Z$ jiddiy "qaerda $X, Y, Z$ o'zgaruvchilar
bunday naqshlar orasidagi juftlikni topish parafrazalarni ifodalaydi, ya'ni. " $X$ (yaralangan / yaralangan) $Y$ odamlar, $Z$ jiddiy "va" $Y$ tomonidan (yaralangan / jarohatlangan) $X$ , ular orasida $Z$ og'ir ahvolda edi "

Bunga o'xshash jumlalarni birinchi bo'lib bir-biriga klasterlash orqali erishiladi n-gramm ustma-ust tushish Takrorlanadigan naqshlar klasterlar ichida ko'p ketma-ketlikdagi hizalamadan foydalanib topiladi. So'ngra argumentli so'zlarning pozitsiyasi har bir klaster ichida o'zgaruvchanligi yuqori bo'lgan maydonlarni topish orqali aniqlanadi, masalan, klaster jumlalarining 50% dan ortig'i so'zlar orasida. Keyinchalik naqshlar orasidagi juftliklar turli xil korpuslar orasidagi o'xshash o'zgaruvchan so'zlarni taqqoslash orqali topiladi. Va nihoyat, yangi parafrazalarni manba jumlaga mos keladigan klasterni tanlash orqali hosil qilish mumkin, so'ngra manba jumlasining argumentini klasterdagi istalgan sonli naqshga almashtirish.

So'zga asoslangan mashina tarjimasi

Parafrazani shuningdek yordamida yaratish mumkin iboralarga asoslangan tarjima Bannard va Kallison-Burch tomonidan taklif qilinganidek.^[5] Bosh kontseptsiya a tarkibidagi iboralarni moslashtirishdan iborat asosiy til asl tilda potentsial parafrazalarni yaratish. Masalan, inglizcha jumladagi "nazorati ostida" iborasi nemis hamkasbidagi "unter kontrolle" iborasiga to'g'ri keladi. So'ngra "unter kontrolle" iborasi boshqa bir nemischa jumla tarkibida topilgan inglizcha so'z birikmasi "nazorat ostida", parafrazasi "nazorat ostida".

Ehtimollar taqsimoti quyidagicha modellashtirilishi mumkin ${ displaystyle Pr (e_ {2} | e_ {1})}$ , ehtimollik iborasi ${ displaystyle e_ {2}}$ ning parafrazidir ${ displaystyle e_ {1}}$ , bu tengdir ${ displaystyle Pr (e_ {2} | f) Pr (f | e_ {1})}$ barchasini jamladi ${ displaystyle f}$ , asosiy tilda potentsial iboralar tarjimasi. Bundan tashqari, jumla ${ displaystyle e_ {1}}$ parafrazaga kontekst qo'shish uchun oldingi sifatida qo'shiladi. Shunday qilib maqbul parafraza, ${ displaystyle { hat {e_ {2}}}}$ quyidagicha modellashtirilishi mumkin:

{ displaystyle { hat {e_ {2}}} = { text {arg}} max _ {e_ {2} neq e_ {1}} Pr (e_ {2} | e_ {1}, S ) = { text {arg}} max _ {e_ {2} neq e_ {1}} sum _ {f} Pr (e_ {2} | f, S) Pr (f | e_ {1) }, S)}

${ displaystyle Pr (e_ {2} | f)}$ va ${ displaystyle Pr (f | e_ {1})}$ shunchaki ularning chastotalarini olish orqali taxmin qilish mumkin. Qo'shilmoqda ${ displaystyle S}$ oldingi shaklni shakllantirish ehtimolligini hisoblash yo'li bilan modellashtirilgan ${ displaystyle S}$ qachon ${ displaystyle e_ {1}}$ bilan almashtiriladi ${ displaystyle e_ {2}}$ .

Uzoq muddatli qisqa muddatli xotira

Foydalanishda muvaffaqiyat qozondi uzoq muddatli xotira Parafrazalarni yaratish uchun (LSTM) modellar.^[6] Qisqacha aytganda, model kodlangan va dekoder komponentidan iborat bo'lib, ikkalasi ham stackning o'zgarishi yordamida amalga oshiriladi qoldiq LSTM. Birinchidan, LSTM kodlash a oladi bitta issiq gapdagi barcha so'zlarni kirish sifatida kodlash va yakuniy yashirin vektorni hosil qiladi, uni kirish jumlasining vakili sifatida ko'rish mumkin. Keyin LSTM dekodlashi maxfiy vektorni kirish sifatida qabul qiladi va yangi jumla hosil qiladi va jumla oxiri belgisida tugaydi. Kodlovchi va dekoder iborani qabul qilishga va mos keladigan parafrazaning bir martalik taqsimlanishini minimallashtirish yo'li bilan ko'paytirishga o'rgatilgan. hayrat oddiy yordamida stoxastik gradient tushish. Yangi iboralar yangi iborani kodlagichga kiritish va chiqishni dekoderga uzatish orqali hosil bo'ladi.

Parafrazni tanib olish

Rekursiv Autoenkoderlar

Parafrazni tanishga Socher va boshq^[1] rekursivdan foydalanish orqali avtoenkoderlar. Asosiy tushuncha - avtokankoder yordamida rekursiv usulda jumlaning tarkibiy qismlari bilan birgalikda vektorli ko'rinishini yaratish. Parafrazalarning vektorli tasvirlari o'xshash vektorli tasvirlarga ega bo'lishi kerak; ular qayta ishlanadi, so'ngra a ga kirish sifatida beriladi neyron tarmoq tasniflash uchun.

Bir jumla berilgan ${ displaystyle W}$ bilan ${ displaystyle m}$ so'zlar, avtoekoder 2 ga mo'ljallangan ${ displaystyle n}$ - o'lchovli so'z birikmalari kirish va ishlab chiqarish sifatida ${ displaystyle n}$ - o'lchovli vektor chiqish sifatida. Xuddi shu autoenkoder har bir juft so'zga qo'llaniladi ${ displaystyle S}$ ishlab chiqarish ${ displaystyle lfloor m / 2 rfloor}$ vektorlar. Keyinchalik avtoenkoder yangi vektorlar bilan rekursiv ravishda bitta vektor hosil bo'lguncha kirish sifatida qo'llaniladi. Toq miqdordagi kirishlarni hisobga olgan holda, birinchi vektor rekursiyaning keyingi darajasiga yo'naltiriladi. Keyinchalik autoencoder har bir vektorni to'liq rekursiya daraxtidagi ko'paytirishga, shu jumladan dastlabki so'z birikmalariga o'rgatiladi.

Ikki jumla berilgan ${ displaystyle W_ {1}}$ va ${ displaystyle W_ {2}}$ mos ravishda 4 va 3 uzunlikdagi avtoekoderlar 7 va 5 vektorli tasvirlarni, shu jumladan boshlang'ich so'z birikmalarini yaratadilar. The evklid masofasi keyin vektorlarning har bir kombinatsiyasi o'rtasida olinadi ${ displaystyle W_ {1}}$ va ${ displaystyle W_ {2}}$ o'xshashlik matritsasini ishlab chiqarish ${ displaystyle S in mathbb {R} ^ {7 times 5}}$ . ${ displaystyle S}$ keyin dinamik minhovuz qatlami belgilangan o'lchamlarni ishlab chiqarish ${ displaystyle n_ {p} times n_ {p}}$ matritsa. Beri ${ displaystyle S}$ barcha mumkin bo'lgan jumlalar orasida bir xil emas, ${ displaystyle S}$ bo'linadi ${ displaystyle n_ {p}}$ taxminan hatto bo'limlar. Keyin chiqim o'rtacha 0 va standart og'ish 1 ga ega bo'lishi uchun normallashtiriladi va a bilan to'liq bog'langan qatlamga beriladi softmax chiqish. Softmax modeliga dinamik birikma ma'lum parafrazalar juftlari yordamida tayyorlanadi.

O'tkazib yuborilgan vektorlar

O'tkazib yuborilgan vektorlar bu jumlaning semantik ma'nosini vektorli ko'rinishini yaratishga urinishdir. gramm modelini o'tkazib yuborish.^[7] O'tkazib yuborilgan vektorlar uchta asosiy komponent, kodlovchi va ikkita dekoderdan tashkil topgan skip-model modeli yordamida ishlab chiqariladi. Hujjatlar korpusini hisobga olgan holda, skip-thought modeli jumlani kirish sifatida qabul qilishga va uni skip-fikr vektoriga kodlashga o'rgatilgan. Ikkala dekoder uchun ham skip-thought vektori ishlatiladi, ulardan biri avvalgi jumlani, ikkinchisi keyingi jumlani butunlay qayta ishlab chiqarishga harakat qiladi. A yordamida kodlovchi va dekoderni amalga oshirish mumkin rekursiv neyron tarmoq (RNN) yoki an LSTM.

Parafrazalar bir-birining o'rtasida bir xil semantik ma'noga ega bo'lgani uchun, ular o'xshash skip-vektorlarga ega bo'lishi kerak. Shunday qilib oddiy logistik regressiya kirish sifatida ikkita o'tish skriptli vektorlarning mutlaq farqi va komponentli mahsuloti bilan yaxshi ishlashga o'rgatilishi mumkin.

Baholash

Parafrazalarni baholash uchun bir nechta usullardan foydalanish mumkin. Parafrazni tanib olish tasniflash muammosi sifatida yuzaga kelishi mumkinligi sababli, standart baholash ko'rsatkichlarining aksariyati aniqlik, f1 ball yoki an ROC egri chizig'i nisbatan yaxshi bajaring. Biroq, f1 ballarini hisoblashda muammo yuzaga kelganligi sababli, ushbu ibora uchun parafrazalarning to'liq ro'yxati va yaxshi parafrazalar kontekstga bog'liqligi aniqlangan. Ushbu muammolarga qarshi kurashish uchun mo'ljallangan metrik ParaMetric hisoblanadi.^[8] ParaMetric parafrazalarning avtomatik hizalanishini shu kabi iboralarni qo'lda moslashtirish bilan taqqoslash orqali avtomatik parafraz tizimining aniqligini va eslab qolishini hisoblashga qaratilgan. ParaMetric shunchaki so'z birikmalarining sifatini baholaganligi sababli, u parafrazalarni yaratish tizimlarini baholash uchun ham ishlatilishi mumkin. ParaMetric-ning sezilarli kamchiliklari - bu reytingni tuzishdan oldin dastlab yaratilishi kerak bo'lgan katta va to'liq qo'llanma to'plamlari.

Parafraz hosil bo'lishini baholash kabi qiyinchiliklarga ega mashina tarjimasi. Ko'pincha parafrazaning sifati uning kontekstiga, xulosa sifatida ishlatiladimi-yo'qligiga va boshqa omillar qatorida qanday hosil bo'lishiga bog'liq. Bundan tashqari, yaxshi parafraza odatda leksik jihatdan uning asl iborasidan farq qiladi. Parafraz hosil bo'lishini baholashda ishlatiladigan eng oddiy usul inson hakamlaridan foydalanish orqali amalga oshiriladi. Afsuski, inson sudyalari orqali baholash ko'p vaqt talab qiladi. Avtomatlashtirilgan baholash yondashuvlari qiyin bo'lib chiqadi, chunki bu aslida parafrazani tanib olish kabi qiyin muammo. Dastlab mashina tarjimalarini baholash uchun ishlatilgan bo'lsa-da, ikki tilli baholash (BLEU ) parafraz yaratish modellarini ham baholash uchun muvaffaqiyatli ishlatilgan. Shu bilan birga, parafrazalar ko'pincha bir nechta leksik jihatdan farq qiladigan, ammo BLEU va boshqa shunga o'xshash baholash ko'rsatkichlariga zarar etkazadigan bir xil kuchga ega bo'lgan echimlarga ega.^[9]

Parafraz hosil bo'lishini baholash uchun maxsus ishlab chiqilgan ko'rsatkichlarga n-gramm o'zgarishi (PINC) parafrazasi kiradi.^[9] va parafrazalarni baholash metrikasi (PEM)^[10] yuqorida aytib o'tilgan ParaMetric bilan birga. PINC BLEU bilan birgalikda foydalanishga mo'ljallangan va uning etishmovchiligini qoplashga yordam beradi. BLEU leksik o'xshashsizlikni o'lchashda qiyinchiliklarga duch kelganligi sababli, PINC - bu manba jumla va nomzod parafrazasi o'rtasida n-gramm ustma-ust tushishining etishmasligidir. Bu aslida Jakkard masofasi jumla o'rtasida ba'zi bir semantik ekvivalentlikni saqlab qolish uchun manba jumlasida paydo bo'ladigan n-grammlar bundan mustasno. Boshqa tomondan, PEM, parafrazalarning "adekvatligi, ravonligi va leksik jihatdan o'xshashligi" ni baholab, bitta evristik qiymatni qaytarish orqali baholashga urinadi. N-gramm asosiy tilda bir-biriga o'xshash. Shu bilan birga, PEM-ning katta kamchiliklari shundaki, domen ichida katta parallel korpuslar va inson hakamlari yordamida o'qitilishi kerak.^[9] Boshqacha qilib aytganda, parafraz yaratish tizimini baholash uchun parafrazni tanib olish tizimini o'rgatish bilan barobar.

Shuningdek qarang

Adabiyotlar

^ ^a ^b Socher, Richard; Xuang, Erik; Pennington, Jefri; Ng, Endryu; Manning, Kristofer (2011), Parafrazni aniqlash uchun dinamik hovuzlash va ochish rekursivli avtoenkoderlari
^ Kallison-Burch, Kris (2008 yil 25-27 oktyabr). "Parallel korpusdan olingan parafrazalarga sintaktik cheklovlar". EMNLP '08 Tabiiy tilni qayta ishlashda empirik usullar bo'yicha konferentsiya materiallari. Honolulu, Gavayi. 196–205 betlar.
^ Berant, Jonatan va Persi Liang. "Parafrazing orqali semantik tahlil. "Hisoblash lingvistikasi assotsiatsiyasining 52-yillik yig'ilishi materiallari (1-jild: Uzoq hujjatlar). 1-jild. 2014 yil.
^ ^a ^b Barzilay, Regina; Li, Lillian (2003 yil may-iyun). "Parafrazlashni o'rganish: ko'p ketma-ketlikdagi tekislash yordamida nazoratsiz yondashuv". HLT-NAACL 2003 materiallari.
^ Bannard, Kolin; Kallison-Burch, Kris (2005). "Ikki tilli parallel korpusni parafrazlash". OChLning 43-yillik yig'ilishi materiallari. Ann Arbor, Michigan. 597-604 betlar.
^ Prakash, Aaditya; Hasan, Sadid A .; Li, Keti; Datla, Vivek; Qodir, Ashequl; Liu, Jou; Farri, Oladimeji (2016), Staked qoldiq LSTM tarmoqlari bilan neyron parafraz yaratish, arXiv:1610.03098, Bibcode:2016arXiv161003098P
^ Kiros, Rayan; Chju, Yukun; Salaxutdinov, Ruslan; Zemel, Richard; Torralba, Antonio; Urtasun, Rakel; Fidler, Sanja (2015), Fikrlash vektorlari, arXiv:1506.06726, Bibcode:2015arXiv150606726K
^ Kallison-Burch, Kris; Kon, Trevor; Lapata, Mirella (2008). "ParaMetric: Parafrazing uchun avtomatik baholash metriki" (PDF). Kompyuter lingvistikasi bo'yicha 22-xalqaro konferentsiya materiallari. "Manchester". 97-104 betlar. doi:10.3115/1599081.1599094. S2CID 837398.
^ ^a ^b ^v Chen, Devid; Dolan, Uilyam (2008). "Parafrazani baholash uchun juda parallel ma'lumotlarni yig'ish". Hisoblash lingvistikasi assotsiatsiyasining 49-yillik yig'ilishi materiallari: inson tili texnologiyalari. Portlend, Oregon. 190-200 betlar.
^ Liu, Chang; Dalmeyer, Doniyor; Ng, Xvi Tou (2010). "PEM: Parallel matnlarni ekspluatatsiya qiluvchi parafrazani baholash metrikasi". Tabiiy tilni qayta ishlashda empirik usullar bo'yicha 2010 yilgi konferentsiya materiallari. Massachusets shtatidagi MIT. 923-932 betlar.

Tashqi havolalar

Microsoft Research Paraphrase Corpus - 5800 juft jumladan tashkil topgan ma'lumotlar to'plami, ularning juftligi semantik ekvivalentlikni ushlab turadimi-yo'qligini ta'kidlash uchun izohlangan yangiliklar.
Parafraz ma'lumotlar bazasi (PPDB) - 16 xil tilda millionlab iboralarni o'z ichiga olgan qidiriladigan ma'lumotlar bazasi

[Socher-1] Socher, Richard; Xuang, Erik; Pennington, Jefri; Ng, Endryu; Manning, Kristofer (2011), Parafrazni aniqlash uchun dinamik hovuzlash va ochish rekursivli avtoenkoderlari

[Callison-2] Kallison-Burch, Kris (2008 yil 25-27 oktyabr). "Parallel korpusdan olingan parafrazalarga sintaktik cheklovlar". EMNLP '08 Tabiiy tilni qayta ishlashda empirik usullar bo'yicha konferentsiya materiallari. Honolulu, Gavayi. 196–205 betlar.

[3] Berant, Jonatan va Persi Liang. "Parafrazing orqali semantik tahlil. "Hisoblash lingvistikasi assotsiatsiyasining 52-yillik yig'ilishi materiallari (1-jild: Uzoq hujjatlar). 1-jild. 2014 yil.

[Barzilay-4] Barzilay, Regina; Li, Lillian (2003 yil may-iyun). "Parafrazlashni o'rganish: ko'p ketma-ketlikdagi tekislash yordamida nazoratsiz yondashuv". HLT-NAACL 2003 materiallari.

[Bannard-5] Bannard, Kolin; Kallison-Burch, Kris (2005). "Ikki tilli parallel korpusni parafrazlash". OChLning 43-yillik yig'ilishi materiallari. Ann Arbor, Michigan. 597-604 betlar.

[Prakash-6] Prakash, Aaditya; Hasan, Sadid A .; Li, Keti; Datla, Vivek; Qodir, Ashequl; Liu, Jou; Farri, Oladimeji (2016), Staked qoldiq LSTM tarmoqlari bilan neyron parafraz yaratish, arXiv:1610.03098, Bibcode:2016arXiv161003098P

[Kiros-7] Kiros, Rayan; Chju, Yukun; Salaxutdinov, Ruslan; Zemel, Richard; Torralba, Antonio; Urtasun, Rakel; Fidler, Sanja (2015), Fikrlash vektorlari, arXiv:1506.06726, Bibcode:2015arXiv150606726K

[Burch2-8] Kallison-Burch, Kris; Kon, Trevor; Lapata, Mirella (2008). "ParaMetric: Parafrazing uchun avtomatik baholash metriki" (PDF). Kompyuter lingvistikasi bo'yicha 22-xalqaro konferentsiya materiallari. "Manchester". 97-104 betlar. doi:10.3115/1599081.1599094. S2CID 837398.

[Chen-9] v Chen, Devid; Dolan, Uilyam (2008). "Parafrazani baholash uchun juda parallel ma'lumotlarni yig'ish". Hisoblash lingvistikasi assotsiatsiyasining 49-yillik yig'ilishi materiallari: inson tili texnologiyalari. Portlend, Oregon. 190-200 betlar.

[Liu-10] Liu, Chang; Dalmeyer, Doniyor; Ng, Xvi Tou (2010). "PEM: Parallel matnlarni ekspluatatsiya qiluvchi parafrazani baholash metrikasi". Tabiiy tilni qayta ishlashda empirik usullar bo'yicha 2010 yilgi konferentsiya materiallari. Massachusets shtatidagi MIT. 923-932 betlar.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]