Multikollinearlik - Multicollinearity - Wikipedia

Yilda statistika, multikollinearlik (shuningdek kollinearlik) - bu bitta bashorat qiluvchi hodisadir o'zgaruvchan a bir nechta regressiya boshqalarga nisbatan modelni sezilarli darajada aniqlik bilan chiziqli ravishda taxmin qilish mumkin. Bunday vaziyatda koeffitsientlarning taxminlari modeldagi yoki ma'lumotdagi kichik o'zgarishlarga javoban ko'p regressiya beqaror o'zgarishi mumkin. Multikollinearlik bashorat qilish kuchini kamaytirmaydi yoki ishonchlilik umuman modelning, hech bo'lmaganda namunaviy ma'lumotlar to'plamida; bu faqat tegishli hisob-kitoblarga ta'sir qiladi individual taxminchilar. Ya'ni, kollinear predictors bilan ko'p o'zgaruvchan regressiya modeli prediktorlarning butun to'plami qanchalik yaxshi bashorat qilishini ko'rsatishi mumkin. natija o'zgaruvchisi, lekin u biron bir taxminchi haqida boshqalarga nisbatan ortiqcha bo'lgan predikatorlar haqida aniq natijalar bermasligi mumkin.

Kabi regressiya tahlillari asosidagi taxminlar bayonotlarida oddiy kichkina kvadratchalar, "multikollinearlik yo'q" iborasi odatda yo'qligini anglatadi mukammal multikollinearlik, bu prediktorlar orasida aniq (stoxastik bo'lmagan) chiziqli munosabatdir. Bunday holda, ma'lumotlar matritsasi to'liqidan kamroq daraja va shuning uchun moment matritsasi bo'lishi mumkin emas teskari. Bunday sharoitda umumiy chiziqli model uchun , oddiy kvadratlarni taxmin qiluvchi mavjud emas.

Qanday bo'lmasin, multikollinearlik ma'lumotlar matritsasining o'ziga xos xususiyati bo'lib, uning asosi emas statistik model. Odatda kichik namunalarda bu og'irroq bo'lgani uchun, Artur Goldberger uni "mikronumerosity" deb atashga qadar bordi.[1]

Ta'rif

Collinearity orasidagi chiziqli bog'lanishdir ikkitasi tushuntirish o'zgaruvchilari. Ikki o'zgaruvchi, agar ular o'rtasida aniq chiziqli bog'liqlik mavjud bo'lsa, mukammal darajada kollinear bo'ladi. Masalan, va Agar parametrlar mavjud bo'lsa, ular mukammal darajada kollinear va Shunday qilib, barcha kuzatuvlar uchun men, bizda ... bor

Multikollinearlik a-dagi ikki yoki undan ortiq o'zgaruvchan o'zgaruvchilar mavjud bo'lgan vaziyatni anglatadi bir nechta regressiya model bir-biriga juda bog'liqdir. Masalan, yuqoridagi tenglamada bo'lgani kabi, ikkita mustaqil o'zgaruvchining o'zaro bog'liqligi 1 yoki -1 ga teng bo'lsa, biz mukammal multikollinearlikka egamiz. Amalda, biz kamdan-kam hollarda ma'lumotlar to'plamida mukammal multikollinearlikka duch kelamiz. Odatda, multikollinearlik masalasi ikki yoki undan ortiq mustaqil o'zgaruvchilar o'rtasida taxminiy chiziqli munosabatlar mavjud bo'lganda paydo bo'ladi.

Matematik jihatdan, ba'zi bir o'zgaruvchilar o'rtasida bir yoki bir nechta aniq chiziqli munosabatlar mavjud bo'lsa, o'zgaruvchilar to'plami juda ko'p chiziqli bo'ladi. Masalan, bizda bo'lishi mumkin

barcha kuzatuvlar uchun ushlab turish men, qayerda doimiy va bo'ladi menth bo'yicha kuzatuv kth tushuntirish o'zgaruvchisi. Multikolliniklik tufayli kelib chiqadigan bitta masalani ko'p regressiya tenglamasi parametrlari uchun taxminlarni olishga urinish jarayonini o'rganish orqali o'rganishimiz mumkin.

The oddiy kichkina kvadratchalar taxminlar matritsani teskari yo'naltirishni o'z ichiga oladi

qayerda

bu N × (k+1) matritsa, bu erda N kuzatuvlar soni va k bu tushuntirish o'zgaruvchilar soni (bilan N dan katta yoki teng bo'lishi talab qilinadi k+1). Agar mustaqil o'zgaruvchilar o'rtasida aniq chiziqli munosabatlar (mukammal ko'p satrli) mavjud bo'lsa, X ustunlarining kamida bittasi boshqalarning chiziqli birikmasidir va shuning uchun daraja ning X (va shuning uchun X ningTX) dan kam k+1 va matritsa XTX qaytarib bo'lmaydi.

Tez-tez keraksiz ma'lumotlarni o'z ichiga olgan xom ma'lumotlar to'plamlari bilan ishlashda mukammal multikollinearlik juda keng tarqalgan. Ishdan bo'shatishlar aniqlangandan va olib tashlanganidan so'ng, deyarli ko'p satrli o'zgaruvchilar ko'pincha o'rganilayotgan tizimga xos bo'lgan korrelyatsiyalar tufayli qoladi. Bunday holatda, yuqoridagi tenglamani ushlab turish o'rniga, biz ushbu tenglamani o'zgartirilgan shaklda xato muddatiga egamiz :

Bunday holda, o'zgaruvchilar o'rtasida aniq chiziqli bog'liqlik mavjud emas, lekin ning o'zgarishi bo'lsa, o'zgaruvchilar deyarli mukammal ko'p satrli bo'ladi uchun ba'zi bir qiymatlar to'plami uchun kichik . Bunday holda, X matritsasiT$ X $ teskari, ammo ma'lum bir kompyuter algoritmi taxminiy teskari hisoblashi mumkin yoki bo'lmasligi uchun shartli emas va agar shunday qilsa, natijada olingan teskari ma'lumotlardagi ozgarishlarga juda sezgir bo'lishi mumkin ( yaxlitlash xatosining kattalashtirilgan effektlari yoki olingan ma'lumotlar punktlaridagi ozgarishlar) va shuning uchun juda noto'g'ri yoki juda namunaga bog'liq bo'lishi mumkin.

Aniqlash

Modelda multikollinearlik mavjud bo'lishi mumkin bo'lgan ko'rsatkichlarga quyidagilar kiradi:

  1. Bashoratli o'zgaruvchi qo'shilganda yoki o'chirilganda taxmin qilingan regressiya koeffitsientlarida katta o'zgarishlar
  2. Ko'p regressiyadagi ta'sirlangan o'zgaruvchilar uchun ahamiyatsiz regressiya koeffitsientlari, ammo bu koeffitsientlarning barchasi nolga teng bo'lgan qo'shma gipotezani rad etish ( F- sinov )
  3. Agar ko'p o'zgaruvchan regressiya ma'lum bir tushuntirishchining ahamiyatsiz koeffitsientini topsa, a oddiy chiziqli regressiya Ushbu tushuntirish o'zgaruvchisidagi tushuntirilgan o'zgaruvchidan uning koeffitsienti noldan sezilarli farq qilishini ko'rsatadi, bu holat ko'p o'zgaruvchan regressiyadagi ko'p satrlilikni ko'rsatadi.
  4. Ba'zi mualliflar rasmiy aniqlash-bag'rikenglik yoki dispersiya inflyatsiya omili Multikollinearlik uchun (VIF):

    qayerda bo'ladi aniqlash koeffitsienti tushuntirishchining regressiyasi j boshqa barcha tushuntirishchilarda. 0,20 yoki 0,10 dan kam bardoshlik va / yoki VIF 5 yoki 10 va undan yuqori bo'lganligi multikollinerlik muammosini ko'rsatadi.[2]
  5. Farrar-Glauber testi:[3] Agar o'zgaruvchilar ortogonal ekanligi aniqlansa, multikollinearlik mavjud emas; agar o'zgaruvchilar ortogonal bo'lmasa, unda hech bo'lmaganda bir daraja multikollinearlik mavjud. C. Robert Vichers Farrar-Glauberning qisman korrelyatsion tekshiruvi samarasiz deb ta'kidladi, chunki berilgan qisman korrelyatsiya turli xil ko'p satrli modellarga mos kelishi mumkin.[4] Farrar-Glauber testi boshqa tadqiqotchilar tomonidan ham tanqid qilindi.[5][6]
  6. Vaziyat raqami sinovi: Ning standart o'lchovi konditsioner matritsada shartlar indeksi. Bu matritsaning teskari tomoni sonli aniq raqamlar bilan beqaror ekanligini ko'rsatadi (standart kompyuter) suzadi va ikki baravar ). Bu asl matritsadagi kichik o'zgarishlarga teskari hisoblangan potentsial sezgirlikni ko'rsatadi. Shart raqami maksimal kvadratning ildizini topish orqali hisoblanadi o'ziga xos qiymat ning minimal shaxsiy qiymatiga bo'linadi dizayn matritsasi. Agar shart raqam 30 dan yuqori bo'lsa, regressiya jiddiy multikollinearlikka ega bo'lishi mumkin; multikollinearlik, agar qo'shimcha ravishda yuqori shartli son bilan bog'liq o'zgaruvchilarning ikkitasi yoki undan ko'pi dispersiyaning yuqori nisbatlariga ega bo'lsa. Ushbu usulning bir afzalligi shundaki, u qanday o'zgaruvchiga muammo tug'dirayotganligini ko'rsatadi.[7]
  7. Ma'lumotni buzish.[8] Ma'lumotlarga tasodifiy shovqin qo'shish va regressiyani ko'p marta qayta ishlash va koeffitsientlarning qanchalik o'zgarishini ko'rish orqali ko'p satrlilikni aniqlash mumkin.
  8. Tushuntiruvchi o'zgaruvchilar o'rtasida korrelyatsiya matritsasini tuzish har qanday berilgan o'ng tomon o'zgaruvchilar juftligining ko'p satrli muammolarni yaratishi ehtimolini ko'rsatadi. Korrelyatsiya qiymatlari (diagonali bo'lmagan elementlar) kamida 0,4 ga teng, ba'zida ko'p satrli muammoni ko'rsatmoqda. Biroq, ushbu protsedura juda muammoli va tavsiya etilishi mumkin emas. Intuitiv ravishda korrelyatsiya ikki o'zgaruvchan munosabatni tavsiflaydi, kollinearlik esa ko'p o'zgaruvchan hodisadir.

Oqibatlari

Multikollinearlikning yuqori natijalaridan biri bu matritsa bo'lsa ham qaytarib bo'lmaydigan bo'lsa, kompyuter algoritmi taxminiy teskari olishda muvaffaqiyatsiz bo'lishi mumkin va agar u oladigan bo'lsa, bu raqam jihatidan noto'g'ri bo'lishi mumkin. Ammo aniq bir huzurida ham matritsa, quyidagi oqibatlarga olib keladi.

Multikollinearlik mavjud bo'lganda, bitta o'zgaruvchining qaram o'zgaruvchiga ta'sirini baholash boshqalarni boshqarish esa bashorat qiluvchilar bir-biri bilan o'zaro bog'liq bo'lmaganidan kamroq aniqroq bo'ladi. Regressiya koeffitsientining odatdagi talqini shundaki, u mustaqil o'zgaruvchida bitta birlik o'zgarishi ta'sirini baholashni ta'minlaydi, , boshqa o'zgaruvchilarni doimiy ravishda ushlab turish. Agar boshqa mustaqil o'zgaruvchiga juda bog'liqdir, , berilgan ma'lumotlar to'plamida biz kuzatuvlar to'plamiga egamiz va ma'lum bir chiziqli stoxastik munosabatlarga ega. Bizda hamma o'zgaradigan kuzatuvlar to'plami yo'q o'zgarishlarga bog'liq emas , shuning uchun biz mustaqil o'zgarishlarning samarasini aniq baholamaymiz .

Qandaydir ma'noda kollinear o'zgaruvchilar qaram o'zgaruvchiga oid bir xil ma'lumotlarni o'z ichiga oladi. Agar nominal ravishda "har xil" o'lchovlar aslida bir xil hodisani aniqlasa, u holda ular ortiqcha bo'ladi. Shu bilan bir qatorda, agar o'zgaruvchilar turli xil nomlarga ega bo'lsa va ehtimol ular turli xil o'lchov o'lchovlarini qo'llasalar, lekin bir-biri bilan juda bog'liq bo'lsa, ular ortiqcha ishdan aziyat chekishadi.

Multikollinearlikning xususiyatlaridan biri shundaki, ta'sirlangan koeffitsientlarning standart xatolari katta bo'lishga intiladi. Bunday holda, koeffitsientning nolga tengligi haqidagi gipotezani sinovdan o'tkazish, izohlovchining hech qanday ta'siri bo'lmagan soxta nol gipotezani rad etishga olib kelishi mumkin. II turdagi xato.

Multikollinerlikning yana bir masalasi shundaki, kirish ma'lumotlariga kichik o'zgarishlar modeldagi katta o'zgarishlarga olib kelishi mumkin, hatto parametrlarni baholash belgisi o'zgarishiga olib keladi.[7]

Bunday ma'lumotlarning ortiqcha xavfliligining asosiy xavfi shundaki ortiqcha kiyim yilda regressiya tahlili modellar. Eng yaxshi regressiya modellari - bu taxmin qiluvchi o'zgaruvchilarning har biri qaram (natija) o'zgaruvchisi bilan yuqori darajada o'zaro bog'liq bo'lgan, lekin bir-biri bilan eng kam darajada o'zaro bog'liq bo'lgan modellardir. Bunday model ko'pincha "past shovqin" deb nomlanadi va statistik jihatdan mustahkam bo'ladi (ya'ni bir xil statistik populyatsiyadan olingan o'zgaruvchan to'plamlarning ko'plab namunalari bo'yicha ishonchli tarzda bashorat qiladi).

Demak, asosiy spetsifikatsiya to'g'ri bo'lsa, ko'p satrlilik aslida noaniq natijalarga olib kelmaydi; u shunchaki katta ishlab chiqaradi standart xatolar tegishli mustaqil o'zgaruvchilarda. Bundan ham muhimi, odatdagi regressiyadan foydalanish koeffitsientlarni modeldan olish va keyin ularni boshqa ma'lumotlarga qo'llashdir. Multikollinearlik koeffitsient qiymatlarining noaniq bahosini keltirib chiqarganligi sababli, natijada namunadan tashqari prognozlar ham noaniq bo'ladi. Agar yangi ma'lumotlardagi multikollinlilik sxemasi o'rnatilgan ma'lumotlardan farq qiladigan bo'lsa, bunday ekstrapolyatsiya bashoratlarda katta xatolarga yo'l qo'yishi mumkin.[9]

Dori vositalari

  1. Ichiga tushmaganingizga ishonch hosil qiling qo'g'irchoq o'zgaruvchan tuzoq; har qanday toifadagi (masalan, yoz, kuz, qish va bahor) qo'g'irchoq o'zgaruvchini o'z ichiga olgan va regressiyada doimiy atamani o'z ichiga olgan holda mukammal multikolinatsiyani kafolatlaydi.
  2. Agar taxmin qilish uchun ma'lumotlaringizning mustaqil kichik to'plamlaridan foydalansangiz va ushbu taxminlarni butun ma'lumotlar to'plamiga qo'llasangiz nima bo'lishini ko'rishga harakat qiling. Nazariy jihatdan siz taxmin qilish uchun foydalanilgan kichik ma'lumotlar to'plamidan biroz ko'proq farqni olishingiz kerak, ammo koeffitsient qiymatlarini kutish bir xil bo'lishi kerak. Tabiiyki, kuzatilgan koeffitsient qiymatlari turlicha bo'ladi, ammo ularning qanchalik o'zgarishini ko'rib chiqing.
  3. Ko'p chiziqli bo'lishiga qaramay, modelni qoldiring. Multikollinerlikning mavjudligi o'rnatilgan modelni yangi ma'lumotlarga ekstrapolyatsiyalash samaradorligiga ta'sir qilmaydi, agar prognoz qiluvchi o'zgaruvchilar yangi ma'lumotlardagi regressiya modeliga asoslangan ma'lumotlar bilan bir xil multikollinearlik sxemasiga amal qilsalar.[10]
  4. O'zgaruvchilardan birini tashlang. Muhim koeffitsientli modelni ishlab chiqarish uchun tushuntirish o'zgaruvchisi tushirilishi mumkin. Biroq, siz ma'lumotni yo'qotasiz (chunki siz o'zgaruvchini tushirgansiz). Tegishli o'zgaruvchining qoldirilishi, tushgan o'zgaruvchiga bog'liq bo'lgan qolgan tushuntirish o'zgaruvchilari uchun xolislik koeffitsientini baholashga olib keladi.
  5. Agar iloji bo'lsa, ko'proq ma'lumot oling. Bu afzal qilingan echim. Formuladan ko'rinib turibdiki, ko'proq ma'lumot parametrlarni aniqroq baholashi mumkin (pastroq standart xatolar bilan) dispersiya inflyatsiya omili regressiya koeffitsientini baholashning namunaviy kattaligi va multikollinearlik darajasi bo'yicha farqi uchun.
  6. O'zgaruvchanlarni taxminiy markazlashtiring. Polinom atamalarini yaratish (ya'ni, uchun , , yoki boshqalar) yoki o'zaro ta'sir qilish shartlari (ya'ni, va hokazo) ba'zi bir multikolinatsiyaga olib kelishi mumkin, agar ko'rib chiqilayotgan o'zgaruvchining cheklangan doirasi bo'lsa (masalan, [2,4]). O'rtacha markazlashtirish ushbu maxsus multikollinearlikni yo'q qiladi.[11] Biroq, umuman olganda, bu hech qanday ta'sir ko'rsatmaydi. Agar puxta ishlab chiqilgan kompyuter dasturi ishlatilmasa, yaxlitlash va boshqa hisoblash bosqichlaridan kelib chiqadigan muammolarni hal qilishda foydali bo'lishi mumkin.
  7. Mustaqil o'zgaruvchilaringizni standartlashtiring. Bu shart indeksining 30 dan yuqori bo'lgan noto'g'ri bayrog'ini kamaytirishga yordam beradi.
  8. Dan foydalanish tavsiya etilgan Shapli qiymati, a o'yin nazariyasi vositasi, model multikollinearlik ta'sirini hisobga olishi mumkin. Shapli qiymati har bir bashorat qiluvchi uchun qiymatni belgilaydi va barcha muhim ahamiyatga ega bo'lgan kombinatsiyalarni baholaydi.[12]
  9. Ridge regression yoki asosiy tarkibiy regressiya yoki qisman eng kichik kvadratlarning regressiyasi foydalanish mumkin.
  10. Agar o'zaro bog'liq bo'lgan tushuntirishchilar bir xil asosiy tushuntirishchining turli xil kechiktirilgan qiymatlari bo'lsa, u holda a taqsimlangan kechikish texnikani qo'llash mumkin, bu taxmin qilinadigan koeffitsientlarning nisbiy qiymatlariga umumiy tuzilishni yuklaydi.

Hodisa

Omon qolish tahlili

Multikollinearlik jiddiy muammo bo'lishi mumkin omon qolish tahlili. Muammo shundaki, vaqt o'zgarib turadigan kovariatlar tadqiqotning vaqt oralig'ida o'z qiymatini o'zgartirishi mumkin. Multikollinearlikning natijalarga ta'sirini baholash uchun maxsus protsedura tavsiya etiladi.[13]

To'lov muddatigacha bo'lgan har xil muddatlar uchun foizlar

Turli xil vaziyatlarda turli muddatlarga qadar bo'lgan bir necha foiz stavkalari har qanday iqtisodiy qarorga ta'sir qiladi, masalan, pul miqdori yoki boshqa biron bir narsa. moliyaviy aktiv ushlab turish uchun yoki miqdori asosiy investitsiyalar Bu holda, shu jumladan, turli xil foiz stavkalari, umuman olganda, juda ko'p yo'nalishli muammolarni keltirib chiqaradi, chunki foiz stavkalari birgalikda harakatlanishga moyildir. Agar aslida foiz stavkalarining har biri bog'liq o'zgaruvchiga alohida ta'sir ko'rsatadigan bo'lsa, ularning ta'sirini ajratish juda qiyin bo'lishi mumkin.

Kengaytma

Tushunchasi lateral kollinearlik tushuntirish va mezon (ya'ni tushuntirilgan) o'zgaruvchilar o'rtasidagi kollinearlikni o'z ichiga olgan multikollinearlikning an'anaviy nuqtai nazarini kengaytiradi, chunki ular bir-birlari bilan deyarli bir xil narsani o'lchashlari mumkin.[14]

Shuningdek qarang

Adabiyotlar

  1. ^ Goldberger, Artur S. (1991). Ekonometriya kursi. Garvard universiteti matbuoti. 248-250 betlar. ISBN  0-674-17544-1.
  2. ^ O'Brayen, R. M. (2007). "Varyans inflyatsiya omillari uchun eskirgan qoidalar to'g'risida ehtiyotkorlik". Sifat va miqdor. 41 (5): 673–690. doi:10.1007 / s11135-006-9018-6.
  3. ^ Farrar, Donald E.; Glauber, Robert R. (1967). "Regressiya tahlilidagi multikolinlilik: muammo qayta ko'rib chiqildi" (PDF). Iqtisodiyot va statistikani ko'rib chiqish. 49 (1): 92–107. doi:10.2307/1937887. hdl:1721.1/48530. JSTOR  1937887.
  4. ^ Wichers, C. Robert (1975). "Multikollinearlikni aniqlash: izoh". Iqtisodiyot va statistikani ko'rib chiqish. 57 (3): 366–368. doi:10.2307/1923926. JSTOR  1923926.
  5. ^ Kumar, T. Krishna (1975). "Regressiya tahlilidagi multikollinearlik". Iqtisodiyot va statistikani ko'rib chiqish. 57 (3): 365–366. doi:10.2307/1923925. JSTOR  1923925.
  6. ^ O'Hagan, Jon; Makkeyb, Brendan (1975). "Regressiya tahlilida ko'p qatorlilikning zo'ravonligi uchun testlar: izoh". Iqtisodiyot va statistikani ko'rib chiqish. 57 (3): 368–370. doi:10.2307/1923927. JSTOR  1923927.
  7. ^ a b Belsli, Devid (1991). Konditsioner diagnostikasi: Regressiyadagi kollinearlik va zaif ma'lumotlar. Nyu-York: Vili. ISBN  978-0-471-52889-0.
  8. ^ Uchun to'plam R mavjud: "perturb: kollinearlikni baholash vositalari". R loyihasi.
  9. ^ Chatterji, S .; Xadi, A. S .; Narx, B. (2000). Namunalar bo'yicha regressiya tahlili (Uchinchi nashr). John Wiley va Sons. ISBN  978-0-471-31946-7.
  10. ^ Gujarati, Damodar (2009). "Multikollinearlik: agar regressorlar o'zaro bog'liq bo'lsa nima bo'ladi?". Asosiy ekonometriya (4-nashr). McGraw − Hill. pp.363.
  11. ^ "12.6 - Strukturaviy ko'p satrlilikni kamaytirish | STAT 501". newonlinecourses.science.psu.edu. Olingan 16 mart 2019.
  12. ^ Lipovestkiy; Konklin (2001). "O'yin nazariyasi yondashuvida regressiyani tahlil qilish". Biznes va sanoatda amaliy stoxastik modellar. 17 (4): 319–330. doi:10.1002 / asmb.446.
  13. ^ Batafsil muhokama uchun qarang Van Den Poel, D.; Larivière, B. (2004). "Xavfning mutanosib modellaridan foydalangan holda moliyaviy xizmatlar uchun xaridorlarning eskirganligini tahlil qilish". Evropa operatsion tadqiqotlar jurnali. 157: 196–217. CiteSeerX  10.1.1.62.8919. doi:10.1016 / S0377-2217 (03) 00069-9.
  14. ^ Kok, N .; Lynn, G. S. (2012). "Lateral collinearity va noto'g'ri natijalar dispersiyaga asoslangan SEM: Illyustratsiya va tavsiyalar" (PDF). Axborot tizimlari assotsiatsiyasi jurnali. 13 (7): 546–580. doi:10.17705 / 1jais.00302.

Qo'shimcha o'qish

Tashqi havolalar