Muddatli kamsitish - Term Discrimination

Muddatli kamsitish bu kalit so'zlarni qanchalik foydali ekanligi bo'yicha saralash usulidir ma'lumot olish.

Umumiy nuqtai

Bu shunga o'xshash usul tf-idf ammo bu uchun mos kalit so'zlarni topish bilan shug'ullanadi ma'lumot olish va bo'lmaganlar. Iltimos, murojaat qiling Vektorli kosmik model birinchi.

Ushbu uslubda tushunchasi ishlatiladi Vektorli bo'shliq zichligi unchalik zich emas paydo bo'lish matritsasi axborot qidirish so'rovi qanchalik yaxshi bo'lsa.

Ikki xil hujjatni bir-biridan ajrata oladigan va ikkita o'xshash hujjatni o'zaro bog'laydigan indeksning maqbul muddati. Boshqa tomondan, sub-optimal indeks atamasi ikki xil hujjatni ikkita o'xshash hujjatdan ajrata olmaydi.

Diskriminatsiya qiymati vujudga kelgan matritsaning vektor-bo'shliq zichligi bilan bir xil matritsaning vektor-bo'shliqqa nisbatan indeks atamasi zichligidan farqidir.

Keling: ${displaystyle A}$  voqea matritsasi bo'ling ${displaystyle A_ {k}}$  indeks muddatsiz voqea matritsasi bo'ling  ${displaystyle k}$ va  ${displaystyle Q (A)}$  zichligi bo'lishi  ${displaystyle A}$ . Keyin: indeks atamasining diskriminatsiya qiymati  ${displaystyle k}$  bu:  ${displaystyle DV_ {k} = Q (A) -Q (A_ {k})}$

Qanday qilib hisoblash kerak

Berilgan sodir bo'lish matritsasi: ${displaystyle A}$ va bitta kalit so'z: ${displaystyle k}$

Global hujjatni toping centroid: ${displaystyle C}$ (bu faqat o'rtacha hujjat vektori)
O'rtachani toping evklid masofasi har bir hujjat vektoridan, ${displaystyle D_ {i}}$ ga ${displaystyle C}$
Har bir hujjat vektoridan o'rtacha evklid masofasini toping, ${displaystyle D_ {i}}$ ga ${displaystyle C}$ YO'Q ${displaystyle k}$
Yuqoridagi bosqichda ikkita qiymat o'rtasidagi farq quyidagicha kamsitish qiymati kalit so'z uchun ${displaystyle K}$

Yuqori qiymat yaxshiroq, chunki kalit so'zni kiritish ma'lumotni yaxshiroq qidirishga olib keladi.

Sifatli kuzatuvlar

Bo'lgan kalit so'zlar siyrak kambag'al diskriminatorlar bo'lishi kerak, chunki ular kambag'allarga ega eslash,mavjud bo'lgan kalit so'zlar tez-tez kambag'al diskriminatorlar bo'lishi kerak, chunki ular kambag'allarga ega aniqlik.

Adabiyotlar

G. Salton, A. Vong va C. S. Yang (1975) "Avtomatik indekslash uchun vektorli kosmik model," ACM aloqalari, vol. 18, nr. 11, 613-620 betlar. (Vektorli kosmik model birinchi marta taqdim etilgan maqola)
Can, F., Ozkaraxon, E. A (1987), "Muqova koeffitsienti kontseptsiyasi yordamida muddat / hujjat kamsitish qiymatlarini hisoblash". Amerika Axborot Ilmiy Jamiyati jurnali, vol. 38, nr. 3, 171-183 betlar.