Ma'lumotlar bazasini qayta ishlash - In-database processing - Wikipedia

Ma'lumotlar bazasini qayta ishlash, ba'zan deb nomlanadi ma'lumotlar bazasidagi tahlil, ma'lumotlarni birlashtirishga ishora qiladi tahlil ichiga ma'lumotlar ombori funktsionallik. Bugungi kunda ko'plab yirik ma'lumotlar bazalari, masalan, ishlatilgan ma'lumotlar bazalari kredit karta bilan firibgarlik aniqlash va investitsiya banki xatarlarni boshqarish, ushbu texnologiyadan foydalaning, chunki u an'anaviy usullarga nisbatan ishlashni sezilarli darajada yaxshilaydi.[1]

Tarix

Ma'lumotlarni tahlil qilishning an'anaviy yondashuvlari ma'lumotlar bazasidan qayta ishlash uchun alohida tahlil muhitiga ko'chirilishini va keyin ma'lumotlar bazasiga qaytishini talab qiladi. (SPSS dan IBM bugungi kunda ham buni amalga oshiradigan vositalarning namunalari). Ma'lumotlar joylashgan ma'lumotlar bazasida tahlil qilish ma'lumotlar omborida qayta ishlashni amalga oshirish orqali eski yondashuv bilan bog'liq xarajatlar, vaqt va xavfsizlik muammolarini yo'q qiladi.[2]

Ma'lumotlar bazasidagi imkoniyatlar birinchi bo'lib 1990-yillarning o'rtalarida tijorat sifatida taqdim etilgan bo'lsa-da, sotuvchilarning ob'ektlari bilan bog'liq ma'lumotlar bazasi tizimlari, shu jumladan IBM, Illustra /Informiks (hozirda IBM) va Oracle, texnologiya 2000 yillarning o'rtalariga qadar o'zlashtira olmadi.[3] Analitikani analitik ish stantsiyasidan va Enterprise Data Warehouse-ga ko'chirish kontseptsiyasi birinchi bo'lib Tomas Tileston tomonidan "Sizning tortangizni oling va uni ham iste'mol qiling! Ma'lumotlarni qazib olishni SAS va Teradata-ni birlashtirib tezlashtirish "da Teradata Hamkorlar 2005 yil "Imkoniyatlarni boshdan kechirish" konferentsiyasi Orlando, FL, 18-22 sentyabr, 2005 yil. Janob Tileston keyinchalik ushbu texnikani 2006 yilda global miqyosda taqdim etdi,[4] 2007[5][6][7] va 2008 yil.[8]

O'sha paytda ma'lumotlar bazasini qayta ishlashga ehtiyoj tobora ortib bormoqda, chunki yig'ish va tahlil qilish uchun mavjud bo'lgan ma'lumotlar hajmi megabaytdan gigabayt, terabayt va petabaytgacha (asosan Internetning ko'tarilishi bilan) o'sib bormoqda. Bu “katta ma'lumotlar ”Ma'lumotlarni samarali va aniq yig'ish, qayta ishlash va tahlil qilish muhim ahamiyatga ega bo'lgan asosiy sabablardan biridir.

Shuningdek, biznesning tezligi shu qadar tezlashdiki, nanosekundalarning samaradorligi ba'zi sohalarda farq qilishi mumkin.[2] Bundan tashqari, ko'plab odamlar va sanoat tarmoqlari muhim savollarga javob berish uchun ma'lumotlardan foydalanganligi sababli, ular beradigan savollar yanada murakkablashib, yanada murakkab vositalar va aniqroq natijalarni talab qiladi.

Ushbu omillarning barchasi birgalikda ma'lumotlar bazasini qayta ishlashga ehtiyoj tug'dirdi. Ning kiritilishi ustunli yo'naltirilgan ma'lumotlar bazasi, tahlil qilish, ma'lumotlarni saqlash va hisobot uchun maxsus ishlab chiqilgan bo'lib, texnologiyani amalga oshirishga yordam berdi.

Turlari

Ma'lumotlar bazasida ishlashning uchta asosiy turi mavjud: modelni SQL kodiga o'tkazish, foydalanuvchi tomonidan o'rnatilgan funktsiya (UDF) sifatida ma'lumotlar bazasi jarayon maydoniga C yoki C ++ kutubxonalarini yuklash va odatda yozilgan jarayondan tashqari kutubxonalar C, C ++ yoki Java-da va ularni ma'lumotlar bazasida o'rnatilgan UDF sifatida SQL-bayonotda ro'yxatdan o'tkazish.

Modellarni SQL kodiga tarjima qilish

Ma'lumotlar bazasida ishlashning ushbu turida prognozli model asl tilidan SQLga aylantiriladi, bu ma'lumotlar bazasida odatda saqlangan protsedura. Ko'plab analitik modellarni yaratish vositalari o'zlarining modellarini SQL yoki eksport qilish imkoniyatiga ega PMML (Bashoratli modellashtirishni belgilash tili). SQL saqlangan protseduraga yuklangandan so'ng, qiymatlar parametrlar orqali o'tishi mumkin va model ma'lumotlar bazasida tabiiy ravishda bajariladi. Ushbu yondashuvdan foydalanishi mumkin bo'lgan vositalar orasida SAS, SPSS, R va KXEN mavjud.

Ma'lumotlar bazasi jarayon maydoniga C yoki C ++ kutubxonalarini yuklash

Jarayonda ishlaydigan C yoki C ++ UDF kutubxonalari bilan funktsiyalar odatda ma'lumotlar bazasi serveridagi o'rnatilgan funktsiyalar sifatida ro'yxatdan o'tkaziladi va SQL bayonotidagi boshqa o'rnatilgan funktsiyalar kabi chaqiriladi. Jarayonda ishlash funktsiyaga ma'lumotlar bazasi serverining xotirasi, parallelligi va qayta ishlashni boshqarish imkoniyatlaridan to'liq foydalanish imkoniyatini beradi. Shu sababli, ma'lumotlar bazasiga yoki dvigatelga salbiy ta'sir ko'rsatmaslik uchun funktsiyalar yaxshi ishlangan bo'lishi kerak. Ushbu turdagi UDF OLAP, matematik, statistik, bir xil o'zgaruvchan tarqatish va ma'lumotlarni qazib olish algoritmlari uchun har qanday usuldan yuqori ko'rsatkichlarni beradi.

Jarayondan tashqari

Jarayondan tashqari UDFlar odatda C, C ++ yoki Java tillarida yoziladi. Jarayon tugaganidan so'ng, ular ma'lumotlar bazasi yoki dvigatel uchun o'zlarining resurslari bilan o'zlarining texnologik maydonlarida ishlaydigan kabi xavf tug'dirmaydi. Bu erda ular UDF jarayonidagi kabi ishlashga ega bo'lishlarini kutishmaydi. Ular hanuzgacha ma'lumotlar bazasi dvigatelida ro'yxatdan o'tgan va odatda saqlanadigan protsedurada standart SQL orqali chaqirilgan. Jarayondan tashqari UDF-lar ma'lumotlar bazasi serveri imkoniyatlarini kengaytirishning xavfsiz usuli va maxsus ma'lumotlar qazib olish kutubxonalarini qo'shishning ideal usuli hisoblanadi.

Foydalanadi

Ma'lumotlar bazasida ishlov berish ma'lumotlarni tahlil qilishni yuqori darajadagi real vaqt dasturlari, shu jumladan firibgarlikni aniqlash, kredit skoringi, xatarlarni boshqarish, tranzaktsiyalarni qayta ishlash, narxlar va marjni tahlil qilish, foydalanishga asoslangan mikro segmentlar, xatti-harakatlarning reklama maqsadlari va tavsiyalari uchun yanada qulayroq va dolzarb qiladi. dvigatellar, masalan, mijozlarga xizmat ko'rsatuvchi tashkilotlar keyingi eng yaxshi harakatlarni aniqlash uchun foydalanadilar.[9]

Sotuvchilar

Ma'lumotlar bazasida ishlash ko'plab ma'lumotlar omborlari sotuvchilari tomonidan, shu jumladan, amalga oshiriladi va qo'llab-quvvatlanadi Teradata (va Aster ma'lumotlar tizimlari, u sotib olgan), IBM (uning bilan Netezza, PureData tizimlari va Db2 ombori mahsulotlar), IEMC Greenplum, Sybase, ParAccel, SAS va EXASOL. Ushbu sotuvchilar tomonidan taqdim etilgan ba'zi mahsulotlar, masalan, CWI MonetDB yoki IBM-ning Db2 ombori, foydalanuvchilarga mahsulotlarning imkoniyatlarini oshirish uchun o'z funktsiyalarini (UDF) yoki kengaytmalarni (UDX) yozish vositalarini taklif qiladi.[10] Bulaniq Logix matematik, statistik, ma'lumotlarni qazib olish, simulyatsiya va tasniflashni modellashtirish uchun ishlatiladigan ma'lumotlar bazasidagi modellar kutubxonalarini, shuningdek kapital, barqaror daromad, foiz stavkasi va portfelni optimallashtirish uchun moliyaviy modellarni taqdim etadi. In-DataBase kashshoflari tezkor, ishonchli va moslashtirilgan iste'molchilarning xatti-harakatlari va prognozli tahlillari uchun ma'lumotlar ombori ichidagi ma'lumotlarni qazib olish va analitik jarayonlarni institutsionalizatsiya qilish uchun marketing va IT guruhlari bilan hamkorlik qiladi.

Tegishli texnologiyalar

Ma'lumotlar bazasini qayta ishlash - bu ma'lumotlar omborining ish faoliyatini yaxshilashga qaratilgan bir necha texnologiyalardan biridir. Boshqalar kiradi parallel hisoblash, barcha arxitekturalar bilan o'rtoqlashdi, hech qanday arxitekturani baham ko'rmadi va massiv parallel ishlov berish. Bu takomillashtirishga qaratilgan muhim qadamdir bashoratli tahlil imkoniyatlar.[11]

Tashqi havolalar

Adabiyotlar

  1. ^ Ma'lumotlar bazasini qayta ishlash nima?, Dono Geek, olingan 14 may, 2012
  2. ^ a b Das, Joydeep (2010 yil 10-may), Ma'lumotlar bazasi tahlillari bilan raqobatdosh mushaklarni qo'shish, Ma'lumotlar bazasi tendentsiyalari va ilovalari
  3. ^ Grimes, Set (2008 yil 15-dekabr), Ma'lumotlar bazasida tahlil qilish: murakkab tahlil uchun o'tish chizig'i, Intelligent Enterprise
  4. ^ http://www.itworldcanada.com/article/business-intelligence-taking-the-sting-out-of-forecasting/7193
  5. ^ http://www2.sas.com/proceedings/forum2007/371-2007.pdf
  6. ^ http://de.saswiki.org/wiki/SAS_Global_Forum_2007
  7. ^ "Arxivlangan nusxa". Arxivlandi asl nusxasi 2014-08-22. Olingan 2014-08-21.CS1 maint: nom sifatida arxivlangan nusxa (havola)
  8. ^ http://www.teradata.kr/teradatauniverse/PDF/Track_2/2_2_Warner_Home_Thomas_Tileston.pdf
  9. ^ Kobelius, Jeyms (2011 yil 22-iyun), Bashoratlarning kuchi: CRM-dagi amaliy tadqiqotlar Keyingi eng yaxshi harakat, Forrester
  10. ^ "MonetDB-ga o'rnatilgan R". 2014 yil 22-dekabr.
  11. ^ [1] "Ma'lumotlar bazasida hali eski yangiliklarni qayta ishlash emasmi?", "Tim Mannsning blogi (Data Mining Blog)", 2009 yil 8-yanvar