Apache Druid - Apache Druid

Druid
Druid logotipi
Asl muallif (lar)
  • Erik Tshetter
  • Fangjin Yang
Tuzuvchi (lar)Apache Druid
Barqaror chiqish
0.20.0 / 16 oktyabr 2020 yil; 38 kun oldin (2020-10-16)
OmborDruid ombori
YozilganJava
Operatsion tizimO'zaro faoliyat platforma
Turi
LitsenziyaApache litsenziyasi 2.0
Veb-saytdruid.apache.org

Druid a ustunga yo'naltirilgan, ochiq manbali, tarqatildi ma'lumotlar do'koni yozilgan Java. Druid juda ko'p miqdordagi voqea ma'lumotlarini tezda qabul qilish va ma'lumotlarning yuqori qismida kechikish vaqtidagi so'rovlarni taqdim etish uchun mo'ljallangan.[1] Druid nomi shaklni o'zgartirish Ko'pchilikda Druid klassi rol o'ynash o'yinlari, tizimning arxitekturasi ma'lumotlarning har xil muammolarini hal qilish uchun siljishi mumkinligini aks ettiradi.

Druid odatda ishlatiladi biznes razvedkasi /OLAP yuqori hajmlarni tahlil qilish uchun dasturlar haqiqiy vaqt va tarixiy ma'lumotlar.[2] Druid kabi texnologik kompaniyalar tomonidan ishlab chiqarishda qo'llaniladi Alibaba,[2] Airbnb,[2] Cisco,[3][2] eBay,[4] Lyft,[5] Netflix,[6] PayPal,[2] Pinterest,[7] Twitter,[8] Walmart,[9] Vikimedia fondi[10] va Yahoo.[11]

Tarix

Druid 2011 yilda Metamarkets analitik mahsulotini ishlab chiqarish uchun boshlangan. Loyiha 2012 yil oktyabr oyida GPL litsenziyasi asosida ochiq bo'lgan,[12][13] va 2015 yil fevral oyida Apache litsenziyasiga ko'chib o'tdi.[14][15]

Vaqt o'tishi bilan bir qator tashkilotlar va kompaniyalar Druid-ni o'zlarining orqa texnologiyalariga qo'shdilar,[2] va turli xil tashkilotlarning majburiyatlari qo'shildi.[16]

Arxitektura

Druid klasterining arxitekturasi

To'liq joylashtirilgan Druid ixtisoslashgan jarayonlar klasteri sifatida ishlaydi (Druiddagi tugunlar deb nomlanadi) xatolarga chidamli me'morchilik[17] bu erda ma'lumotlar ortiqcha saqlanadi va bitta nosozlik mavjud emas.[18] Klaster muvofiqlashtirish uchun tashqi bog'liqliklarni o'z ichiga oladi (Apache hayvonot bog'i qo'riqchisi ), metama'lumotlarni saqlash (masalan, MySQL, PostgreSQL, yoki Derbi ) va chuqur omborxona (masalan, HDFS, yoki Amazon S3 ) ma'lumotlarni doimiy ravishda zaxiralash uchun.

So'rovlarni boshqarish

Mijoz so'rovlari birinchi navbatda ularni tegishli ma'lumot tugunlariga (tarixiy yoki real vaqtda) yo'naltiradigan broker tugunlarini urdi. Druid segmentlari bo'linishi mumkinligi sababli, kiruvchi so'rov bir nechta segmentlar va bo'limlardan ma'lumotlarni talab qilishi mumkin (yoki parchalar ) klasterdagi turli tugunlarda saqlanadi. Brokerlar qaysi tugunlarda kerakli ma'lumotlar borligini bilib olishlari mumkin, shuningdek, natijani qaytarishdan oldin qisman natijalarni birlashtiradilar.

Klasterlarni boshqarish

Tarixiy tugunlarda ma'lumotlarni boshqarish bilan bog'liq operatsiyalar koordinator tugunlari tomonidan nazorat qilinadi. Apache ZooKeeper barcha tugunlarni ro'yxatdan o'tkazish, internode aloqalarining ba'zi jihatlarini boshqarish va etakchi saylovlarini ta'minlash uchun ishlatiladi.

Xususiyatlari

  • Kam kechikish (oqim) ma'lumotlarini qabul qilish
  • O'zboshimchalik bilan tilim va zar ma'lumotlarini o'rganish
  • Ikkinchi sekundli analitik so'rovlar
  • Taxminiy va aniq hisoblashlar

Shuningdek qarang

Adabiyotlar

  1. ^ Xemsot, Nikol. "Druid real vaqtda kuchni chaqiradi" Arxivlandi 2013-02-27 da Orqaga qaytish mashinasi, Datanami, 2012 yil 8-noyabr
  2. ^ a b v d e f druid. "Druid | Druid tomonidan ishlaydi". druid.apache.org. Olingan 2016-06-29.
  3. ^ Butler, Brendon. "Cisco Tetration Analytics platformasi qopqog'i ostida". Olingan 2016-06-23.
  4. ^ "Druid at Pulsar - ebay 的 专栏 博客 频道 - CSDN.NET". blog.csdn.net. Olingan 2016-06-23.
  5. ^ Arup Malakar tomonidan SQL va Druid oqimlari, olingan 2020-01-29
  6. ^ "Netflix Tech Blog: Suro-ni e'lon qilish: Netflix-ning ma'lumotlar quvurining magistrali". techblog.netflix.com. Olingan 2016-06-23.
  7. ^ Pinterest: Adache Analytics-ni Apache Druid bilan kuchaytirish, olingan 2020-01-29
  8. ^ "MoPub-da interaktiv tahlil: terabaytli ma'lumotlarni soniyalarda so'rov qilish". blog.twitter.com. Olingan 2020-01-29.
  9. ^ Nayak, Amaresh (2018-02-23). "Druid bilan Walmart-da Event Stream Analytics". O'rta. Olingan 2020-01-29.
  10. ^ https://conferences.oreilly.com/strata/strata-ny/public/schedule/detail/60986
  11. ^ "Yahoo-da Hadoop-ni to'ldirish: Druid bilan interaktiv tahlillar". Olingan 2016-06-23.
  12. ^ Tsxetter, Erik. "Druidni tanishtirish", druid.apache.org, 2012 yil 24 oktyabr
  13. ^ Xigginbotam, Steysi. "Metamarkets Druid-ning ochiq manbalari, uning xotiradagi ma'lumotlar bazasi", GigaOM, 2012 yil 24 oktyabr
  14. ^ Harris, Derrick (2015-02-20). "Druid real vaqtda ma'lumotlar bazasi Apache litsenziyasiga o'tadi". Olingan 2015-08-04.
  15. ^ "Druid Apache litsenziyasi ostida ochiq manba-ier oladi". Olingan 2015-08-04.
  16. ^ druid. "Druid | Druid jamoasi". druid.apache.org. Olingan 2016-06-23.
  17. ^ Druid loyihasining hujjatlari
  18. ^ Yang, Fangjin; Tshetter, Erik; Léto, Xaver; Rey, Nelson; Merlino, Gian; Ganguli, chuqur. "Druid: Haqiqiy vaqtdagi analitik ma'lumotlar do'koni", Metamarketlar, 2014 yil 6-fevralda olingan

Tashqi havolalar