Partiyani qayta ishlash - Batch processing - Wikipedia

Kompyuterlashtirilgan partiyani qayta ishlash bu "oxirgi foydalanuvchining o'zaro ta'sirisiz ishlashi mumkin bo'lgan yoki resurslarga ruxsat sifatida ishlashni rejalashtirishi mumkin bo'lgan ishlarning" ishlashi.[1]

Tarix

"Partiyani qayta ishlash" atamasi an'anaviy tasnifidan kelib chiqadi ishlab chiqarish usullari kabi ish joylarini ishlab chiqarish (bir martalik ishlab chiqarish), ommaviy ishlab chiqarish (bir vaqtning o'zida bir vaqtning o'zida bir nechta buyumlarning "partiyasini" ishlab chiqarish) va oqim ishlab chiqarish (ommaviy ishlab chiqarish, jarayonning barcha bosqichlari birdaniga).

Dastlabki tarix

Dastlabki kompyuterlar bir vaqtning o'zida bitta dasturni ishlashga qodir edi. Har bir foydalanuvchi belgilangan muddat davomida mashinani yagona boshqarishga ega edi. Ular dastur va ma'lumotlar bilan kompyuterga, ko'pincha zarb qilingan qog'oz kartochkalari va magnit yoki qog'oz lentalarida kelib, dasturlarini yuklaydilar, ishga tushiradilar va disk raskadrovka qiladilar va tugatgandan so'ng o'zlarining chiqishlarini olib ketadilar.

Kompyuterlarning tezlashishi bilan ularni o'rnatish va olib tashlash vaqti kompyuter vaqtining katta foiziga aylandi. Dasturlar chaqirildi monitorlar, kashshoflar operatsion tizimlar, ko'pincha dasturlarning bir qatorini yoki "partiyasini" qayta ishlashga qodir bo'lgan dasturlar ishlab chiqilgan magnit lenta oflayn rejimda tayyorlangan. Monitor kompyuterga yuklanib, partiyaning birinchi ishini bajaradi. Ishning oxirida u nazoratni qayta tiklaydi va yuklaydi va partiyani tugatguncha keyingisini ishlaydi. Ko'pincha partiyaning chiqishi magnit tasmaga yozilib, oflayn rejimda bosilib yoki zımbalanır. Monitorlarning misollari IBM kompaniyalari edi Fortran Monitor tizimi, SOS (Share Operatsion tizimi) va nihoyat IBSYS IBM uchun 709x 1960 yilda tizimlar.[2][3]

Uchinchi avlod tizimlari

Uchinchi avlod kompyuterlari[4] qodir ko'p dasturlash 1960 yillarda paydo bo'la boshladi. Bir vaqtning o'zida bitta ommaviy ishni bajarish o'rniga, ushbu tizimlar tizimni iloji boricha band qilish uchun bir vaqtning o'zida bir nechta ishlaydigan dasturlarga ega bo'lishi mumkin. Bitta yoki bir nechta dastur kiritishni kutishi mumkin, bittasi protsessorda faol ishlaydi va boshqalari ishlab chiqaradi. Oflayn kirish va chiqish o'rniga dasturlar chaqirildi spoollar kartalardan, diskdan yoki masofaviy terminallardan ishlarni o'qing va ularni a ish uchun navbat ishga tushirish Oldini olish maqsadida qulflar The ish rejalashtiruvchisi har bir ishning resurs talablarini bilishi kerak - xotira, magnit lentalar, o'rnatiladigan disklar va h.k., shuning uchun ushbu ma'lumotni tizimli ravishda ta'minlash uchun turli xil skript tillari ishlab chiqilgan. Ehtimol, eng taniqli IBM kompaniyasidir Ishni boshqarish tili (JCL). Ishni rejalashtiruvchilar ustuvorligi, xotira hajmi va boshqalarni o'z ichiga olgan turli mezonlarga muvofiq ishlarni tanlaydilar. Masofaviy partiya ko'pincha a bilan jihozlangan masofaviy terminallardan ommaviy ishlarni topshirish tartibi punch kartani o'quvchi va a chiziqli printer.[5] Ba'zan assimetrik ko'p ishlov berish IBM System / 360-da bo'lgani kabi, biriktirilgan kichikroq va arzon tizimdan foydalangan holda bir yoki bir nechta katta kompyuterlar uchun ommaviy kirish va chiqishni birlashtirish uchun ishlatiladi. Qo'llab-quvvatlaydigan protsessor.

Keyinchalik tarix

CDC NOS STARTRK faylini olish va uni kartochkaga chiqarish uchun ommaviy fayl

1960-yillarning oxiridan boshlab, interaktiv hisoblash masalan, matnga asoslangan kompyuter terminali interfeyslar (kabi Unix chig'anoqlari yoki o'qish-baholash-chop etish ko'chadan ) va keyinroq grafik foydalanuvchi interfeyslari keng tarqalgan bo'lib qoldi. Interaktiv bo'lmagan hisob-kitoblar, masalan, kompilyatsiya va bir nechta elementlarni partiyalarda qayta ishlash kabi bir martalik ishlar retrospektiv ravishda ataladi partiyani qayta ishlashva muddat ommaviy ish (erta ishlatishda ko'pincha "ommaviy" ning ish joylari ") odatiy holga aylandi. Dastlabki foydalanish, ayniqsa, Michigan universiteti, atrofida Michigan Terminal tizimi (MTS).[6]

Vaqt almashish mavjud bo'lgan bo'lsa-da, undan foydalanish korporativ ma'lumotlarni qayta ishlash uchun etarli darajada kuchli emas edi; bularning hech biri oldingi bilan bog'liq emas edi birlik yozuv uskunalari inson tomonidan boshqariladigan.

Davom etayotgan

Ma'lumotlarni umumiy qayta ishlash uchun ham, tizimni "uy tutish" vazifalari uchun ham interaktiv bo'lmagan hisoblash hisoblashda keng tarqalgan bo'lib qolmoqda (yordamida tizim dasturlari ). Yuqori darajadagi dastur (bir nechta dasturlarni bajaruvchi, qo'shimcha "yopishqoq" mantiq bilan) bugungi kunda ko'pincha "a" deb nomlanadi skriptva yozilgan stsenariy tillari, ayniqsa qobiq skriptlari tizim vazifalari uchun; yilda IBM PC DOS va MS-DOS bu o'rniga a nomi bilan tanilgan ommaviy ish fayli. Bunga o'z ichiga oladi UNIX asoslangan kompyuterlar, Microsoft Windows, macOS (uning poydevori BSD Unix yadrosi) va hatto smartfonlar. Ishlayotgan skript, xususan, interaktivdan bajarilgan skript kirish sessiyasi, ko'pincha a sifatida tanilgan ish, ammo bu atama juda noaniq holda ishlatiladi.

"Kompyuter yoki UNIX tizimlarida z / OS paketini qayta ishlashga to'g'ridan-to'g'ri o'xshash yo'q. Jamoa ishlari odatda rejalashtirilgan vaqtda yoki kerak bo'lganda bajariladi. Ehtimol, eng yaqin taqqoslash AT yoki CRON buyrug'i tomonidan bajariladigan jarayonlar bilan. UNIX, garchi farqlar muhim bo'lsa ham. "[1]

Zamonaviy tizimlar

Ko'pgina tashkilotlarda ommaviy dasturlar hali ham muhim ahamiyatga ega, chunki ko'plab umumiy biznes jarayonlar ommaviy qayta ishlashga mos keladi. Onlayn tizimlar qo'lda aralashuv talab qilinmasa ham ishlashi mumkin bo'lsa-da, ular odatda yuqori hajmli, takrorlanadigan vazifalarni bajarish uchun optimallashtirilmagan. Shuning uchun, hatto yangi tizimlarda ham odatda kunning oxirida ma'lumotlarni yangilash, hisobotlarni yaratish, hujjatlarni chop etish va boshqa interaktiv bo'lmagan vazifalarni bajarish uchun bir yoki bir nechta ommaviy dasturlar mavjud bo'lib, ular ma'lum ish muddatlarida ishonchli bajarilishi kerak.

Ba'zi ilovalar oqimlarni qayta ishlashga yaroqli, ya'ni faqat bir vaqtning o'zida bitta kirish ma'lumotlari kerak (masalan, jami emas): har bir kirish uchun keyingi bosqichni avvalgi bosqichni tugatgandan so'ng boshlang. Bunday holda oqimni qayta ishlash pasayadi kechikish individual kirish uchun, ularni butun partiyaning tugashini kutmasdan bajarishga imkon beradi. Biroq, ko'plab dasturlar barcha yozuvlardan ma'lumotlarni talab qiladi, xususan jami kabi hisoblashlar. Bunday holatda, natijani ishlatishga yaroqli bo'lishidan oldin, butun partiyani to'ldirish kerak: qisman natijalardan foydalanish mumkin emas.

Zamonaviy ommaviy dasturlar, masalan, zamonaviy partiyalar doirasidan foydalanadi Jem The Bee, Bahor partiyasi yoki amalga oshirish JSR 352[7] uchun yozilgan Java va boshqa dasturlash tillari uchun boshqa ramkalar xatolarga bardoshlik va ölçeklenebilirlik yuqori hajmli ishlov berish uchun talab qilinadi. Yuqori tezlikda ishlashni ta'minlash uchun ommaviy dasturlar ko'pincha birlashtiriladi tarmoqli hisoblash uchun echimlar bo'lim ko'p miqdordagi protsessorlar bo'yicha ommaviy ish, garchi buni amalga oshirishda muhim dasturiy muammolar mavjud. Partiyani qayta ishlashning katta hajmi, ayniqsa tizim va dastur arxitekturalariga katta talablarni qo'yadi. Kuchli xususiyatlarga ega bo'lgan arxitekturalar kirish / chiqish ishlash va vertikal ölçeklenebilirlik jumladan zamonaviy asosiy kompyuterlar, alternativalarga qaraganda yaxshiroq partiyaviy ishlashni ta'minlashga moyildir.

Ssenariy tillari ommaviy qayta ishlash bilan birga rivojlanib borganligi sababli mashhur bo'ldi.[8]

Ommaviy oyna

A ommaviy ish oynasi bu "kam intensiv onlayn faoliyat davri",[9] kompyuter tizimi ommaviy ishlarni interaktiv onlayn tizimlarning aralashuvisiz yoki ular yordamida amalga oshirishga qodir bo'lganda.

Bankniki kun oxiri (EOD) ish o'rinlari tushunchasini talab qiladi kesish, bu erda tranzaktsiyalar va ma'lumotlar ma'lum bir kunlik partiya faoliyati uchun to'xtatib qo'yilgan ("soat 15.00 dan keyingi depozitlar ertasi kuni qayta ishlanadi").

Onlayn tizimlarning ishlash vaqtiga bo'lgan talablar qo'llab-quvvatlanadigan darajada kengaygan globallashuv, Internet, va boshqa biznes ehtiyojlari, ommaviy ish oynasi qisqargan[10][11] va onlayn ma'lumotlarning maksimal vaqt ichida bo'lishini talab qiladigan texnikaga tobora ko'proq e'tibor qaratildi.

Partiya hajmi

The partiyaning hajmi bir partiyali operatsiya davomida qayta ishlanadigan ish birliklari sonini bildiradi. Ba'zi bir misollar:

  • Avval ma'lumotlar bazasiga yuklanadigan fayllar qatori majburiyat bitim.
  • Navbatdan o'chiriladigan xabarlar soni.
  • Bitta foydali yuk ichida yuborish uchun so'rovlar soni.

Partiyani qayta ishlashning keng tarqalgan ishlatilishi

  • Ma'lumotlar bazasini samarali yangilash va avtomatlashtirish bitimni qayta ishlash, interaktivdan farqli o'laroq onlayn tranzaktsiyalarni qayta ishlash (OLTP) dasturlari. The chiqarib olish, o'zgartirish, yuklash (ETL) to'ldirish bosqichi ma'lumotlar omborlari aksariyat dasturlarda tabiatan ommaviy jarayondir.
  • Ommaviy operatsiyalarni bajarish raqamli tasvirlar masalan, rasm fayllari guruhini o'zgartirish, o'zgartirish, moybo'yoqli belgilar yoki boshqa usulda tahrirlash.
  • Kompyuter fayllarini bir formatdan ikkinchisiga aylantirish. Masalan, ommaviy ish xususiy va eskirgan fayllarni oxirgi foydalanuvchi so'rovlari va ko'rsatish uchun umumiy standart formatlarga o'zgartirishi mumkin.

Ommaviy rejalashtirish va bajarish muhiti

The IBM mainframe z / OS operatsion tizim yoki platforma, kelib chiqishi, uzoq tarixi va davom etgan evolyutsiyasi tufayli, shubhasiz, eng yuqori darajada takomillashtirilgan va rivojlangan ommaviy qayta ishlash uskunalari to'plamiga ega. Bugungi kunda bunday tizimlar bir vaqtning o'zida yuzlab, hatto minglab bir vaqtda onlayn va ommaviy vazifalarni qo'llab-quvvatlaydi operatsion tizim rasm. Bir vaqtning o'zida partiyani va onlayn ishlov berishga yordam beradigan texnologiyalar kiradi Ishni boshqarish tili (JCL), kabi skript tillari REXX, Ishga kirishning quyi tizimi (JES2 va JES3 ), Ish yuki menejeri (WLM), Avtomatik qayta ishga tushirish menejeri (ARM), Resurslarni tiklash xizmatlari (RRS), DB2 ma'lumotlar almashinuvi, Parallel Sysplex, kabi noyob ishlash optimallashtirishlari HiperDispatch, I / U kanal arxitekturasi, va boshqalar.

Unix dasturlari cron, dava partiya (Bugun partiya ning variantidir da) ishlarni kompleks rejalashtirishga imkon berish. Windows-da ish rejalashtiruvchisi. Ko'pchilik yuqori samarali hisoblash klasterlar klasterdan foydalanishni maksimal darajada oshirish uchun ommaviy ishlov berishdan foydalaning.[12]

Shuningdek qarang

Adabiyotlar

  1. ^ a b IBM korporatsiyasi. "Partiyani qayta ishlash nima?". zOS tushunchalari. Olingan 10 oktyabr, 2019.
  2. ^ "IBM 7090 uchun to'g'ridan-to'g'ri juftlik". SoftwarePreservationGroup.org. IBSYS SOS (SHARE Operatsion tizimi) dan rivojlangan 7090 uchun operatsion tizim edi
  3. ^ "Operatsion tizimlar tarixi" (PDF). Vashington universiteti. Olingan 10 oktyabr, 2019.
  4. ^ "Nega o'lmaysiz? IBM-ning S / 360 va uning merosi 50 yoshda". Ro'yxatdan o'tish. 2014 yil 7 aprel.
  5. ^ "CDC User Terminal Hardware Reference manual" (PDF). BitSavers.
  6. ^ "Hisoblash markazi: IBM System / 360 Model 67 bilan shartlarga kelish". Tadqiqot yangiliklari. Michigan universiteti. 20 (Noyabr / Dekabr): 10. 1969.
  7. ^ "Java platformasi uchun ommaviy dasturlar". Java jamoatchilik jarayoni. Olingan 2015-08-03.
  8. ^ "JSR352 null". IBM.com. JSR 352, Java ommaviy ishlov berish uchun ochiq standart spetsifikatsiya. ... Amaldagi dasturlash tillari mavjud bo'lgan narsalarga qarab vaqt o'tishi bilan rivojlanib bordi
  9. ^ "Asosiy soatlar ishdan keyin ishlaydi: ommaviy qayta ishlash". Mainframe tushunchalari. IBM korporatsiyasi. Olingan 20 iyun, 2013.
  10. ^ Ommaviy ishlov berish: dizayn - qurish - ishlatish: amaliy amaliyot va tamoyillar. Oreilly. 2009-02-24. ISBN  9780470257630.
  11. ^ "An'anaviy tarzda bir kecha-kunduzda ish olib borildi, millionlab ish joylari qayta ishlandi ... Bugungi kunda partiyaning oynasi doimiy ravishda kamayib bormoqda.
  12. ^ "Nazorat ro'yxati va optimallashtirish bo'yicha maslahatlar bilan yuqori samarali hisoblash qo'llanmasi". 2018 yil 25-yanvar. ko'p foydalanuvchi, birgalikda va aqlli ommaviy ishlov berish tizimi ko'lamini yaxshilaydi ..... Ko'pchilik HPC klasterlar Linuxda