Rumah Keuangan Pribadi Mengembangkan alur kerja Oozie di Hadoop - dummies

Mengembangkan alur kerja Oozie di Hadoop - dummies

Video: Technology Stacks - Computer Science for Business Leaders 2016 2024

Video: Technology Stacks - Computer Science for Business Leaders 2016 2024
Anonim

Aliran kerja Oozie berada pada grafik inti mereka, di mana Anda dapat menentukan tindakan (aplikasi Hadoop) dan arus data, namun tanpa perulangan - yang berarti Anda dapat ' t tentukan sebuah struktur di mana Anda menjalankan operasi tertentu berulang-ulang sampai beberapa kondisi terpenuhi (misalnya untuk loop, misalnya).

Alur kerja Oozie cukup fleksibel sehingga Anda dapat menentukan keputusan berbasis kondisi dan jalur bercabang untuk eksekusi paralel. Anda juga bisa melakukan berbagai macam tindakan.

Pada gambar ini, Anda melihat alur kerja yang menunjukkan kemampuan dasar alur kerja Oozie. Pertama, naskah Babi dijalankan, dan segera diikuti oleh pohon keputusan. Bergantung pada keadaan output, aliran kontrol dapat langsung menuju operasi file HDFS (Hadoop Distributed File System) (misalnya, operasi copyToLocal) atau ke tindakan garpu.

Jika aliran kontrol lolos ke tindakan garpu, dua pekerjaan dijalankan bersamaan: pekerjaan MapReduce, dan kueri Hive. Aliran kontrol kemudian menuju operasi HDFS begitu kedua pekerjaan MapReduce dan query Hive selesai dijalankan. Setelah operasi HDFS, alur kerja selesai.

Definisi alur kerja Oozie ditulis dalam XML, berdasarkan skema Hadoop Process Definition Language (hPDL). Skema khusus ini, pada gilirannya, didasarkan pada skema XML Process Definition Language (XPDL), yang merupakan standar produk-independen untuk definisi proses bisnis pemodelan.

Alur kerja Oozie terdiri dari serangkaian tindakan, yang dikodekan oleh simpul XML. Ada berbagai jenis node, mewakili berbagai jenis tindakan atau perintah aliran kontrol. Setiap alur kerja Oozie memiliki file XML-nya sendiri, di mana setiap simpul dan interkoneksinya ditentukan.

Simpul alur kerja semua memerlukan pengenal unik karena mereka terbiasa mengidentifikasi simpul berikutnya untuk diproses dalam alur kerja. Ini berarti bahwa urutan tindakan dijalankan tergantung pada tempat nodal tindakan muncul di alur kerja XML. Untuk melihat bagaimana konsep ini akan terlihat, periksa daftar berikut, yang menunjukkan contoh struktur dasar dari file XML Workflow Oozie.

… … "Pekerjaan yang terbunuh."

Dalam contoh ini, selain dari awal, akhir, dan membunuh node, Anda memiliki dua simpul tindakan. Setiap node aksi mewakili sebuah aplikasi atau sebuah perintah yang dieksekusi.

Mengembangkan alur kerja Oozie di Hadoop - dummies

Pilihan Editor

Menjelajahi Alternatif untuk Jaringan Multichannel - dummies

Menjelajahi Alternatif untuk Jaringan Multichannel - dummies

Ada kekuatan dalam jumlah - atau begitulah kata pepatah. Hal ini dapat membantu saat mengelola saluran YouTube Anda. Pemikiran seperti inilah yang menyebabkan terbentuknya jaringan multichannel (sering disebut dengan singkatan MCNs) di YouTube. MCN pada dasarnya adalah kesepakatan kemitraan yang dibuat oleh pembuat konten independen dengan jumlah yang lebih besar ...

Apa yang harus dilakukan jika Anda lupa kata kunci atau kata kunci YouTube

Apa yang harus dilakukan jika Anda lupa kata kunci atau kata kunci YouTube

Jika Anda lupa nama pengguna atau kata sandi YouTube Anda, jangan panik YouTube memiliki alamat e-mail Anda, dan Anda dapat mengambil nama pengguna atau kata sandi yang terlupakan dari mereka. (Saat pertama kali mendaftar ke YouTube, catat nama pengguna dan kata sandi Anda, terutama jika berbeda dari yang biasa Anda gunakan di situs Web lainnya.) Buka YouTube. com ...

Apa itu YouTube Red? - dummies

Apa itu YouTube Red? - dummies

YouTube Red adalah layanan berlangganan baru yang meningkatkan pengalaman YouTube. Layanan ini mencakup langganan Google Play Musik. YouTube Red bukan hanya layanan streaming video - namun juga membuka fitur hebat membuat YouTube menjadi tempat yang tepat untuk hiburan berjam-jam. Kredit: Gambar milik YouTube. com. Layanan Red YouTube ...

Pilihan Editor

Dua kolom Kolom Sidebar kiri Desain Gambar - dummies

Dua kolom Kolom Sidebar kiri Desain Gambar - dummies

Gambar cermin dari layout sidebar kanan dua kolom , desain blog dua kolom ini menampilkan konten blog utama Anda di sisi kanan dengan sidebar di sebelah kiri. Memilih sidebar di sebelah kanan pasti pilihan yang lebih umum di blogland, namun menggunakan sidebar kiri tetap bisa memberi dampak. Di sini, Anda ...

Transparansi dalam Komunitas Online - dummies

Transparansi dalam Komunitas Online - dummies

Transparansi adalah kata besar di ruang media sosial saat ini. Ini adalah istilah yang menyenangkan dan menyenangkan untuk kejujuran. Ini berarti mendapatkan kepercayaan komunitas online karena tidak ada yang perlu disembunyikan. Dengan bersikap transparan, Anda memberi pandangan publik pada cara kerja merek Anda. Anda tidak menyapu pers atau ketidakpuasan yang buruk di bawah karpet. ...

Matikan Blog Mom Anda ke Job - dummies

Matikan Blog Mom Anda ke Job - dummies

Dapatkan pekerjaan bukanlah perluasan dari Anda blog, tapi anggap itu lebih sebagai perluasan karir Anda. Beberapa blogger, termasuk ibu, telah membangun begitu banyak kepercayaan dan kredibilitas di media sosial bahwa perusahaan telah mempekerjakan mereka untuk mengisi beberapa pemasaran media sosial yang hebat dan posisi manajemen lainnya. Bila Anda ...

Pilihan Editor

Cara membuat Lembar Kerja Prakiraan di Excel 2016 - dummies

Cara membuat Lembar Kerja Prakiraan di Excel 2016 - dummies

Fitur Lembar Perkiraan baru di Excel 2016 membuatnya sangat mudah untuk mengubah lembar kerja yang berisi data keuangan historis menjadi lembar kerja ramalan visual yang luar biasa. Yang Anda lakukan adalah membuka lembar kerja dengan data historis Anda, posisi kursor sel dalam satu selnya, lalu klik tombol Forecast Sheet pada Data ...

Cara membuat Peta Daya 3-D di Excel 2016 - dummies

Cara membuat Peta Daya 3-D di Excel 2016 - dummies

Power Map adalah nama fitur analisis visual baru yang menarik di Excel 2016 yang memungkinkan Anda menggunakan data geografis, keuangan, dan jenis lainnya bersama dengan bidang tanggal dan waktu dalam model data Excel Anda untuk membuat tur peta 3D animasi. Untuk membuat animasi baru untuk tur pertama di Power ...

Bagaimana cara Copy Formula dengan IsiOtomatis di Excel 2016 - dummies

Bagaimana cara Copy Formula dengan IsiOtomatis di Excel 2016 - dummies

Jika Anda hanya perlu menyalin satu formula di Excel 2016, gunakan fitur IsiOtomatis atau perintah Copy and Paste. Jenis salinan formula ini, meski lumrah, tidak bisa dilakukan dengan drag and drop. Jangan lupa pilihan Totals pada alat Quick Analysis. Anda bisa menggunakannya untuk membuat baris ...