Rumah Keuangan Pribadi Mengembangkan alur kerja Oozie di Hadoop - dummies

Mengembangkan alur kerja Oozie di Hadoop - dummies

Video: Technology Stacks - Computer Science for Business Leaders 2016 2025

Video: Technology Stacks - Computer Science for Business Leaders 2016 2025
Anonim

Aliran kerja Oozie berada pada grafik inti mereka, di mana Anda dapat menentukan tindakan (aplikasi Hadoop) dan arus data, namun tanpa perulangan - yang berarti Anda dapat ' t tentukan sebuah struktur di mana Anda menjalankan operasi tertentu berulang-ulang sampai beberapa kondisi terpenuhi (misalnya untuk loop, misalnya).

Alur kerja Oozie cukup fleksibel sehingga Anda dapat menentukan keputusan berbasis kondisi dan jalur bercabang untuk eksekusi paralel. Anda juga bisa melakukan berbagai macam tindakan.

Pada gambar ini, Anda melihat alur kerja yang menunjukkan kemampuan dasar alur kerja Oozie. Pertama, naskah Babi dijalankan, dan segera diikuti oleh pohon keputusan. Bergantung pada keadaan output, aliran kontrol dapat langsung menuju operasi file HDFS (Hadoop Distributed File System) (misalnya, operasi copyToLocal) atau ke tindakan garpu.

Jika aliran kontrol lolos ke tindakan garpu, dua pekerjaan dijalankan bersamaan: pekerjaan MapReduce, dan kueri Hive. Aliran kontrol kemudian menuju operasi HDFS begitu kedua pekerjaan MapReduce dan query Hive selesai dijalankan. Setelah operasi HDFS, alur kerja selesai.

Definisi alur kerja Oozie ditulis dalam XML, berdasarkan skema Hadoop Process Definition Language (hPDL). Skema khusus ini, pada gilirannya, didasarkan pada skema XML Process Definition Language (XPDL), yang merupakan standar produk-independen untuk definisi proses bisnis pemodelan.

Alur kerja Oozie terdiri dari serangkaian tindakan, yang dikodekan oleh simpul XML. Ada berbagai jenis node, mewakili berbagai jenis tindakan atau perintah aliran kontrol. Setiap alur kerja Oozie memiliki file XML-nya sendiri, di mana setiap simpul dan interkoneksinya ditentukan.

Simpul alur kerja semua memerlukan pengenal unik karena mereka terbiasa mengidentifikasi simpul berikutnya untuk diproses dalam alur kerja. Ini berarti bahwa urutan tindakan dijalankan tergantung pada tempat nodal tindakan muncul di alur kerja XML. Untuk melihat bagaimana konsep ini akan terlihat, periksa daftar berikut, yang menunjukkan contoh struktur dasar dari file XML Workflow Oozie.

… … "Pekerjaan yang terbunuh."

Dalam contoh ini, selain dari awal, akhir, dan membunuh node, Anda memiliki dua simpul tindakan. Setiap node aksi mewakili sebuah aplikasi atau sebuah perintah yang dieksekusi.

Mengembangkan alur kerja Oozie di Hadoop - dummies

Pilihan Editor

Bagaimana Mengelola Komentar di WordPress Anda. com Blog - dummies

Bagaimana Mengelola Komentar di WordPress Anda. com Blog - dummies

Buka halaman Komentar dengan mengklik link Komentar di menu navigasi Dashboard WordPress. Halaman Komentar menunjukkan semua komentar di blog Anda sejak hari pertama Anda memulai. Di sini Anda bisa melihat komentar, mengeditnya, menandai mereka sebagai spam, atau flat-out menghapusnya. Jika Anda menetapkan pilihan Komentar Anda jadi ...

Bagaimana Mengelola Pengguna dan Penulis di Blog WordPress Anda - dummies

Bagaimana Mengelola Pengguna dan Penulis di Blog WordPress Anda - dummies

Pengguna WordPress halaman memberitahu Anda tentang semua pengguna di blog Anda. Ini mencantumkan nama pengguna, nama, alamat e-mail, peran di blog Anda, dan jumlah posting yang dibuat ke blog Anda. Untuk mengelola peran pengguna, Anda perlu memahami jenis akses yang diberikan masing-masing peran: Pengikut: Peran default ini ditugaskan untuk ...

Cara Membuat Permalinks WordPress Bekerja dengan Server Anda - dummies

Cara Membuat Permalinks WordPress Bekerja dengan Server Anda - dummies

Setelah Anda mengatur format untuk permalinks untuk situs WordPress Anda dengan menggunakan opsi selain default, WordPress menulis peraturan, atau arahan tertentu ke. htaccess file di server web anda Itu. htaccess file pada gilirannya mengkomunikasikan ke server web Anda bagaimana seharusnya menyajikan permalinks, sesuai dengan permalink ...

Pilihan Editor

Bagaimana cara Log In ke Layanan Cloud - dummies

Bagaimana cara Log In ke Layanan Cloud - dummies

Karena Cloud Service sepenuhnya berbasis di awan, semua Anda benar-benar Kebutuhan untuk mengaksesnya adalah koneksi internet. (Nah, Anda juga memerlukan nama pengguna dan kata sandi.) Anda dapat masuk dari kantor Anda dan kemudian mengambil tempat Anda tinggalkan di hotel saat bepergian di Tokyo. Salesforce memiliki banyak tindakan pengamanan ...

Bagaimana Bergerak di sekitar MYOB - dummies

Bagaimana Bergerak di sekitar MYOB - dummies

Di MYOB, Anda dapat melangkah maju dan mundur melalui setiap jendela pembelajaran saya. untuk mencintai kunci Tab komputer Anda. Ini jauh lebih mudah dan lebih cepat daripada menggunakan mouse anda. Keystrokes Shortcut Result Shift + Tab Bergerak ke belakang ke kolom sebelumnya Enter atau Tab Bergerak ke depan ke kolom berikutnya Alt + F4 Berhenti dan mengemas Esc Membawa ...

Bagaimana Membuka Kasus untuk Pelanggan di Salesforce. Kasus com - dummies

Bagaimana Membuka Kasus untuk Pelanggan di Salesforce. Kasus com - dummies

Adalah dasar Salesforce. com Layanan Cloud. Mereka adalah titik pusat kontak Anda dan apa yang agen hidup dan hirup setiap hari. Kasus adalah catatan penyelidikan layanan atau dukungan untuk pelanggan yang merinci masalah dan semua informasi yang mengelilinginya, seperti yang ditunjukkan. Kasus ...

Pilihan Editor

Menghitung Persen Tujuan di Excel - dummies

Menghitung Persen Tujuan di Excel - dummies

Ketika seseorang meminta Anda untuk menghitung satu persen Tujuannya, dia hanya mengatakan untuk membandingkan kinerja aktual dengan tujuan yang dinyatakan. Matematika yang terlibat dalam perhitungan ini sederhana: Bagilah tujuannya dengan aktual. Ini memberi Anda nilai persentase yang menunjukkan berapa banyak pencapaian yang telah dicapai. Misalnya, jika ...

Menghitung Persentase Varian di Excel - dummies

Menghitung Persentase Varian di Excel - dummies

Varians adalah indikator perbedaan antara satu angka dengan angka lainnya. Untuk memahami hal ini, bayangkan bahwa Anda menjual 120 widget pada suatu hari, dan keesokan harinya, Anda menjual 150. Perbedaan dalam penjualan sebenarnya sangat mudah dilihat; Anda menjual 30 widget lagi. Mengurangkan 120 widget dari 150 widget memberi ...

Menghitung Persentase Varian dengan Nilai Negatif di Excel - dummies

Menghitung Persentase Varian dengan Nilai Negatif di Excel - dummies

Rumus untuk menghitung varian persen dalam Excel bekerja dengan indah dalam banyak kasus. Namun, bila nilai benchmark adalah nilai negatif, rumusnya akan turun. Misalnya, bayangkan Anda memulai bisnis dan berharap bisa kehilangan tahun pertama. Jadi, Anda memberi anggaran sebesar negatif $ 10.000. Sekarang bayangkan itu ...