Bagaimana Mendapatkan Apache Oozie di Hadoop - dummies

Apache Oozie disertakan dalam setiap distribusi Hadoop utama, termasuk Apache Bigtop. Di cluster Hadoop Anda, pasang server Oozie di simpul tepi, di mana Anda juga akan menjalankan aplikasi klien lainnya melawan data cluster, seperti yang ditunjukkan.

Simpul tepi dirancang untuk menjadi pintu gerbang jaringan luar ke cluster Hadoop. Ini membuat mereka ideal untuk teknologi transfer data (Flume, misalnya), tapi juga aplikasi klien dan infrastruktur aplikasi lainnya seperti Oozie. Oozie tidak memerlukan dedicated server, dan dapat dengan mudah hidup berdampingan dengan layanan lain yang sesuai untuk node tepi, seperti Pig and Hive.

Setelah Oozie dikerahkan, Anda siap untuk memulai server Oozie. Infrastruktur Oozie dipasang di direktori $ OOZIE_HOME. Dari situ, jalankan oozie-start. perintah sh untuk memulai server (Seperti yang Anda duga, menghentikan server melibatkan mengetik oozie-stop sh). Anda dapat menguji status instance Oozie Anda dengan menjalankan perintah

oozie admin -status

Setelah server Oozie digunakan dan mulai, Anda dapat membuat katalog dan menjalankan berbagai alur kerja, koordinator, atau pekerjaan bundel Anda. Saat bekerja dengan pekerjaan Anda, Oozie menyimpan definisi katalog - data yang menggambarkan semua objek Oozie (alur kerja, koordinator, dan pekerjaan bundel) - dan juga negara bagian mereka dalam database khusus.

Secara default, Oozie dikonfigurasi untuk menggunakan database Derby yang disematkan, namun Anda dapat menggunakan MySQL, Oracle, atau PostgreSQL, jika Anda memerlukannya.

Anda memiliki empat pilihan untuk berinteraksi dengan server Oozie:

• Java API: Pilihan ini berguna dalam situasi di mana Anda memiliki kode penjadwalan Anda sendiri di aplikasi Java, dan Anda perlu mengendalikan eksekusi dari Anda Oozie alur kerja, koordinator, atau kumpulan dari dalam aplikasi Anda.

• API REST: Sekali lagi, opsi ini bekerja dengan baik dalam kasus di mana Anda ingin menggunakan kode penjadwalan Anda sendiri sebagai dasar alur kerja, koordinator, atau kumpulan Oozie Anda, atau jika Anda ingin membangun antarmuka Anda sendiri atau memperpanjang yang sudah ada untuk mengelola server Oozie.

• Command Line Interface (CLI): Ini adalah antarmuka baris perintah Linux tradisional untuk Oozie.

• Konsol Web Oozie: Oke, mungkin Anda tidak dapat melakukan banyak interaksi di sini, namun Konsol Web Oozie memberi Anda pandangan (baca-tulis) tentang status server Oozie, yaitu berguna untuk memantau pekerjaan Oozie Anda. Hue, sebuah antarmuka administrasi Hadoop, menyediakan alat lain untuk bekerja dengan Oozie.Alur kerja Oozie, koordinator, dan kumpulan semuanya didefinisikan dengan menggunakan XML, yang dapat membosankan untuk diedit, terutama untuk situasi yang kompleks. Hue menyediakan alat perancang GUI untuk membangun alur kerja grafis dan objek Oozie lainnya.

  

Di bawah selimut, Oozie menyertakan server web Tomcat tersemat, yang menangani input dan outputnya.