Video: Hadoop Processing Frameworks 2024
"Sederhana" sering berarti "elegan" bila menyangkut gambar arsitektur tersebut untuk itu. rumah Silicon Valley baru yang telah Anda rencanakan saat uang mulai mengalir setelah Anda menerapkan Hadoop. Prinsip yang sama berlaku untuk arsitektur perangkat lunak. Babi terdiri dari dua komponen (count 'em, two):
-
Bahasa itu sendiri: Sebagai bukti bahwa pemrogram memiliki selera humor, bahasa pemrograman untuk Babi dikenal dengan Pig Latin, tingkat tinggi bahasa yang memungkinkan Anda menulis pengolahan data dan program analisis.
-
Kompiler Latin Babi: Pembuat Babi Latin mengubah kode Latin Babi menjadi kode yang dapat dieksekusi. Kode dieksekusi baik dalam bentuk pekerjaan MapReduce atau dapat menelurkan sebuah proses dimana instance Hadoop virtual dibuat untuk menjalankan kode Babi pada satu node.
Urutan program MapReduce memungkinkan program Babi melakukan pemrosesan dan analisis data secara paralel, memanfaatkan Hadoop MapReduce dan HDFS. Menjalankan pekerjaan Babi dalam contoh Hadoop virtual adalah strategi yang berguna untuk menguji skrip Babi Anda.
Angka tersebut menunjukkan bagaimana Babi berhubungan dengan ekosistem Hadoop.
Program babi dapat dijalankan di MapReduce v1 atau MapReduce v2 tanpa perubahan kode apapun, terlepas dari mode apa cluster Anda berjalan. Namun, skrip Babi juga bisa dijalankan dengan menggunakan API Tez. Apache Tez menyediakan kerangka eksekusi yang lebih efisien daripada MapReduce. YARN memungkinkan kerangka kerja aplikasi selain MapReduce (seperti Tez) untuk berjalan di Hadoop. Sarang juga bisa melawan kerangka Tez.
