Video: Apache Spark Tutorial | Spark Tutorial for Beginners | Apache Spark Training | Edureka 2024
YARN, bagi mereka yang baru tiba di pesta ini, adalah singkatan dari Yet Another Resource Negotiator, alat yang memungkinkan kerangka pemrosesan data lainnya berjalan di Hadoop. Kemuliaan YARN adalah menghadirkan Hadoop dengan solusi elegan untuk sejumlah tantangan yang telah berlangsung lama.
YARN dimaksudkan untuk menyediakan penjadwalan beban kerja yang lebih efisien dan fleksibel serta fasilitas pengelolaan sumber daya, yang pada akhirnya memungkinkan Hadoop untuk menjalankan lebih dari sekedar pekerjaan MapReduce.
Angka tersebut menunjukkan secara umum bagaimana YARN sesuai dengan Hadoop dan juga menjelaskan bagaimana hal itu memungkinkan Hadoop menjadi platform yang benar-benar umum untuk pengolahan data. Daftar berikut memberi lirik melodi:
-
Penyimpanan terdistribusi: Tidak ada yang berubah di sini dengan beralih dari MapReduce ke YARN - HDFS masih merupakan lapisan penyimpanan untuk Hadoop.
-
Manajemen sumber daya: Konsep dasar yang mendasari dalam pergeseran ke YARN dari Hadoop 1 adalah memisahkan pengelolaan sumber daya dari pemrosesan data. Ini memungkinkan YARN menyediakan sumber daya untuk setiap kerangka pemrosesan yang ditulis untuk Hadoop, termasuk MapReduce.
-
Kerangka pemrosesan: Karena YARN adalah fasilitas pengelolaan sumber daya umum, ia dapat mengalokasikan sumber daya cluster ke kerangka pemrosesan data yang ditulis untuk Hadoop. Kerangka pemrosesan kemudian menangani masalah runtime aplikasi.
Untuk menjaga kompatibilitas semua kode yang dikembangkan untuk Hadoop 1, MapReduce berfungsi sebagai kerangka pertama yang tersedia untuk digunakan pada BENANG. Pada saat penulisan ini, proyek Apache Tez merupakan proyek inkubator dalam pengembangan sebagai kerangka alternatif untuk pelaksanaan aplikasi Babi dan Hive. Tez kemungkinan akan muncul sebagai konfigurasi standar Hadoop.
-
Application Programming Interface (API): Dengan dukungan untuk kerangka pemrosesan tambahan, dukungan untuk API tambahan akan hadir. Pada saat penulisan ini, Hoya (untuk menjalankan HBase on YARN), Apache Giraph (untuk pemrosesan grafik), Open MPI (untuk pesan yang lewat dalam sistem paralel), Apache Storm (untuk pemrosesan data stream) sedang dalam pengembangan aktif.
