Video: Hadoop 2.7.3 Multinode Installation 2024
Di alam semesta Hadoop, simpul budak adalah tempat penyimpanan data Hadoop dan tempat pemrosesan data berlangsung. Layanan berikut mengaktifkan node slave untuk menyimpan dan mengolah data:
-
NodeManager: Mengkoordinasikan sumber daya untuk node slave individu dan melapor kembali ke Resource Manager.
-
ApplicationMaster: Melacak kemajuan semua tugas yang berjalan di cluster Hadoop untuk aplikasi tertentu. Untuk setiap aplikasi klien, Manajer Sumber Daya menyebarkan sebuah instance dari layanan ApplicationMaster dalam sebuah wadah pada node slave. (Ingat bahwa setiap node yang menjalankan layanan NodeManager terlihat oleh Resource Manager.)
-
Container: Kumpulan semua sumber daya yang dibutuhkan untuk menjalankan tugas individual untuk sebuah aplikasi. Ketika sebuah aplikasi berjalan di cluster, Resource Manager menjadwalkan tugas agar aplikasi berjalan sebagai layanan kontainer pada node slave cluster.
-
TaskTracker: Mengatur peta individu dan mengurangi tugas yang dijalankan pada simpul budak untuk kelompok Hadoop 1. Di Hadoop 2, layanan ini sudah usang dan telah diganti dengan layanan YARN.
-
DataNode: Layanan HDFS yang memungkinkan NameNode menyimpan blok pada node slave.
-
RegionServer: Menyimpan data untuk sistem HBase. Dalam Hadoop 2, HBase menggunakan Hoya, yang memungkinkan instance RegionServer dijalankan dalam kontainer.
Di sini, setiap node slave selalu menjalankan instance DataNode (yang memungkinkan HDFS untuk menyimpan dan mengambil blok data pada node slave) dan instance NodeManager (yang memungkinkan Resource Manager untuk menetapkan tugas aplikasi ke node slave untuk diproses). Proses kontainer adalah tugas individu untuk aplikasi yang berjalan di cluster.
Setiap aplikasi yang berjalan memiliki tugas ApplicationMaster yang berdedikasi, yang juga berjalan dalam sebuah wadah, dan melacak eksekusi semua tugas yang dijalankan pada cluster sampai aplikasi selesai.
Dengan HBase pada Hadoop 2, model kontainer masih diikuti, seperti yang Anda lihat:
HBase pada Hadoop 2 diprakarsai oleh Master Aplikasi Hoya, yang meminta kontainer untuk layanan HMaster. (Anda memerlukan beberapa layanan HMaster untuk redundansi.) Master Aplikasi Hoya juga meminta sumber daya untuk RegionServer, yang juga ada dalam wadah khusus.
Gambar berikut menunjukkan layanan yang digunakan pada node budak Hadoop 1.
Untuk Hadoop 1, setiap node slave selalu menjalankan instance DataNode (yang memungkinkan HDFS untuk menyimpan dan mengambil blok data pada node slave) dan contoh TaskTracker (yang memungkinkan JobTracker untuk menetapkan peta dan mengurangi tugas ke node slave untuk diproses).
Slave node memiliki sejumlah slot peta dan mengurangi slot untuk eksekusi peta dan mengurangi tugas masing-masing. Jika cluster Anda menjalankan HBase, sejumlah node budak Anda perlu menjalankan layanan RegionServer. Semakin banyak data yang Anda simpan di HBase, semakin banyak instance RegionServer yang Anda perlukan.
Kriteria hardware untuk node slave agak berbeda dengan node master; Sebenarnya, kriteria tidak sesuai dengan yang ditemukan di arsitektur referensi perangkat keras tradisional untuk server data. Sebagian besar buzz seputar Hadoop adalah karena penggunaan perangkat keras komoditas dalam kriteria desain cluster Hadoop, namun perlu diingat bahwa hardware barang tidak sesuai dengan perangkat keras kelas konsumen. Simpul budak Hadoop masih memerlukan perangkat keras kelas enterprise, namun di ujung bawah spektrum biaya, terutama untuk penyimpanan.
