Video: Hadoop Rack Awareness 2024
Sering di masa kanak-kanak Hadoop, sejumlah besar diskusi berpusat pada representasi NameNode dari satu titik kegagalan. Hadoop, secara keseluruhan, selalu memiliki arsitektur yang tangguh dan tidak toleran, kecuali area kunci ini. Tanpa NameNode, tidak ada cluster Hadoop.
Dengan menggunakan Hadoop 2, Anda dapat mengkonfigurasi HDFS sehingga ada Active NameNode dan Standby NameNode. Standby NameNode perlu berada pada simpul master khusus yang dikonfigurasi identik dengan simpul master yang digunakan oleh Active NameNode.
Standby NameNode tidak duduk diam sementara NameNode menangani semua permintaan alamat blok. Standby NameNode, bertugas untuk menjaga keadaan lokasi blok dan memblokir metadata di memori, menangani tanggung jawab pemeriksaan HDFS.
Active NameNode menulis entri jurnal tentang perubahan file ke sebagian besar layanan JournalNode, yang dijalankan di node induk. ( Catatan: Solusi ketersediaan tinggi HDFS memerlukan setidaknya tiga node utama, dan jika ada lebih, hanya ada angka ganjil.)
Jika terjadi kegagalan, Node Siaga pertama-tama membaca semua entri jurnal yang telah selesai (dimana sebagian besar Node Jurnal memiliki entri, dengan kata lain), untuk memastikan bahwa Active NameNode yang baru sepenuhnya konsisten dengan keadaan cluster.
Zookeeper digunakan untuk memantau Active NameNode dan menangani failover logistics jika Active NameNode tidak tersedia. Baik Active dan Standby NameNodes telah mendedikasikan Zookeeper Failover Controllers (ZFC) yang melakukan tugas pemantauan dan failover. Jika terjadi kegagalan, ZFC menginformasikan kasus Zookeeper pada cluster, yang kemudian memilih Active NameNode baru.
Apache Zookeeper menyediakan layanan koordinasi dan konfigurasi untuk sistem terdistribusi, jadi tidak mengherankan jika kita melihatnya digunakan di semua tempat di Hadoop.
