Video: How hdfs federation works 2024
Solusi untuk memperluas kelompok Hadoop tanpa batas waktu adalah federasi NameNode. Sebelum Hadoop 2 memasuki tempat kejadian, kelompok Hadoop harus hidup dengan kenyataan bahwa NameNode membatasi pada tingkat yang bisa mereka skala. Beberapa kelompok mampu mencapai skala di atas 3.000 atau 4.000 node.
Kebutuhan NameNode untuk menyimpan catatan untuk setiap blok data yang tersimpan dalam cluster ternyata merupakan faktor yang paling signifikan yang membatasi pertumbuhan cluster yang lebih besar. Bila Anda memiliki terlalu banyak blok, semakin sulit bagi NameNode untuk ditingkatkan seiring dengan skala cluster Hadoop.
Secara khusus, Anda harus mengatur HDFS sehingga Anda memiliki beberapa instance NameNode yang berjalan dengan sendirinya, node master yang berdedikasi dan kemudian membuat masing-masing NameNode bertanggung jawab hanya untuk blok file di ruang namanya sendiri.
Angka tersebut menunjukkan pola replikasi blok data pada HDFS. Anda bisa melihat cluster Hadoop dengan dua NameNodes yang melayani satu cluster. Simpul budak semuanya berisi blok dari kedua ruang nama.
