Video: MapReduce : Simplified Data Processing on Large Cluster 2024
Seperti kematian dan pajak, kegagalan disk (dan diberi cukup waktu, bahkan kegagalan node atau rak), adalah Tak terelakkan dalam Hadoop Distributed File System (HDFS). Pada contoh yang ditunjukkan, bahkan jika satu rak gagal, cluster dapat terus berfungsi. Kinerja akan terganggu karena Anda telah kehilangan separuh sumber daya pemrosesan Anda, namun sistem masih online dan semua data masih tersedia.
Dalam skenario di mana disk drive atau node budak gagal, server metadata utama untuk HDFS (disebut NameNode) akhirnya menemukan bahwa blok file yang tersimpan pada sumber gagal tidak lagi tersedia. Sebagai contoh, jika Slave Node 3 gagal, itu berarti bahwa Blok A, C, dan D kurang terulang .
Dengan kata lain, terlalu sedikit salinan dari blok ini yang tersedia di HDFS. Ketika HDFS merasakan bahwa sebuah blok kurang terulang, ia akan memerintahkan salinan baru.
Untuk melanjutkan contoh, katakanlah bahwa Slave Node 3 kembali online setelah beberapa jam. Sementara itu, HDFS telah memastikan bahwa ada tiga salinan dari semua blok file. Jadi sekarang, Blok A, C, dan D memiliki empat salinan masing-masing dan terlalu mereplikasi . Seperti halnya blok yang tidak terulang, server metadata utama HDFS akan mencari tahu tentang ini juga, dan akan memesan satu salinan dari setiap file yang akan dihapus.
Salah satu hasil bagus dari ketersediaan data adalah ketika kegagalan disk terjadi, tidak perlu segera mengganti hard drive yang gagal. Hal ini dapat dilakukan secara lebih efektif pada interval yang dijadwalkan secara teratur.
