3 Konfigurasi kepala klausa hadoop - dummies

1 3

Pemasangan hadoop single-rack

Penyebaran single-rack adalah titik awal yang ideal untuk cluster Hadoop.

Di sini, kelompok ini cukup mandiri, tapi karena masih memiliki simpul budak yang relatif sedikit, manfaat sebenarnya dari ketentraman Hadoop belum terlihat.

Sebuah cluster berukuran sedang memiliki beberapa rak, di mana tiga node utama didistribusikan ke rak. Ketahanan Hadoop mulai menjadi jelas: Bahkan jika seluruh rak gagal (misalnya, kedua saklar ToR dalam satu rak tunggal), cluster masih akan berfungsi, walaupun pada tingkat kinerja yang lebih rendah. Kegagalan simpul budak hampir tidak akan terlihat.

Dalam kelompok yang lebih besar dengan banyak rak, seperti contoh yang ditunjukkan, arsitektur jaringan yang dibutuhkan cukup canggih.

Terlepas dari berapa banyak rak kelompok Hadoop yang berkembang, simpul budak dari rak manapun perlu diupayakan? ke node master

Karena jumlah node budak meningkat ke titik di mana Anda memiliki lebih dari tiga rak, rak tambahan hanya terdiri dari simpul budak, selain dari switch ToR. Jika Anda menggunakan HBase dengan berat pada cluster Anda, Anda dapat menambahkan node induk untuk menjadi tuan rumah layanan HMaster dan Zookeeper tambahan. Jika Anda lulus dengan skala yang sangat besar, di mana Anda memiliki ratusan simpul budak, Anda mungkin perlu menggunakan kemampuan federasi HDFS sehingga sebagian besar kumpulan data Anda dikelola oleh berbagai layanan NameNode.

Untuk setiap Active NameNode tambahan, Anda memerlukan Standby NameNode yang sesuai dan dua node induk untuk meng-host server ini. Dengan federasi HDFS, langit benar-benar batas dalam hal seberapa jauh Anda bisa memperkecil kelompok Anda.

Kembali Berikutnya