Jaringan dan cluster Hadoop

Seperti halnya sistem terdistribusi lainnya, jaringan dapat membuat atau menghancurkan cluster Hadoop: Jangan "pergi murah. "Banyak obrolan terjadi antara node induk dan simpul budak dalam kelompok Hadoop yang penting dalam menjaga agar cluster tetap berjalan, sehingga switch kelas enterprise sangat direkomendasikan.

Untuk setiap rak di cluster Anda, Anda memerlukan dua switch top-of-rack (ToR), untuk kedua redundansi dan kinerja. Gunakan 10GbE untuk switch ToR.

Switch ToR adalah switch jaringan yang menghubungkan semua komputer dalam rak bersama. Anda biasanya melihat mereka di rak paling atas, itulah sebabnya orang mengatakan "top-of-rack. "Pendekatan jaringan alternatif adalah menggunakan switch end-of-row (EoR) tapi, Anda tidak sering melihat ini.

Pendekatan ToR lebih sederhana dari perspektif jaringan untuk mengembangkan kelompok. Misalnya, menambahkan node slave dan rak tambahan jauh lebih mudah dengan switch ToR daripada EoR.

Bila Anda memiliki lebih dari tiga rak, Anda memerlukan setidaknya dua saklar inti (sekali lagi, terutama untuk redundansi, tapi juga untuk kinerja). Switch inti ini menangani sejumlah besar lalu lintas, jadi 40GbE adalah sebuah kebutuhan.

Jika Anda membangun atau memperluas cluster untuk menjangkau beberapa rak, ikuti pakar jaringan yang mengenal Hadoop, rencana pertumbuhan masa depan Anda, dan beban kerja Anda. Jaringan buruk bisa sangat menghambat kinerja, tapi juga bisa membuat pertumbuhan masa depan terasa sakit dan mahal.