Hadoop Rack Considerations

Prinsip inti Hadoop adalah skala dengan node budak tambahan untuk memenuhi kebutuhan penyimpanan dan pemrosesan data yang meningkat. Dalam model skala-out, Anda harus mempertimbangkan secara cermat desain cluster karena puluhan, bahkan ratusan, dari node budak pada akhirnya perlu disadap, bertenaga, berjejaring, dan didinginkan.

Faktor bentuk server

Salah satu pilihan pertama yang akan dihadapi arsitek TI saat merancang cluster Hadoop adalah faktor bentuk berikut dua yang digunakan untuk node Hadoop:

• Blade server: Dirancang untuk kerapatan maksimum, Anda bisa menjejalkan sebanyak mungkin bayi ini ke dalam satu rak. Server blade masuk ke dalam enclosure blade, yang memiliki banyak komponen server standar, seperti dedicated storage, networking, power, dan cooling. Komponen ini dibagi di antara server blade, yang berarti setiap server blade individu bisa jauh lebih kecil.

  Server blade adalah pilihan yang menarik di permukaan karena Anda bisa mengambil rak standar dan memasang antara 40 dan 50 server blade ini. Masalah dengan menggunakan pisau untuk penerapan Hadoop adalah mereka bergantung pada komponen bersama tertentu, yang tidak sesuai dengan arsitektur berbagi-sama Hadoop, di mana masing-masing simpul budak mandiri dan memiliki sumber daya khusus mereka sendiri.

  Lebih penting lagi, bilah memiliki sedikit ruang untuk penyimpanan yang terpasang secara lokal, seringkali tidak memiliki lebih dari dua atau tiga teluk drive. Ini adalah non-starter untuk Hadoop, karena node budak membutuhkan kapasitas penyimpanan yang jauh lebih tinggi.

• Server Rack: Server lengkap tanpa komponen dan ruang bersama untuk perluasan perangkat keras, server rak adalah pilihan sebenarnya untuk Hadoop karena keduanya mandiri. Server rak yang dikonfigurasikan dengan tepat karena menjadi simpul budak Hadoop biasanya menempati dua RU, jadi Anda bisa memasukkan 20 di antaranya di rak standar.

Biaya kepemilikan

Saat memilih dan merancang simpul budak, pertimbangan terpenting Anda biasanya adalah biaya pengadaan awal dan volume penyimpanan. Namun, biaya kepemilikan juga penting. Namun, ini adalah tindakan penyeimbang yang bagus, karena pilihan yang mempengaruhi biaya pengadaan, konsumsi daya, pendinginan, kinerja perangkat keras, dan kerapatan sering bertentangan. Atas nama membantu Anda membuat pilihan yang baik, inilah beberapa saran (cukup spesifik):

• Cadangan pasokan listrik yang berlebihan untuk node induk. Memiliki pasokan listrik yang berlebihan untuk simpul budak terlalu banyak - kegagalan pasokan listrik pada node budak tidak akan sangat mempengaruhi cluster.Namun, karena pasokan listrik yang berlebihan pada semua simpul budak akan meningkatkan konsumsi daya dan menghasilkan lebih banyak panas.

• Pilih kecepatan clock tengah-of-the-road untuk slave node CPUs. CPU dengan clock speed yang lebih tinggi tidak hanya membutuhkan biaya lebih tetapi juga menggunakan lebih banyak tenaga dan menghasilkan panas yang jauh lebih banyak.

• Pilih rak server yang dirancang untuk Hadoop. Dengan meningkatnya popularitas Hadoop, semua vendor perangkat keras utama sekarang menawarkan server rak yang merupakan simpul budak yang ideal, dengan 12 sampai 20 drive bay untuk penyimpanan lokal terlampir.

  Server rak yang dirancang untuk bekerja sebagai simpul budak Hadoop biasanya terlalu besar untuk disesuaikan dengan faktor bentuk satu RU, namun mengambil dua RU dapat menghasilkan ruang kosong. Untuk penggunaan ruang yang lebih efisien, beberapa vendor perangkat keras telah merilis server rak yang menjejalkan beberapa node budak ke dalam satu chassis. Sebagai contoh, dalam bentuk terkompresi ini, rak standar dapat memiliki sebanyak 27 node slave (bahkan dengan switch jaringan), di mana masing-masing node budak memiliki ruang untuk 15 disk drive untuk HDFS. Hasil dari pengaturan ini adalah kerapatan yang jauh lebih tinggi dan penggunaan ruang yang lebih baik di pusat data.