Sizing your Hadoop Cluster - dummies

Mengetahui sistem pengolah data adalah sebanyak ilmu pengetahuan seperti itu adalah sebuah seni Dengan Hadoop, Anda mempertimbangkan informasi yang sama seperti yang Anda lakukan dengan database relasional, misalnya. Secara signifikan, Anda perlu mengetahui berapa banyak data yang Anda miliki, memperkirakan tingkat pertumbuhan yang diharapkan, dan menetapkan kebijakan retensi (berapa lama untuk menyimpan data).

Jawaban atas pertanyaan-pertanyaan ini menjadi titik awal Anda, yang terlepas dari persyaratan terkait teknologi.

Setelah Anda menentukan berapa banyak data Anda perlu menyimpan, Anda dapat mulai mempertimbangkan pertimbangan spesifik Hadoop. Misalkan Anda memiliki perusahaan telekomunikasi dan Anda telah menetapkan bahwa Anda memerlukan 750 terabyte (TB) ruang penyimpanan untuk file catatan detail panggilan (CDR). < Anda menyimpan catatan ini untuk mematuhi peraturan pemerintah, namun Anda juga dapat menganalisisnya t o lihat pola churn dan monitor kesehatan jaringan, misalnya. Untuk menentukan berapa banyak ruang penyimpanan yang Anda butuhkan dan, sebagai hasilnya, berapa banyak rak dan simpul budak yang Anda butuhkan, Anda melakukan perhitungan dengan mempertimbangkan faktor-faktor ini:

Faktor replikasi default untuk data di HDFS adalah 3. 500 terabyte data CDR untuk perusahaan telekomunikasi di contoh kemudian berubah menjadi 1500 terabyte.

• Ruang swap: Analisis atau pengolahan data oleh MapReduce memerlukan tambahan 25 persen ruang untuk menyimpan hasil sementara dan hasil akhir. (Perusahaan telekomunikasi sekarang membutuhkan 1875 terabyte ruang penyimpanan.)

• Kompresi:
  Perusahaan telekomunikasi menyimpan CDR dalam bentuk terkompresi, di mana rasio kompresi rata-rata diperkirakan 3: 1. Anda sekarang memerlukan 625 terabyte.

• Jumlah node slave: Dengan asumsi bahwa setiap node slave memiliki dua belas drive 3TB yang didedikasikan untuk HDFS, masing-masing node slave memiliki 36 terabyte penyimpanan HDFS mentah yang tersedia, sehingga perusahaan membutuhkan 18 node slave.

• Jumlah rak: Karena masing-masing node budak menggunakan 2RU dan perusahaan dalam contoh membutuhkan tiga node utama (masing-masing 1RU) dan dua switch ToR (masing-masing 1RU), Anda memerlukan total 41RU. Ini 1RU kurang dari kapasitas total rak standar, jadi satu rak cukup untuk penerapan ini.

• Apapun, tidak ada ruang tersisa untuk pertumbuhan dalam cluster ini, jadi lebih baik membeli rak kedua (dan dua saklar ToR tambahan) dan bagilah simpul budak di antara dua rak. Pengujian:

  Mempertahankan cluster uji yang merupakan representasi skala kecil dari cluster produksi adalah praktik standar. Ini tidak harus besar, tapi Anda menginginkan setidaknya lima simpul data sehingga Anda mendapatkan representasi yang akurat tentang perilaku Hadoop.Seperti halnya lingkungan uji, harus diisolasi pada jaringan yang berbeda dari cluster produksi.

• Backup dan pemulihan bencana: Seperti halnya sistem produksi, perusahaan telekomunikasi juga perlu mempertimbangkan persyaratan pemulihan dan pemulihan bencana. Perusahaan ini bisa berjalan sejauh menciptakan cluster cermin untuk memastikan mereka memiliki siaga panas untuk seluruh sistem mereka. Ini jelas merupakan pilihan yang paling mahal, namun sesuai untuk lingkungan di mana uptime konstan sangat penting.

• Pada akhir spektrum yang paling murah (selain tidak memback up data sama sekali), perusahaan telekomunikasi dapat secara teratur mencadangkan semua data (termasuk data itu sendiri, aplikasi, file konfigurasi, dan metadata) yang disimpan di cluster produksinya. ke tape Dengan rekaman, data tidak segera dapat diakses, namun akan memungkinkan upaya pemulihan bencana jika seluruh cluster produksi Hadoop gagal. Seperti komputer pribadi Anda, saat hard disk drive utama terisi dengan ruang, sistem akan melambat. Hadoop tidak terkecuali. Selain itu, hard drive tampil lebih baik bila kurang dari 85 sampai 90 persen penuh. Dengan adanya informasi ini, jika kinerja penting bagi Anda, Anda harus menghadapi faktor swap-space dari 25 menjadi 33 persen.