Edge Nodes in Hadoop Cluster - dummies

Simpul tepi adalah antarmuka antara cluster Hadoop dan jaringan luar. Untuk alasan ini, mereka kadang-kadang disebut sebagai node gateway . Paling umum, node tepi digunakan untuk menjalankan aplikasi klien dan alat administrasi klaster.

Mereka juga sering digunakan sebagai area pementasan untuk data yang dipindahkan ke cluster Hadoop. Dengan demikian, Oozie, Pig, Sqoop, dan alat manajemen seperti Hue dan Ambari berjalan dengan baik di sana. Angka tersebut menunjukkan proses yang bisa Anda jalankan pada node Edge.

Simpul tepi sering diabaikan dalam diskusi arsitektur perangkat keras Hadoop. Situasi ini sangat disayangkan karena node tepi melayani tujuan penting dalam cluster Hadoop, dan persyaratan perangkat kerasnya berbeda dari simpul induk dan simpul budak.

Secara umum, ini adalah ide bagus untuk meminimalkan penerapan alat administrasi pada node induk dan simpul budak untuk memastikan bahwa layanan Hadoop yang penting seperti NameNode memiliki sedikit kompetisi untuk sumber daya sebanyak mungkin.

Anda harus menghindari penempatan utilitas transfer data seperti Sqoop pada sesuatu kecuali simpul tepi, karena volume transfer data yang tinggi dapat mempertaruhkan kemampuan layanan Hadoop pada node yang sama untuk berkomunikasi. Pesan layanan Hadoop exchange adalah sumber kehidupan mereka, sehingga latensi tinggi berarti keseluruhan simpul dapat terputus dari cluster.

Angka tersebut menunjukkan dua simpul tepi, namun untuk banyak gugus Hadoop satu simpul tepi tunggal sudah cukup. Simpul tepi tambahan paling sering dibutuhkan bila volume data yang ditransfer masuk atau keluar dari cluster terlalu banyak untuk ditangani satu server.

Penyimpanan yang disarankan

Untuk node tepi dalam cluster Hadoop, gunakan penyimpanan kelas enterprise. Untuk node tepi difokuskan pada alat administrasi dan menjalankan aplikasi klien, gunakan empat drive SAS 900GB, bersama dengan pengendali RAID HDD yang dikonfigurasi untuk RAID 1 + 0.

Simpul tepi yang berorientasi pada ingesting data jelas membutuhkan lebih banyak ruang penyimpanan, sehingga Anda dapat menambahkan drive ke tepi node. Dalam kasus ini, gunakan drive LFF SAS karena kapasitas yang jauh lebih tinggi tersedia, dibandingkan dengan drive SAS tipe-faktor yang lebih kecil.

Pemodelan yang disarankan

Simpul tepi tujuan umum akan dilayani dengan baik oleh konfigurasi prosesor yang serupa dengan yang digunakan untuk node budak - secara khusus, server dual-socket dengan prosesor Ivy Bridge clock antara 2 dan 2. 5GHz.

Memori yang disarankan

Untuk sebagian besar beban kerja pada node tepi, RAM 48GB sudah mencukupi.

Jaringan yang disarankan

Untuk mengaktifkan komunikasi antara jaringan luar dan cluster Hadoop, simpul tepi harus multi-homed ke subnet pribadi cluster Hadoop dan juga ke dalam jaringan perusahaan.

Komputer multi-homed adalah komputer yang memiliki koneksi khusus ke beberapa jaringan. Ini adalah ilustrasi praktis mengapa simpul tepi sangat cocok untuk berinteraksi dengan dunia di luar cluster Hadoop. Menjaga cluster Hadoop Anda di subnet pribadinya adalah praktik yang bagus, sehingga node tepi ini berfungsi sebagai jendela yang terkendali di dalam cluster.

Untuk node tepi yang berfungsi untuk menjalankan aplikasi klien atau alat administrasi, dua pasang koneksi jaringan berikat 1GbE direkomendasikan: satu pasang untuk terhubung ke cluster Hadoop dan pasangan lain untuk jaringan luar.

Simpul tepi yang berorientasi pada penanganan transfer data inbound dan outbound yang tinggi memerlukan dua (dua pasang) konektor jaringan 10GbE berikat: satu pasang untuk terhubung ke cluster Hadoop dan pasangan lain untuk jaringan luar atau sumber menelan data tertentu.