Faktor Bentuk Penyebaran Alternatif untuk Hadoop - dummies

Meskipun Hadoop bekerja paling baik saat dipasang di komputer fisik, di mana pemrosesannya memiliki akses langsung ke penyimpanan dan jaringan khusus, Hadoop memiliki penerapan alternatif. Dan meskipun mereka kurang efisien daripada perangkat keras khusus, dalam beberapa kasus alternatif merupakan pilihan yang bermanfaat.

Server virtual

Tren utama di pusat TI selama dekade terakhir adalah virtualisasi, di mana server besar dapat meng-host beberapa "mesin virtual" yang terlihat dan berfungsi seperti mesin tunggal. Sebagai pengganti perangkat keras khusus, seluruh rangkaian aplikasi dan repositori organisasi diterapkan pada perangkat keras virtual.

Pendekatan ini memiliki banyak keuntungan: Pemusatan TI menyederhanakan pemeliharaan, investasi TI dimaksimalkan karena siklus CPU yang tidak terpakai, dan jejak perangkat keras secara keseluruhan lebih rendah, sehingga menghasilkan total biaya kepemilikan yang lebih rendah.

Organisasi tempat penyebaran TI sepenuhnya virtualisasi terkadang mandat bahwa setiap aplikasi baru mengikuti model ini. Meskipun Hadoop dapat digunakan dengan cara ini, yang pada dasarnya adalah cluster virtual (dengan node master virtual dan simpul budak virtual), kinerja mengalami kerugian, sebagian karena untuk sebagian besar lingkungan virtual, penyimpanan berbasis SAN dan tidak terpasang secara lokal.

Karena Hadoop dirancang untuk bekerja dengan baik bila semua core CPU yang tersedia dapat memiliki akses cepat ke disk yang berputar secara independen, sebuah bottleneck dibuat karena semua peta dan mengurangi tugas mulai memproses data melalui jaringan terbatas. antara CPU dan SAN. Karena tingkat isolasi antara sumber daya server virtual terbatas (server virtual berbagi sumber daya satu sama lain), beban kerja Hadoop juga dapat dipengaruhi oleh aktivitas lainnya.

Bila kinerja server virtual Anda dipengaruhi oleh beban kerja server lain, itu sebenarnya dikenal di kalangan TI sebagai masalah "tetangga berisik"!

Lingkungan virtual bisa sangat berguna, namun, dalam beberapa kasus. Misalnya, jika organisasi Anda perlu menyelesaikan satu kali analisis eksploratif kumpulan data yang besar, Anda dapat dengan mudah membuat cluster sementara di lingkungan virtual Anda. Metode ini sering merupakan cara yang lebih cepat untuk mendapatkan persetujuan internal daripada menanggung gangguan birokrasi dalam pengadaan perangkat keras khusus baru.

Saat Anda bereksperimen dengan Hadoop, Anda sering menjalankannya di mesin laptop Anda melalui mesin virtual (VM). Hadoop sangat lambat dalam lingkungan seperti ini, namun jika Anda menggunakan kumpulan data kecil, ini adalah alat pembelajaran dan pengujian yang berharga.

Penyebaran awan

Variasi lingkungan virtual adalah penyedia komputasi awan seperti Amazon, Rackspace, dan IBM SoftLayer. Sebagian besar penyedia awan publik utama sekarang memiliki penawaran MapReduce atau Hadoop yang tersedia untuk digunakan. Sekali lagi, kinerjanya lebih rendah daripada menggelar cluster Anda pada perangkat keras khusus, tapi juga membaik.

Penyedia awan membuat lingkungan yang dioptimalkan Hadoop tersedia di mana simpul budak memiliki penyimpanan dan jaringan khusus yang terpasang secara lokal. Selain itu, hypervisor menjadi lebih efisien, dengan overhead dan latency berkurang.

Jangan mempertimbangkan solusi awan untuk aplikasi jangka panjang, karena biaya untuk menyewa sumber komputasi awan jauh lebih tinggi daripada memiliki dan mempertahankan sistem yang sebanding. Dengan penyedia awan, Anda membayar untuk kenyamanan dan karena dapat melepaskan beban perangkat keras yang disediakan. Namun, awan adalah platform ideal untuk pengujian, pendidikan, dan tugas pemrosesan data satu kali.

Selain pertimbangan kinerja dan biaya, Anda memiliki pertimbangan peraturan dengan penerapan awan publik. Jika Anda memiliki data sensitif, yang harus disimpan baik di dalam rumah atau di negara, penyebaran awan publik bukanlah pilihan. Dalam kasus seperti ini, di mana Anda memerlukan kemudahan penyebaran berbasis awan, awan pribadi adalah pilihan yang baik, jika tersedia.