Mendistribusi Dasar-dasar Komputasi untuk Data Besar - dummies

Jika perusahaan Anda mempertimbangkan sebuah proyek data yang besar, penting bagi Anda untuk memahami beberapa dasar komputasi terdistribusi pertama. Tidak ada satu pun model komputasi terdistribusi karena sumber komputasi dapat didistribusikan dengan berbagai cara.

Misalnya, Anda dapat mendistribusikan seperangkat program pada server fisik yang sama dan menggunakan layanan pesan untuk memungkinkan mereka berkomunikasi dan menyampaikan informasi. Hal ini juga memungkinkan untuk memiliki banyak sistem atau server yang berbeda, masing-masing memiliki ingatannya sendiri, yang dapat bekerja sama untuk memecahkan satu masalah.

Mengapa komputasi terdistribusi dibutuhkan untuk data besar

Tidak semua masalah memerlukan komputasi terdistribusi. Jika kendala waktu besar tidak ada, pengolahan kompleks bisa dilakukan melalui layanan khusus jarak jauh. Ketika perusahaan perlu melakukan analisis data yang kompleks, TI akan memindahkan data ke layanan eksternal atau entitas dimana banyak sumber daya cadangan tersedia untuk diproses.

Bukannya perusahaan ingin menunggu untuk mendapatkan hasil yang mereka butuhkan; hanya saja tidak layak secara ekonomi untuk membeli sumber daya komputasi yang cukup untuk menangani persyaratan yang muncul ini. Dalam banyak situasi, organisasi hanya akan menangkap pilihan data daripada mencoba menangkap semua data karena biaya. Analis menginginkan semua data tapi harus puas dengan snapshot, berharap bisa menangkap data yang tepat pada waktu yang tepat.

Terobosan perangkat keras dan perangkat lunak utama merevolusi industri pengelolaan data. Pertama, inovasi dan permintaan meningkatkan daya dan menurunkan harga perangkat keras. Perangkat lunak baru muncul yang mengerti bagaimana memanfaatkan perangkat keras ini dengan mengotomatisasi proses seperti load balancing dan optimasi di seluruh cluster node yang besar.

Perangkat lunak ini menyertakan aturan built-in yang mengerti bahwa beban kerja tertentu memerlukan tingkat kinerja tertentu. Perangkat lunak ini menangani semua node seolah-olah mereka hanyalah satu kumpulan besar aset komputasi, penyimpanan, dan jaringan, dan memindahkan proses ke simpul lain tanpa gangguan jika node gagal, menggunakan teknologi virtualisasi.

Perubahan ekonomi komputasi dan data besar

Maju cepat dan banyak telah berubah. Selama beberapa tahun terakhir, biaya untuk membeli sumber daya komputasi dan penyimpanan telah menurun secara dramatis. Dibantu oleh virtualisasi, server komoditas yang bisa berkerumun dan baling-baling yang bisa di jaringan di rak mengubah ekonomi komputasi. Perubahan ini bertepatan dengan inovasi dalam solusi otomasi perangkat lunak yang secara dramatis memperbaiki pengelolaan sistem ini.

Kemampuan untuk memanfaatkan komputasi terdistribusi dan teknik pemrosesan paralel mengubah lansekap secara dramatis dan mengurangi secara dramatis latensi. Ada kasus khusus, seperti High Frequency Trading (HFT), dimana latensi rendah hanya dapat dicapai dengan menempatkan server secara fisik di satu lokasi.

Masalah dengan latensi untuk data besar

Salah satu masalah abadi dengan pengelolaan data - terutama data dalam jumlah besar - telah menjadi dampak latensi. Latency adalah penundaan dalam sistem berdasarkan penundaan dalam pelaksanaan tugas. Latency adalah masalah dalam setiap aspek komputasi, termasuk komunikasi, pengelolaan data, kinerja sistem, dan lainnya.

Jika Anda pernah menggunakan telepon nirkabel, Anda pernah mengalami latensi secara langsung. Ini adalah penundaan transmisi antara Anda dan pemanggil Anda. Terkadang, latency berdampak kecil pada kepuasan pelanggan, seperti jika perusahaan perlu menganalisis hasilnya di balik layar untuk merencanakan pelepasan produk baru. Ini mungkin tidak memerlukan respon instan atau akses.

Namun, semakin dekat respons tersebut terhadap pelanggan pada saat keputusan, semakin banyak latency yang penting.

Teknik komputasi terdistribusi dan pemrosesan paralel dapat membuat perbedaan yang signifikan dalam latensi yang dialami oleh pelanggan, pemasok, dan mitra. Banyak aplikasi data yang besar bergantung pada latency rendah karena persyaratan data yang besar untuk kecepatan dan volume dan variasi data.

Mungkin tidak mungkin untuk membangun aplikasi data yang besar di lingkungan latensi tinggi jika kinerja tinggi dibutuhkan. Kebutuhan untuk memverifikasi data dalam waktu dekat juga dapat dipengaruhi oleh latensi. Bila Anda berurusan dengan data real-time, tingkat latensi yang tinggi berarti perbedaan antara kesuksesan dan kegagalan.

Permintaan data yang besar memenuhi solusi

Pertumbuhan Internet sebagai platform untuk segala hal mulai dari perdagangan hingga obat mengubah permintaan akan generasi baru pengelolaan data. Pada akhir 1990-an, perusahaan mesin dan internet seperti Google, Yahoo!, dan Amazon. com mampu memperluas model bisnis mereka, memanfaatkan perangkat keras murah untuk komputasi dan penyimpanan.

Selanjutnya, perusahaan-perusahaan ini membutuhkan generasi baru teknologi perangkat lunak yang memungkinkan mereka memonetisasi sejumlah besar data yang mereka dapatkan dari pelanggan. Perusahaan-perusahaan ini tidak bisa menunggu hasil pengolahan analitik. Mereka membutuhkan kemampuan untuk memproses dan menganalisa data ini dalam waktu dekat.