Video: How to Build and Install Hadoop on Windows 2024
MapReduce semakin berguna untuk data besar. Pada awal tahun 2000an, beberapa insinyur di Google melihat ke masa depan dan menentukan bahwa sementara solusi saat ini untuk aplikasi seperti perayapan web, frekuensi kueri, dan sebagainya cukup memadai untuk sebagian besar persyaratan yang ada, namun hal itu tidak memadai untuk kompleksitas yang mereka perkirakan sebagai web diskalakan bagi lebih banyak pengguna.
Teknisi ini menentukan bahwa jika pekerjaan dapat didistribusikan ke komputer murah dan kemudian dihubungkan di jaringan dalam bentuk "cluster", mereka bisa menyelesaikan masalah. Distribusi saja bukanlah jawaban yang cukup. Distribusi pekerjaan ini harus dilakukan secara paralel karena tiga alasan berikut:
-
Pengolahan harus dapat berkembang dan berkontraksi secara otomatis.
-
Pengolahan harus dapat dilanjutkan terlepas dari kegagalan jaringan atau sistem individual.
-
Pengembang yang menggunakan pendekatan ini harus dapat menciptakan layanan yang mudah dimanfaatkan oleh pengembang lain. Oleh karena itu, pendekatan ini harus independen terhadap tempat data dan perhitungan dijalankan.
MapReduce dirancang sebagai model pemrograman generik. Beberapa implementasi awal menyediakan semua persyaratan utama eksekusi paralel, toleransi kesalahan, load balancing, dan manipulasi data. Para insinyur yang bertanggung jawab atas proyek tersebut menamai inisiatif MapReduce karena menggabungkan dua kemampuan dari bahasa komputer fungsional yang ada: map dan reduce .
Teknisi Google merancang MapReduce untuk memecahkan masalah praktis tertentu. Oleh karena itu, dirancang sebagai model pemrograman yang dikombinasikan dengan penerapan model tersebut - pada intinya, implementasi referensi.
Implementasi referensi digunakan untuk menunjukkan kepraktisan dan keefektifan konsep dan untuk membantu memastikan bahwa model ini akan diterapkan secara luas oleh industri komputer. Selama bertahun-tahun, implementasi MapReduce lainnya telah diciptakan dan tersedia baik sebagai produk open source maupun komersial.
