Video: Step 5 How to install Nutch starting to Crawling 2024
Alat open source yang secara unik berguna dalam analisis prediktif adalah Apache Mahout. Perpustakaan mesin belajar ini mencakup versi clustering, klasifikasi, penyaringan kolaboratif, dan algoritma penggandaan data lainnya yang dapat mendukung model analisis prediktif berskala besar.
Cara yang sangat disarankan untuk mengolah data yang dibutuhkan untuk model seperti itu adalah dengan menjalankan Mahout dalam sistem yang sudah menjalankan Hadoop. Hadoop menunjuk mesin induk yang mengatur mesin lainnya (seperti mesin Map dan Reduce machines) yang digunakan dalam proses terdistribusi. Mahout harus dipasang pada mesin induk itu.
Bayangkan Anda memiliki sejumlah besar data streaming - artikel berita Google - dan Anda ingin membuat cluster berdasarkan topik, menggunakan salah satu algoritma pengelompokan. Setelah Anda menginstal Hadoop dan Mahout, Anda dapat menjalankan salah satu algoritma - seperti K-means - pada data Anda.
Implementasi K-means di bawah Mahout menggunakan pendekatan MapReduce, yang membuatnya berbeda dengan penerapan normal K-means. Mahout membagi algoritma K-means ke dalam sub-prosedur ini:
-
KmeansMapper membaca dataset input dan akan menetapkan setiap titik masukan ke sarana awalnya yang paling awal dipilih (perwakilan cluster).
-
Prosedur KmeansCombiner akan mengambil semua catatan - pasang - yang diproduksi oleh KmeansMapper dan menghasilkan jumlah sebagian untuk memudahkan perhitungan perwakilan cluster selanjutnya.
-
KmeansReducer menerima nilai yang dihasilkan oleh semua subtugas (penggabung) untuk menghitung centroid sebenarnya dari kelompok yang merupakan keluaran akhir dari K-means.
-
KmeansDriver menangani iterasi proses sampai semua kelompok berkumpul. Output dari iterasi tertentu, parsial pengelompokan output, digunakan sebagai input untuk iterasi berikutnya. Proses pemetaan dan pengurangan dataset sampai penugasan catatan dan kelompok tidak menunjukkan perubahan lebih lanjut.
Apache Mahout adalah proyek yang baru saja dikembangkan; fungsinya masih memiliki banyak ruang untuk mengakomodasi perpanjangan. Sementara itu, Mahout telah menggunakan MapReduce untuk menerapkan klasifikasi, pengelompokan, dan teknik pembelajaran mesin lainnya - dan dapat melakukannya dalam skala besar.
