Video: Hadoop Processing Frameworks 2025
Salah satu kasus penggunaan paling awal untuk Hadoop di perusahaan adalah sebagai mesin transformasi program yang digunakan untuk data preprocessing yang terikat untuk gudang data. Pada dasarnya, kasus penggunaan ini memanfaatkan kekuatan ekosistem Hadoop untuk memanipulasi dan menerapkan transformasi ke data sebelum dimuat ke gudang data.
Meskipun mesin transformasi sebenarnya masih baru (ini adalah Hadoop, jadi transformasi dan arus data dikodekan dalam Pig atau MapReduce, di antara bahasa-bahasa lain), pendekatan itu sendiri telah digunakan sesekali dengan proses Extract, Transform, Load (ETL).
Pikirkan evolusi database OLTP dan ROLAP. Banyak organisasi dengan database operasional juga mengerahkan data warehouse. Jadi bagaimana departemen TI mendapatkan data dari database operasional mereka ke gudang data mereka? (Ingatlah bahwa data operasional biasanya tidak dalam bentuk yang sesuai dengan analisisnya.)
Jawabannya di sini adalah ETL, dan karena gudang data meningkat dalam penggunaan dan kepentingan, langkah-langkah dalam proses menjadi sangat dipahami dan praktik terbaik adalah dikembangkan. Selain itu, sejumlah perusahaan perangkat lunak mulai menawarkan solusi ETL yang menarik sehingga departemen TI dapat meminimalkan pengembangan kode kustom mereka sendiri.
Proses ETL dasar cukup mudah: Anda E xtract data dari database operasional, T ransform ke dalam bentuk yang Anda butuhkan untuk analisis dan alat pelaporan, dan kemudian Anda L memasukkan data ini ke gudang data Anda.
Salah satu variasi yang umum terjadi pada ETL adalah ELT - Extract, Load, and Transform. Dalam proses ELT, Anda melakukan transformasi (berlawanan dengan ETL) setelah memuat data ke dalam repositori target. Pendekatan ini sering digunakan ketika transformasi benar-benar bermanfaat dari mesin pemrosesan SQL yang sangat cepat pada data terstruktur. (Database relasional mungkin tidak unggul dalam memproses data tidak terstruktur, namun mereka melakukan pemrosesan dengan sangat cepat - tebak apa? - data terstruktur.)
Jika data yang Anda transformasi ditakdirkan untuk gudang data, dan banyak dari transformasi tersebut dapat dilakukan di SQL, Anda dapat memilih untuk menjalankan transformasi di gudang data itu sendiri. ELT sangat menarik jika sebagian besar keahlian Anda terletak pada perkakas berbasis SQL.
Dengan Hadoop sekarang bisa memproses query SQL, baik beban kerja ETL maupun ELT dapat di-host di Hadoop. Angka tersebut menunjukkan layanan ETL ditambahkan ke arsitektur referensi.
Jika Anda telah menggunakan zona pendaratan berbasis Hadoop, Anda memiliki hampir semua yang Anda butuhkan untuk menggunakan Hadoop sebagai mesin transformasi.Anda sudah menyiapkan data dari sistem operasional Anda ke Hadoop menggunakan Sqoop, yang mencakup langkah ekstraksi. Pada titik ini Anda harus menerapkan logika transformasi Anda ke aplikasi MapReduce atau Pig. Setelah data ditransformasikan, Anda bisa memasukkan data ke dalam gudang data menggunakan Sqoop.
Menggunakan Hadoop sebagai mesin transformasi data juga memunculkan kemungkinan. Jika gudang data Anda tidak mengubah datanya (hanya untuk pelaporan), Anda bisa menyimpan data yang Anda hasilkan dengan proses transformasi. Dalam model ini, data hanya mengalir dari kiri ke kanan pada gambar, dimana data diambil dari database operasional, ditransformasikan di zona pendaratan, dan kemudian dimasukkan ke dalam gudang data.
Dengan semua data yang telah berubah yang sudah ada di zona pendaratan, Anda tidak perlu menyalinnya kembali ke Hadoop - kecuali, tentu saja, data akan dimodifikasi di gudang.
