Opsi Preprocess Data Hybrid di Hadoop - dummies

Selain harus menyimpan volume data dingin yang lebih banyak, satu tekanan yang Anda lihat di gudang data tradisional adalah peningkatan jumlah sumber daya pengolahan yang digunakan untuk transformasi (ELT) beban kerja. Ide di balik menggunakan Hadoop sebagai mesin preprocessing untuk menangani transformasi data berarti siklus pemrosesan yang berharga terbebaskan, sehingga memungkinkan data warehouse untuk mematuhi tujuan awalnya: Jawab pertanyaan bisnis yang berulang untuk mendukung aplikasi analitik. Sekali lagi, Anda melihat bagaimana Hadoop dapat melengkapi penyebaran data warehouse tradisional dan meningkatkan produktivitas mereka.

beberapa tugas transformasi yang sangat sesuai untuk kemampuan pemrosesan data Hadoop., tapi saya tahu ada juga banyak pekerjaan transformasi yang mendalami tugas aljabar dan langkah demi langkah di mana menjalankan SQL pada mesin database relasional akan menjadi pilihan yang lebih baik. Bukankah keren kalau bisa menjalankan SQL di Hadoop? "

SQL di Hadoop sudah ada di sini. Dengan kemampuan untuk mengeluarkan kueri SQL terhadap data di Hadoop, Anda tidak terjebak hanya dengan pendekatan ETL terhadap arus data Anda - Anda juga dapat menerapkan aplikasi mirip ELT. Pendekatan hibrida lain yang perlu dipertimbangkan adalah ke mana menjalankan logika transformasi Anda: di Hadoop atau di gudang data? Meskipun beberapa organisasi khawatir tentang menjalankan apa pun kecuali analisis di gudang mereka, faktanya tetap bahwa basis data relasional sangat bagus dalam menjalankan SQL, dan bisa menjadi tempat yang lebih praktis untuk menjalankan transformasi daripada Hadoop.