Hadoop sebagai Arsip Queryable tentang Data Warehouse Ganda

Banyak penelitian menunjukkan bahwa sebagian besar data di gudang data perusahaan jarang dipertanyakan. Vendor database telah menanggapi pengamatan tersebut dengan menerapkan metode mereka sendiri untuk memilah data apa yang akan ditempatkan di tempat itu.

Salah satu metode mengarahkan data ke dalam sebutan data panas, hangat, atau dingin, di mana panas kadang-kadang disebut data aktif ) sering digunakan, data hangat digunakan dari waktu ke waktu; dan data dingin jarang digunakan. Solusi yang diajukan untuk banyak vendor adalah untuk menyimpan data dingin pada disk yang lebih lambat di dalam enclosure gudang data atau membuat strategi caching cerdas untuk menyimpan data hot in-memory, antara lain.

Masalah dengan pendekatan ini adalah bahwa meskipun penyimpanan lebih lambat digunakan, masih mahal untuk menyimpan data yang dingin dan jarang digunakan di gudang. Biaya di sini berasal dari keduanya. perizinan perangkat keras dan perangkat lunak. Pada saat yang sama, data yang dingin dan tidak aktif sering diarsipkan ke tape.

Model pengarsipan data tradisional ini rusak saat Anda ingin menanyakan semua data dingin dengan cara yang hemat biaya dan relatif efisien - tanpa harus meminta rekaman lama, dengan kata lain.

Jika Anda melihat karakteristik biaya dan operasional Hadoop, nampaknya sudah diatur untuk menjadi pita cadangan baru. Hadoop murah karena sistem Hadoop dirancang untuk menggunakan kelas perangkat keras yang lebih rendah daripada yang biasanya digunakan dalam sistem data warehouse. Penghematan biaya signifikan lainnya adalah lisensi perangkat lunak.

Izin distribusi Hadoop komersial memerlukan sebagian kecil dari biaya lisensi perangkat lunak gudang data relasional, yang terkenal mahal. Dari perspektif operasional, Hadoop dirancang untuk skala mudah hanya dengan menambahkan node budak tambahan ke cluster yang ada. Dan sebagai node budak ditambahkan dan set data tumbuh dalam volume, kerangka pemrosesan data Hadoop memungkinkan aplikasi Anda untuk menangani beban kerja yang meningkat dengan mulus.

Hadoop merupakan cara yang sederhana, fleksibel, dan murah untuk mendorong pemrosesan di ribuan server secara harfiah.

Dengan arsitekturnya yang terukur dan murah, Hadoop nampaknya merupakan pilihan sempurna untuk mengarsipkan data gudang … kecuali satu hal kecil: Sebagian besar dunia TI berjalan di atas SQL, dan SQL sendiri tidak dapat bermain dengan baik dengan Hadoop.

Tentu, gerakan NoSQL yang lebih ramah Hadoop masih hidup dan sehat, namun sebagian besar pengguna listrik sekarang menggunakan SQL dengan menggunakan toolets common-off-the-shelf yang menghasilkan query SQL di bawah produk kap mesin seperti Tableau, Microsoft Excel, dan IBM Cognos BI.

Memang benar bahwa ekosistem Hadoop mencakup Sarang, tapi Sarang hanya mendukung subset dari SQL, dan walaupun kinerjanya membaik (bersamaan dengan dukungan SQL), tidak secepat dalam menjawab kueri yang lebih kecil seperti sistem relasional. Baru-baru ini, telah terjadi kemajuan besar seputar akses SQL ke Hadoop, yang telah membuka jalan bagi Hadoop untuk menjadi tujuan baru arsip arsip data online.

Meskipun berbagai sudut pandang ada (beberapa bertujuan untuk meningkatkan Hive, beberapa, untuk memperluas Hive, dan lainnya, untuk memberikan alternatif), semua solusi ini berusaha mengatasi dua masalah: MapReduce adalah solusi yang buruk untuk mengeksekusi query yang lebih kecil, dan akses SQL - untuk saat ini - kunci untuk memungkinkan pekerja TI menggunakan keterampilan SQL mereka yang ada untuk mendapatkan nilai dari data yang tersimpan di Hadoop.