Hadoop dan Hive - dummies

Untuk membuat cerita panjang, Hive memberi Hadoop jembatan ke dunia RDBMS. dan menyediakan dialek SQL yang dikenal dengan Hive Query Language (HiveQL), yang dapat digunakan untuk melakukan tugas seperti SQL. Itu adalah berita besar, tapi ada lebih banyak hal untuk disimulasikan daripada memenuhi mata, seperti yang mereka katakan, atau lebih banyak aplikasi dari teknologi baru ini daripada yang bisa Anda hadapi di lapangan lift standar. Misalnya, Hive juga memungkinkan konsep yang dikenal sebagai pembesaran data warehouse perusahaan (EDW), sebuah kasus penggunaan terkemuka untuk Apache Hadoop, di mana gudang data disiapkan sebagai RDBMS yang dibuat khusus untuk analisis dan pelaporan data.

Sekarang, beberapa ahli akan berpendapat bahwa Hadoop (dengan Hive, HBase, Sqoop, dan berbagai macam teman) dapat menggantikan EDW. Namun, Apache Hadoop adalah tambahan yang hebat

untuk perusahaan tersebut dan hal itu dapat menambah dan melengkapi EDW yang ada. Sarang, HBase, dan Sqoop memungkinkan pembesaran EDW. Terkait erat dengan teknologi RDBMS / EDW adalah teknologi ekstrak, transformasi, dan beban (ETL). Untuk memahami apa yang ETL lakukan, ada baiknya untuk mengetahui bahwa, dalam banyak kasus penggunaan, data tidak dapat segera dimasukkan ke dalam basis data relasional - pertama-tama harus diambil dari sumber aslinya, diubah menjadi format yang sesuai, dan kemudian dimasukkan ke dalam RDBMS atau EDW.

Misalnya, perusahaan atau organisasi mungkin mengekstrak data teks tidak terstruktur dari forum Internet, mengubah data menjadi format terstruktur yang berharga dan bermanfaat, kemudian memuat data terstruktur ke dalam EDW-nya.

Anda dapat melihat bahwa Sarang adalah alat ETL yang kuat dengan sendirinya, bersama dengan pemain utama di bidang ini: Apache Pig. Sekali lagi, pengguna dapat mencoba untuk menyiapkan alat ETL baru untuk pusat data. (Biarkan mereka mencoba.)

Seperti perdebatan tentang EDW versus Apache Hadoop, teknologi Apache Hadoop ini tidak langsung menggantikan untuk alat ETL yang ada, namun merupakan alat ETL baru yang hebat untuk dijadikan digunakan bila sesuai Last but not least, Apache Hive memberi Anda alat analisis yang hebat, semuanya dalam kerangka HiveQL. Alat ini harus terlihat dan terasa cukup familiar bagi profesional TI yang mengerti cara menggunakan SQL.