Dasar-dasar Integrasi Data Besar - dummies

Elemen dasar dari platform data besar mengelola data dengan cara baru dibandingkan dengan database relasional tradisional. Hal ini karena kebutuhan untuk memiliki skalabilitas dan kinerja tinggi yang dibutuhkan untuk mengelola data terstruktur dan tidak terstruktur.

Komponen ekosistem data besar mulai dari Hadoop sampai NoSQL DB, MongoDB, Cassandra, dan HBase semuanya memiliki pendekatan sendiri untuk mengekstraksi dan memuat data. Akibatnya, tim Anda mungkin perlu mengembangkan keterampilan baru untuk mengelola proses integrasi di seluruh platform ini. Namun, banyak praktik terbaik manajemen data perusahaan Anda akan menjadi lebih penting saat Anda beralih ke dunia dengan data besar.

Sementara data besar mengenalkan tingkat kompleksitas integrasi yang baru, prinsip dasar fundamental masih berlaku. Tujuan bisnis Anda perlu difokuskan untuk memberikan data yang berkualitas dan terpercaya kepada organisasi pada waktu yang tepat dan dalam konteks yang tepat.

Untuk memastikan kepercayaan ini, Anda perlu menetapkan aturan umum untuk kualitas data dengan penekanan pada akurasi dan kelengkapan data. Selain itu, Anda memerlukan pendekatan komprehensif untuk mengembangkan metadata perusahaan, mencatat silsilah data dan tata kelola untuk mendukung integrasi data Anda.

Pada saat bersamaan, alat tradisional untuk integrasi data berkembang untuk menangani meningkatnya variasi data tidak terstruktur dan volume dan kecepatan data yang meningkat. Sementara bentuk integrasi tradisional mengambil makna baru di dunia data yang besar, teknologi integrasi Anda memerlukan platform umum yang mendukung kualitas data dan pembuatan profil.

Untuk membuat keputusan bisnis yang sehat berdasarkan analisis data yang besar, informasi ini perlu dipercaya dan dipahami di semua tingkat organisasi. Meskipun mungkin bukan biaya atau waktu yang efektif untuk terlalu memperhatikan kualitas data dalam tahap eksplorasi dari analisis data yang besar, walaupun kualitas dan kepercayaan harus berperan jika hasilnya digabungkan dalam proses bisnis.

Informasi perlu disampaikan ke bisnis dengan cara yang terpercaya, terkontrol, konsisten, dan fleksibel di seluruh perusahaan, terlepas dari persyaratan yang spesifik untuk sistem atau aplikasi individual. Untuk mencapai tujuan ini, tiga prinsip dasar berlaku:

• Anda harus membuat pemahaman umum tentang definisi data. Pada tahap awal analisis data besar Anda, Anda tidak mungkin memiliki tingkat kontrol yang sama terhadap definisi data seperti yang Anda lakukan dengan data operasional Anda.Namun, setelah Anda mengidentifikasi pola yang paling relevan dengan bisnis Anda, Anda memerlukan kemampuan untuk memetakan elemen data ke definisi umum.

• Anda harus mengembangkan satu set layanan data untuk memenuhi syarat data dan membuatnya konsisten dan akhirnya dapat dipercaya. Bila sumber data tidak terstruktur dan besar Anda terintegrasi dengan data operasional terstruktur, Anda harus yakin bahwa hasilnya akan bermakna.

• Anda memerlukan cara yang efisien untuk mengintegrasikan sumber data dan sistem rekaman yang besar. Untuk membuat keputusan yang baik berdasarkan hasil analisis data besar Anda, Anda perlu menyampaikan informasi pada waktu yang tepat dan dengan konteks yang tepat. Proses integrasi data besar Anda harus memastikan konsistensi dan reliabilitas.

Untuk mengintegrasikan data di lingkungan aplikasi campuran, dapatkan data dari satu lingkungan data (sumber) ke lingkungan data lain (target). Teknologi ekstrak, transformasi, dan beban (ETL) telah digunakan untuk mencapai hal ini di lingkungan data warehouse tradisional. Peran ETL berkembang untuk menangani lingkungan pengelolaan data yang lebih baru seperti Hadoop.

Di lingkungan data yang besar, Anda mungkin perlu menggabungkan alat yang mendukung proses integrasi batch (menggunakan ETL) dengan integrasi real-time dan federasi di berbagai sumber. Misalnya, perusahaan farmasi mungkin perlu memadukan data yang tersimpan dalam sistem Master Data Management (MDM) dengan sumber data yang besar mengenai hasil penggunaan obat-obatan konsumen.

Perusahaan menggunakan MDM untuk memfasilitasi pengumpulan, penggabungan, konsolidasi, dan penyampaian data yang konsisten dan dapat diandalkan secara terkendali di seluruh perusahaan. Selain itu, alat baru seperti Sqoop dan Scribe digunakan untuk mendukung integrasi lingkungan data yang besar. Anda juga menemukan peningkatan penekanan pada penggunaan teknologi ekstrak, beban, dan transformasi (ELT). Teknologi ini dijelaskan selanjutnya.