Video: WA 089623045808 | ETL English Time 2024
Alat ETL menggabungkan tiga fungsi penting (ekstrak, transformasi, beban) yang diperlukan untuk mendapatkan data dari satu lingkungan data yang besar. dan memasukkannya ke lingkungan data lain. Secara tradisional, ETL telah digunakan dengan pemrosesan batch di lingkungan data warehouse. Gudang data menyediakan pengguna bisnis dengan cara mengkonsolidasikan informasi untuk menganalisis dan melaporkan data yang relevan dengan fokus bisnis mereka. Alat ETL digunakan untuk mentransformasikan data ke dalam format yang dibutuhkan oleh data warehouse.
Transformasi sebenarnya dilakukan di lokasi perantara sebelum data dimasukkan ke dalam data warehouse. Banyak vendor perangkat lunak, termasuk IBM, Informatica, Pervasive, Talend, dan Pentaho, menyediakan perangkat lunak ETL.
ETL menyediakan infrastruktur dasar untuk integrasi dengan melakukan tiga fungsi penting:
-
Extract: Membaca data dari database sumber.
-
Transform: Mengkonversi format data yang diekstraksi sehingga sesuai dengan persyaratan database target. Transformasi dilakukan dengan menggunakan aturan atau penggabungan data dengan data lainnya.
-
Load: Tulis data ke database target.
Namun, ETL berkembang untuk mendukung integrasi lebih dari sekedar gudang data tradisional. ETL dapat mendukung integrasi lintas sistem transaksional, toko data operasional, platform BI, hub MDM, cloud, dan platform Hadoop. Vendor perangkat lunak ETL memperluas solusi mereka untuk menyediakan ekstraksi, transformasi, dan pemuatan data yang besar antara platform pengelolaan data tradisional Hadoop dan tradisional.
ETL dan perangkat lunak untuk proses integrasi data lainnya seperti pembersihan data, pembuatan profil, dan audit semua bekerja pada berbagai aspek data untuk memastikan data tersebut dianggap dapat dipercaya. Alat ETL terintegrasi dengan alat kualitas data, dan banyak menggabungkan alat untuk pembersihan data, pemetaan data, dan identifikasi garis keturunan data. Dengan ETL, Anda hanya mengekstrak data yang Anda perlukan untuk integrasi.
Alat ETL diperlukan untuk pemuatan dan konversi data terstruktur dan tidak terstruktur ke dalam Hadoop. Alat ETL yang canggih dapat membaca dan menulis beberapa file secara paralel dari dan ke Hadoop untuk mempermudah bagaimana data digabungkan ke dalam proses transformasi umum. Beberapa solusi menggabungkan perpustakaan transformasi ETL prebuilt untuk data transaksi dan interaksi yang berjalan di Hadoop atau infrastruktur grid tradisional.
Transformasi data adalah proses perubahan format data sehingga bisa digunakan oleh aplikasi yang berbeda.Ini bisa berarti sebuah perubahan dari format data yang tersimpan dalam format yang dibutuhkan oleh aplikasi yang akan menggunakan datanya. Proses ini juga menyertakan instruksi mapping sehingga aplikasi diberi tahu bagaimana cara mendapatkan data yang mereka butuhkan untuk diproses.
Proses transformasi data dibuat jauh lebih kompleks karena pertumbuhan data dalam jumlah yang tidak terstruktur. Aplikasi bisnis seperti manajemen hubungan pelanggan memiliki persyaratan khusus untuk bagaimana data harus disimpan. Data kemungkinan terstruktur terstruktur pada baris dan kolom yang terorganisir dari basis data relasional. Data semistruktur atau tidak terstruktur jika tidak mengikuti persyaratan format yang kaku.
Informasi yang terkandung dalam pesan e-mail dianggap tidak terstruktur, misalnya. Beberapa informasi penting perusahaan adalah dalam bentuk terstruktur dan semi-terstruktur seperti dokumen, pesan e-mail, format pesan yang kompleks, interaksi dukungan pelanggan, transaksi, dan informasi yang berasal dari aplikasi kemasan seperti ERP dan CRM.
Alat transformasi data tidak dirancang untuk bekerja dengan baik dengan data tidak terstruktur. Akibatnya, perusahaan yang perlu memasukkan informasi yang tidak terstruktur ke dalam pengambilan keputusan proses bisnisnya telah dihadapkan pada sejumlah besar pengkodean manual untuk mencapai integrasi data yang dibutuhkan.
Mengingat pertumbuhan dan pentingnya data yang tidak terstruktur untuk pengambilan keputusan, solusi ETL dari vendor besar mulai menawarkan pendekatan standar untuk mentransformasikan data tidak terstruktur sehingga dapat lebih mudah diintegrasikan dengan data operasional terstruktur.
