Middleware Layanan: Pemetaan Data dan Transformasi - dummies

Angka ini menunjukkan lingkungan di mana data diambil dari tiga sumber data yang berbeda untuk dimasukkan ke dalam gudang data, dan masing-masing dari ketiga sumber tersebut berada pada platform yang berbeda. Pada beberapa titik dalam proses middleware, ekstrak QA'd ini harus digabungkan untuk pemetaan gabungan dan proses transformasi.

Layanan pemetaan dan transformasi menangani masalah pergudangan data klasik. Misalkan satu sumber data menyimpan pelanggan dengan menggunakan ID pelanggan lima karakter, dan sumber lain menggunakan pengenal pelanggan numerik enam digit.

Untuk mengaktifkan perbandingan dan pemrosesan data warehouse lainnya, Anda memerlukan metode identifikasi pelanggan yang umum: Salah satu skema identifikasi harus dikonversi ke sistem identifikasi netral yang lain, atau mungkin yang ketiga, tergantung pada karakteristik lingkungan.

Selain menangani ketidaksesuaian sistem silang, transformasi tambahan mungkin termasuk

• Ringkasan data: Ringkasan dapat dilakukan lebih awal dalam prosesnya, sebelum pergerakan sistem silang, tergantung pada Keistimewaan lingkungan pergudangan data spesifik Anda.

• Penyertaan data selektif: Anda mungkin menyertakan catatan hanya dari satu sumber data, misalnya, jika Anda mendapatkan rekaman yang sebanding dari ekstrak lainnya. Anda tidak tahu, sampai Anda menggabungkan semua kontribusi sumber data, bagaimana aturan penyertaan selektif diterapkan.

• Konvergensi data: Elemen tertentu dari satu sumber data digabungkan dengan elemen dari sumber lain untuk membuat satu catatan terpadu untuk setiap pelanggan, produk, kontrak, atau jenis data apa pun yang Anda hadapi. dengan.

Poin utama yang harus diingat tentang layanan pemetaan dan transformasi adalah yang seharusnya Anda dapatkan, pada akhirnya, kumpulan data terpadu yang siap dimuat ke gudang data - segera setelah Anda menyelesaikan beberapa langkah lagi.

Di lingkungan pergudangan data yang kompleks, Anda mungkin ingin mempertimbangkan beberapa proses transformasi. Seperti yang ditunjukkan pada gambar ini, misalnya, ekstrak data bertemu di beberapa tingkat transformasi yang berbeda sebelum bergerak lebih jauh ke jalur middleware, memungkinkan Anda untuk menerapkan lebih banyak tenaga kuda ke proses transformasi dengan menggunakan beberapa server di awal arus.