Data Ekstraksi, Gerakan, dan Pemuatan untuk Gudang Data Deluxe - dummies

Implementasi gudang data mewah besar - dan semakin besar setiap saat. Implementasi yang menggunakan ratusan gigabyte (satu gigabyte sama dengan 1 miliar byte) dan bahkan terabyte (1 triliun byte) semakin sering terjadi. Untuk mengelola volume data dan akses pengguna ini, Anda memerlukan server dan database yang sangat kuat.

Siapkan tantangannya! Dengan data warehouse lite, Anda biasanya dapat menangani pergerakan data dari sumber ke gudang dengan cara yang mudah dan sederhana - namun dengan gudang data mewah, Anda sekarang memasuki Zona Kesulitan, di mana banyak proyek pergudangan data memenuhi kebutuhan mereka. Waterloo.

Anda mungkin mengalami kesulitan dalam domain ini karena beberapa alasan:

• Anda berurusan dengan banyak sumber data yang berbeda, beberapa di antaranya mungkin berisi data yang tumpang tindih. Misalnya, informasi pemasok mungkin berasal dari dua sistem pembelian yang berbeda, dan beberapa pemasok Anda memiliki entri di kedua sistem.

  Anda mungkin akan menemukan beberapa pengidentifikasi yang berbeda yang harus Anda konvergen (misalnya, enam karakter alfanumerik yang diidentifikasi sebagai SUPPLIER_ID di salah satu sistem dan bilangan bulat unik yang dikenal sebagai SUP_NUM di sisi lain).

• Jika gudang data Anda berukuran besar (berukuran lebih dari sekitar 250 gigabyte), kemungkinan Anda akan mengalami kesulitan dalam penggalian, pemindahan, dan pemuatan jendela batch Anda. Batch windows , kerangka waktu di mana pembaruan dilakukan ke gudang, diperumit oleh jumlah sumber data yang harus Anda tangani.

• Kemungkinan proses ekstraksi, pergerakan, transformasi, dan pemuatan yang kacau secara eksponensial terkait dengan jumlah elemen data yang dimasukkan ke dalam gudang data.

  Jika Anda dapat menetapkan beberapa faktor kesulitan (bilangan bulat, misalnya) untuk proses mendapatkan data ke dalam gudang, langkah-langkah berikut akan berlaku: Anda memiliki data n elemen yang ingin Anda sertakan dalam data warehouse dengan faktor kesulitan x. Jika sekarang Anda memiliki 2 n elemen data, faktor kesulitan Anda tidak 2 x; lebih tepatnya, itu x kuadrat.

  Untuk membuat faktor kesulitan ini lebih mudah dipahami, berikan beberapa angka ke n dan x. Katakanlah bahwa gudang data Anda memiliki 100 elemen (n) dan faktor kesulitan (x) adalah 5. Jika Anda menggandakan jumlah elemen ( n > = 200), faktor kesulitan Anda adalah 25 (5 kuadrat), bukan 10 (5 x 2).Proses berurusan dengan begitu banyak sumber data, semuanya mengarah ke satu tempat (gudang data Anda mewah), memiliki semua elemen dari terlalu banyak koki di dapur, atau apapun yang dikatakannya. Untuk membuat proses ekstraksi, pergerakan, transformasi, dan pemuatan berjalan dengan lancar, Anda mungkin harus berurusan dengan banyak pemilik aplikasi yang berbeda, pemelihara database resmi, dan orang lain dari berbagai organisasi yang berbeda, yang semuanya harus bekerja sama seperti mereka adalah bagian dari orkestra simfoni profesional. Kenyataannya, kenyataannya, mereka tampil lebih mirip sekelompok siswa taman kanak-kanak yang masing-masing memilih alat musik dari mainan dan diberi tahu, "Sekarang mainkan sesuatu! "Meski prosesnya belum tentu gagal, harapkan sejumlah iterasi sampai Anda bisa mendapatkan data warehouse deluxe yang dimuatkan dengan benar. Sebuah gudang data deluxe dapat memiliki tiga tingkatan (seperti data warehouse lite), kecuali dengan lebih banyak sumber data dan mungkin lebih dari satu jenis alat pengguna yang mengakses gudang. Tapi arsitektur untuk data warehouse deluxe mungkin terlihat seperti apa yang ditunjukkan pada gambar ini, dengan banyak koleksi poin untuk data.

• Selain "stasiun jalan" lain yang diperlukan untuk lingkungan khusus Anda, lingkungan Anda mungkin memiliki elemen-elemen ini:

  Data mart:

  Menerima subkumpulan informasi dari gudang data deluxe dan berfungsi sebagai jalur akses utama untuk pengguna.

Stasiun transformasi sementara:

Area di mana serangkaian data yang diambil dari beberapa sumber mengalami beberapa jenis proses transformasi sebelum memindahkan pipa ke database gudang.

• Quality assurance station: Area di mana kelompok data menjalani pemeriksaan jaminan kualitas intensif sebelum Anda membiarkan mereka pindah ke gudang data.