Rumah Keuangan Pribadi Peran Perangkat ETL Tradisional di Big Data - dummies

Peran Perangkat ETL Tradisional di Big Data - dummies

Video: WA 089623045808 | ETL English Time 2025

Video: WA 089623045808 | ETL English Time 2025
Anonim

Alat ETL menggabungkan tiga fungsi penting (ekstrak, transformasi, beban) yang diperlukan untuk mendapatkan data dari satu lingkungan data yang besar. dan memasukkannya ke lingkungan data lain. Secara tradisional, ETL telah digunakan dengan pemrosesan batch di lingkungan data warehouse. Gudang data menyediakan pengguna bisnis dengan cara mengkonsolidasikan informasi untuk menganalisis dan melaporkan data yang relevan dengan fokus bisnis mereka. Alat ETL digunakan untuk mentransformasikan data ke dalam format yang dibutuhkan oleh data warehouse.

Transformasi sebenarnya dilakukan di lokasi perantara sebelum data dimasukkan ke dalam data warehouse. Banyak vendor perangkat lunak, termasuk IBM, Informatica, Pervasive, Talend, dan Pentaho, menyediakan perangkat lunak ETL.

ETL menyediakan infrastruktur dasar untuk integrasi dengan melakukan tiga fungsi penting:

  • Extract: Membaca data dari database sumber.

  • Transform: Mengkonversi format data yang diekstraksi sehingga sesuai dengan persyaratan database target. Transformasi dilakukan dengan menggunakan aturan atau penggabungan data dengan data lainnya.

  • Load: Tulis data ke database target.

Namun, ETL berkembang untuk mendukung integrasi lebih dari sekedar gudang data tradisional. ETL dapat mendukung integrasi lintas sistem transaksional, toko data operasional, platform BI, hub MDM, cloud, dan platform Hadoop. Vendor perangkat lunak ETL memperluas solusi mereka untuk menyediakan ekstraksi, transformasi, dan pemuatan data yang besar antara platform pengelolaan data tradisional Hadoop dan tradisional.

ETL dan perangkat lunak untuk proses integrasi data lainnya seperti pembersihan data, pembuatan profil, dan audit semua bekerja pada berbagai aspek data untuk memastikan data tersebut dianggap dapat dipercaya. Alat ETL terintegrasi dengan alat kualitas data, dan banyak menggabungkan alat untuk pembersihan data, pemetaan data, dan identifikasi garis keturunan data. Dengan ETL, Anda hanya mengekstrak data yang Anda perlukan untuk integrasi.

Alat ETL diperlukan untuk pemuatan dan konversi data terstruktur dan tidak terstruktur ke dalam Hadoop. Alat ETL yang canggih dapat membaca dan menulis beberapa file secara paralel dari dan ke Hadoop untuk mempermudah bagaimana data digabungkan ke dalam proses transformasi umum. Beberapa solusi menggabungkan perpustakaan transformasi ETL prebuilt untuk data transaksi dan interaksi yang berjalan di Hadoop atau infrastruktur grid tradisional.

Transformasi data adalah proses perubahan format data sehingga bisa digunakan oleh aplikasi yang berbeda.Ini bisa berarti sebuah perubahan dari format data yang tersimpan dalam format yang dibutuhkan oleh aplikasi yang akan menggunakan datanya. Proses ini juga menyertakan instruksi mapping sehingga aplikasi diberi tahu bagaimana cara mendapatkan data yang mereka butuhkan untuk diproses.

Proses transformasi data dibuat jauh lebih kompleks karena pertumbuhan data dalam jumlah yang tidak terstruktur. Aplikasi bisnis seperti manajemen hubungan pelanggan memiliki persyaratan khusus untuk bagaimana data harus disimpan. Data kemungkinan terstruktur terstruktur pada baris dan kolom yang terorganisir dari basis data relasional. Data semistruktur atau tidak terstruktur jika tidak mengikuti persyaratan format yang kaku.

Informasi yang terkandung dalam pesan e-mail dianggap tidak terstruktur, misalnya. Beberapa informasi penting perusahaan adalah dalam bentuk terstruktur dan semi-terstruktur seperti dokumen, pesan e-mail, format pesan yang kompleks, interaksi dukungan pelanggan, transaksi, dan informasi yang berasal dari aplikasi kemasan seperti ERP dan CRM.

Alat transformasi data tidak dirancang untuk bekerja dengan baik dengan data tidak terstruktur. Akibatnya, perusahaan yang perlu memasukkan informasi yang tidak terstruktur ke dalam pengambilan keputusan proses bisnisnya telah dihadapkan pada sejumlah besar pengkodean manual untuk mencapai integrasi data yang dibutuhkan.

Mengingat pertumbuhan dan pentingnya data yang tidak terstruktur untuk pengambilan keputusan, solusi ETL dari vendor besar mulai menawarkan pendekatan standar untuk mentransformasikan data tidak terstruktur sehingga dapat lebih mudah diintegrasikan dengan data operasional terstruktur.

Peran Perangkat ETL Tradisional di Big Data - dummies

Pilihan Editor

Kantor 2011 untuk Mac: Membuat Tabel dengan Kotak Dialog atau Teks - dummies

Kantor 2011 untuk Mac: Membuat Tabel dengan Kotak Dialog atau Teks - dummies

Sementara ada cara baru untuk membuat tabel di Office 2011 untuk Mac, Anda masih bisa menggunakan teknik stand-by. Menu yang familiar masih bekerja di Office 2011 untuk Mac, dan inilah buktinya. Dialog meja semuanya masih ada di sana: Di Word, pilih Table → Insert → Table; Sebagai alternatif, pada tab Tabel Ribbon, di Tabel Pilihan ...

Kantor 2011 untuk Mac: Melepaskan Command Toolbar - dummies

Kantor 2011 untuk Mac: Melepaskan Command Toolbar - dummies

Apakah Anda menggunakan Office 2011 untuk Mac atau Produk Microsoft Office lainnya, toolbar Anda bisa sangat berantakan. Setiap kali Anda merasa perlu untuk men-tweak antarmuka aplikasi Microsoft Office, Anda perlu memanggil dialog Customize Toolbars and Menus. Ini adalah dialog super kuat di Word, Excel, dan PowerPoint yang memungkinkan Anda ...

Kantor 2011 untuk Mac: Berbagi Toolbar dan Menu - dummies

Kantor 2011 untuk Mac: Berbagi Toolbar dan Menu - dummies

Setelah Anda menyesuaikan Office 2011 Anda bilah alat dan antarmuka, Anda dapat berbagi penyesuaian dengan orang lain. Namun, pastikan bahwa Anda menasihati orang-orang yang telah Anda lakukan sebelum membagikan dokumen Anda dengannya; Jika tidak, mereka mungkin akan terkejut saat mereka membuka dokumen Anda dan melihat susunan toolbar atau menu yang berbeda dari pada apa ...

Pilihan Editor

Penting Office 2007 Commands - dummies

Penting Office 2007 Commands - dummies

Anda dapat membuat program Office 2007 lebih mudah jika Anda menggunakan pintasan sederhana ini. Perintah-perintah ini, seperti mengurungkan kesalahan dan memperbesar dan memperkecil akan membantu Anda menghemat waktu. Memasuki simbol: Untuk memasukkan simbol atau karakter asing yang tidak ada pada keyboard Anda, masuk ke tab Insert dan klik Symbol ...

Menyesuaikan Perintah Menu di Office 2003 - dummies

Menyesuaikan Perintah Menu di Office 2003 - dummies

Office 2003 menyediakan dua teknik untuk menyesuaikan menu dan perintah menu. Anda bisa memulai dari kotak dialog Rearrange Commands atau menggunakan metode drag-and-drop. Teruslah membaca. Menangani perintah menu di kotak dialog Rearrange Commands Teknik tombol Options Toolbar untuk menangani tombol toolbar bagus dan keren, tapi bagaimana jika Anda ingin ...

Pilihan Editor

Bagaimana memecahkan kesalahan logis dalam analisis argumen Pertanyaan GRE - dummies

Bagaimana memecahkan kesalahan logis dalam analisis argumen Pertanyaan GRE - dummies

Ketika Anda menjawab Argument Analysis Pertanyaan di GRE, argumen mungkin tampak logis dan adil di permukaan tapi sebenarnya keliru (keliru, cacat). Alasan melingkar, penalaran sebab-akibat yang keliru, dan generalisasi sweeping adalah tiga tanda argumen lemah. Dengan melihat beberapa kesalahan logis yang lebih umum, Anda dapat mengidentifikasi kelemahan dalam argumen dan ...

Pilihan ganda, Beberapa Jawaban tentang Tes Matematika GRE - Pertanyaan Praktik - dummies

Pilihan ganda, Beberapa Jawaban tentang Tes Matematika GRE - Pertanyaan Praktik - dummies

Meskipun pertanyaan matematika biasanya hanya memiliki satu jawaban yang benar, ini tidak selalu terjadi. Akibatnya, beberapa pertanyaan pilihan ganda pada tes GRE Math akan memberi Anda daftar jawaban dan meminta Anda untuk memilih lebih dari satu. Pertanyaan praktik berikut meminta Anda untuk menemukan nilai kemungkinan yang berbeda secara berurutan dan ...

Pilihan ganda, Beberapa Jawaban tentang Tes Verbal GRE - Pertanyaan Praktik - dummies

Pilihan ganda, Beberapa Jawaban tentang Tes Verbal GRE - Pertanyaan Praktik - dummies

Pada tes GRE Verbal, beberapa pertanyaan pilihan ganda akan memiliki lebih dari satu jawaban yang benar. Untuk pertanyaan ini, Anda akan diminta untuk melihat-lihat pilihan jawaban dan memilih semua yang menurut Anda benar. Dalam pertanyaan praktik berikut, Anda diminta untuk membaca bagian yang disertakan, dan kemudian ...