Letakkan Data Big Together Anda - dummies

Bagaimana Anda bisa mengetahui bagaimana menggabungkan semua data Anda? Dengan proyek data yang besar, apa yang ingin Anda lakukan dengan data terstruktur dan tidak terstruktur menunjukkan mengapa Anda memilih satu teknologi lebih dari yang lain. Ini juga menentukan kebutuhan untuk memahami struktur data inbound untuk memasukkan data ini ke tempat yang tepat.

Mengelola berbagai jenis data untuk data besar

Anda perlu mempertimbangkan beberapa karakteristik data besar dan jenis sistem pengelolaan data yang mungkin ingin Anda gunakan untuk menangani masing-masing.

Mengintegrasikan tipe data ke dalam lingkungan data yang besar

Aspek penting lain dari data besar adalah Anda seringkali tidak perlu memiliki semua data yang akan Anda gunakan. Banyak contoh yang menjadi pokok permasalahannya. Anda mungkin memanfaatkan data media sosial, data berasal dari statistik industri pihak ketiga, atau bahkan data yang berasal dari satelit. Pikirkan media sosial dan Anda akan mengerti.

Sering kali, menjadi penting untuk mengintegrasikan sumber yang berbeda. Data ini mungkin berasal dari semua sistem internal, baik dari sumber internal maupun eksternal, atau dari keseluruhan sumber eksternal. Sebagian besar data ini mungkin sudah pernah didengar sebelumnya.

Data tidak akan datang kepada Anda secara real time. Anda mungkin memiliki banyak dan berbeda di alam. Ini masih bisa lolos sebagai masalah data yang besar. Tentu saja, Anda juga bisa dihadapkan pada skenario di mana Anda melihat data dalam jumlah besar, dengan kecepatan tinggi, dan berbeda di alam.

Intinya adalah Anda tidak akan mendapatkan nilai bisnis jika Anda berurusan dengan berbagai sumber data sebagai satu set silo informasi yang tidak terputus.

Komponen yang Anda butuhkan mencakup konektor dan metadata.

Konektor

Anda ingin memiliki beberapa konektor yang memungkinkan Anda menarik data dari berbagai sumber data yang besar. Mungkin Anda menginginkan konektor Twitter atau Facebook. Mungkin Anda perlu mengintegrasikan dari gudang data Anda dengan sumber data besar yang tidak sesuai dengan lokasi Anda sehingga Anda dapat menganalisis kedua sumber data ini secara bersamaan.

Metadata

Komponen penting untuk mengintegrasikan semua data ini adalah metadata. Metadata adalah definisi, pemetaan, dan karakteristik lain yang digunakan untuk menjelaskan bagaimana menemukan, mengakses, dan menggunakan komponen data perusahaan (dan perangkat lunak). Salah satu contoh metadata adalah data tentang nomor akun. Ini mungkin termasuk nomor, deskripsi, tipe data, nama, alamat, nomor telepon, dan tingkat privasi.

Metadata dapat digunakan untuk membantu Anda mengatur penyimpanan data dan menangani sumber data baru dan yang berubah. Meskipun ide metadata bukanlah hal baru, namun berubah dan berkembang dalam konteks data besar.Dalam dunia metadata tradisional, penting untuk memiliki katalog yang menyediakan satu tampilan dari semua sumber data.

Tapi katalog ini harus berbeda bila Anda tidak mengendalikan semua sumber data ini. Anda mungkin memerlukan alat analisis yang akan membantu Anda memahami metadata yang mendasarinya.