Data Management for Big Data - dummies

Apakah data besar benar-benar baru atau apakah itu merupakan evolusi dalam perjalanan pengelolaan data? Ini sebenarnya keduanya. Seperti ombak lain dalam pengelolaan data, data besar dibangun di atas evolusi praktik pengelolaan data selama lima dekade terakhir. Apa yang baru adalah bahwa untuk pertama kalinya, biaya komputasi siklus dan penyimpanan telah mencapai titik kritis. Mengapa ini penting?

Hanya beberapa tahun yang lalu, organisasi biasanya akan berkompromi dengan menyimpan foto atau subkumpulan informasi penting karena biaya penyimpanan dan keterbatasan pemrosesan melarang mereka untuk menyimpan semua yang ingin mereka analisis.

Dalam banyak situasi, kompromi ini berjalan baik. Sebagai contoh, sebuah perusahaan manufaktur mungkin telah mengumpulkan data mesin setiap dua menit untuk menentukan kesehatan sistem. Namun, mungkin ada situasi di mana foto itu tidak berisi informasi tentang jenis cacat baru dan itu mungkin tidak diketahui selama berbulan-bulan.

Dengan data yang besar, sekarang mungkin untuk menginvirtualisasikan data sehingga dapat disimpan secara efisien dan, dengan memanfaatkan penyimpanan berbasis awan, lebih hemat biaya juga. Selain itu, peningkatan kecepatan dan keandalan jaringan telah menghilangkan keterbatasan fisik lainnya untuk dapat mengelola data dalam jumlah besar dengan kecepatan yang dapat diterima.

Tambahkan ke ini dampak perubahan harga dan kecanggihan memori komputer. Dengan semua transisi teknologi ini, sekarang mungkin untuk membayangkan cara-cara agar perusahaan dapat memanfaatkan data yang tak terbayangkan hanya lima tahun yang lalu.

Tetapi tidak ada transisi teknologi yang terjadi secara terpisah; Hal itu terjadi bila ada kebutuhan penting yang bisa dipenuhi oleh ketersediaan dan pematangan teknologi. Banyak teknologi di jantung data besar, seperti virtualisasi, pemrosesan paralel, sistem berkas terdistribusi, dan basis data dalam memori, telah ada selama beberapa dekade.

Analisis lanjutan juga telah ada selama beberapa dekade, meskipun tidak selalu praktis. Teknologi lain seperti Hadoop dan MapReduce telah berada di tempat kejadian selama beberapa tahun. Kombinasi kemajuan teknologi sekarang dapat mengatasi masalah bisnis yang signifikan. Bisnis ingin dapat memperoleh wawasan dan hasil yang dapat ditindaklanjuti dari berbagai jenis data pada kecepatan yang tepat.

Jika perusahaan dapat menganalisis petabyte data (setara dengan 20 juta lemari arsip empat laci yang berisi file teks atau 13. 3 tahun konten HDTV) dengan kinerja yang dapat diterima untuk membedakan pola dan anomali, bisnis dapat mulai memahami data dengan cara baru.Perpindahan ke data besar bukan hanya tentang bisnis.

Kegiatan sains, penelitian, dan pemerintah juga telah membantu mendorongnya ke depan. Coba pikirkan tentang menganalisis genom manusia atau hadapi semua data astronomi yang dikumpulkan di observatorium untuk memajukan pemahaman kita tentang dunia di sekitar kita. Pertimbangkan jumlah data yang dikumpulkan pemerintah dalam aktivitas antiterorisnya, dan Anda mendapatkan gagasan bahwa data besar bukan hanya tentang bisnis.

Pendekatan yang berbeda untuk menangani data ada. Data dalam gerak akan digunakan jika perusahaan mampu menganalisis kualitas produknya selama proses pembuatannya untuk menghindari kesalahan yang mahal. Data yang tersisa akan digunakan oleh analis bisnis untuk lebih memahami pola pembelian pelanggan saat ini berdasarkan semua aspek hubungan pelanggan, termasuk penjualan, data media sosial, dan interaksi layanan pelanggan.

Ingatlah bahwa bisnis masih pada tahap awal memanfaatkan sejumlah besar data untuk mendapatkan pandangan 360 derajat mengenai bisnis dan mengantisipasi perubahan dan perubahan dalam harapan pelanggan. Teknologi yang dibutuhkan untuk mendapatkan jawaban kebutuhan bisnis masih terisolasi satu sama lain.

Data besar bukan hanya tentang satu alat atau satu teknologi. Ini tentang bagaimana semua teknologi ini bersatu untuk memberi wawasan yang tepat, pada saat yang tepat, berdasarkan data yang benar - apakah itu dihasilkan oleh orang, mesin, atau web.