Bagaimana Menggunakan Data Streaming untuk Data Big - dummies

Masukkan data streaming Bila sejumlah besar data perlu segera diproses dalam waktu dekat untuk mendapatkan wawasan, data yang bergerak dalam bentuk data streaming adalah jawaban terbaik.

Apa data yang tidak saat istirahat? Ini adalah sistem yang mengelola transaksi aktif dan karena itu perlu memiliki ketekunan. Dalam kasus ini, data akan disimpan di toko data operasional. Namun, dalam situasi lain, transaksi tersebut telah dilaksanakan, dan sekarang saatnya untuk menganalisis data tersebut secara khas di gudang data atau data mart.

Ini berarti bahwa informasi sedang diproses secara batch dan tidak secara real time. Ketika organisasi merencanakan masa depan mereka, mereka harus bisa menganalisis banyak data, mulai dari informasi tentang apa yang pelanggan beli dan mengapa. Penting untuk memahami indikator perubahan utama. Dengan kata lain, bagaimana dampak perubahan yang akan ditawarkan oleh produk dan layanan di masa depan?

Banyak organisasi riset menggunakan analisis data jenis ini untuk menemukan obat baru. Perusahaan asuransi mungkin ingin membandingkan pola kecelakaan lalu lintas di wilayah geografis yang luas dengan statistik cuaca. Dalam kasus ini, tidak ada manfaat untuk mengelola informasi ini secara real-time speed. Jelas, analisisnya harus cepat dan praktis. Selain itu, organisasi akan menganalisis data untuk melihat apakah pola baru muncul.

Data streaming adalah platform komputasi analitik yang fokus pada kecepatan. Ini karena aplikasi ini memerlukan arus data yang tidak terstruktur yang terus menerus untuk diproses. Oleh karena itu, data terus dianalisis dan ditransformasikan dalam memori sebelum disimpan pada disk. Mengolah aliran data bekerja dengan memproses "jendela waktu" data di memori di sekelompok server.

Ini mirip dengan pendekatan saat mengelola data saat istirahat memanfaatkan Hadoop. Perbedaan utamanya adalah masalah kecepatan. Pada cluster Hadoop, data dikumpulkan dalam mode batch dan kemudian diproses. Kecepatan masalah kurang di Hadoop daripada di streaming data. Beberapa prinsip utama menentukan kapan menggunakan aliran paling sesuai:

• Bila perlu menentukan peluang pembelian eceran pada saat pertunangan, baik melalui media sosial atau melalui pesan berbasis izin

• Mengumpulkan informasi tentang pergerakan di sekitar Situs yang aman

• Untuk dapat bereaksi terhadap suatu peristiwa yang membutuhkan tanggapan segera, seperti pemadaman layanan atau perubahan kondisi medis pasien

• Perhitungan biaya real-time yang bergantung pada variabel seperti penggunaan dan sumber daya yang tersedia

Data streaming berguna saat analisis perlu dilakukan secara real time saat data sedang bergerak.Sebenarnya, nilai analisis (dan seringkali data) berkurang seiring berjalannya waktu. Misalnya, jika Anda tidak dapat menganalisis dan bertindak segera, peluang penjualan mungkin hilang atau ancaman mungkin tidak terdeteksi.

Berikut adalah beberapa contoh yang dapat membantu menjelaskan bagaimana hal ini berguna.

Pembangkit listrik perlu lingkungan yang sangat aman sehingga individu yang tidak berhak tidak mengganggu pengiriman tenaga ke pelanggan. Perusahaan sering menempatkan sensor di sekeliling lokasi untuk mendeteksi gerakan. Tapi masalah bisa ada. Ada perbedaan besar antara seekor kelinci yang bersembunyi di sekitar lokasi dan mobil yang melaju dengan cepat dan sengaja. Oleh karena itu, sejumlah besar data yang berasal dari sensor ini perlu dianalisis secara real time sehingga alarm hanya terdengar bila ada ancaman sebenarnya.

Perusahaan telekomunikasi di pasar yang sangat kompetitif ingin memastikan bahwa pemadaman listrik dipantau dengan ketat sehingga penurunan tingkat layanan yang terdeteksi dapat meningkat ke kelompok yang sesuai. Sistem komunikasi menghasilkan sejumlah besar data yang harus dianalisis secara real time untuk mengambil tindakan yang tepat. Keterlambatan dalam mendeteksi kesalahan dapat secara serius mempengaruhi kepuasan pelanggan.

Tak perlu dikatakan lagi, bisnis berurusan dengan banyak data yang perlu diolah dan dianalisis secara real time. Oleh karena itu, lingkungan fisik yang mendukung tingkat responsif ini sangat penting. Lingkungan data streaming biasanya memerlukan solusi perangkat keras berkerumun, dan terkadang pendekatan pemrosesan paralel secara massal akan diperlukan untuk menangani analisis.

Salah satu faktor penting dalam analisis data streaming adalah kenyataan bahwa itu adalah analisis single-pass. Dengan kata lain, analis tidak dapat melakukan reanalyze data setelah dialirkan. Hal ini biasa terjadi pada aplikasi di mana Anda mencari tidak adanya data.

Jika beberapa lintasan diperlukan, data harus dimasukkan ke dalam semacam gudang dimana analisis tambahan dapat dilakukan. Misalnya, seringkali perlu menetapkan konteks. Bagaimana data streaming ini dibandingkan dengan data historis? Korelasi ini dapat memberi tahu Anda banyak tentang apa yang telah berubah dan perubahan apa yang mungkin berarti bagi bisnis Anda.