Karakteristik Kerangka Analisis Data Besar - dummies

Meskipun perangkat alat baru terus tersedia untuk membantu Anda mengelola dan menganalisis kerangka data besar Anda secara lebih efektif, Anda mungkin tidak dapat memperoleh apa yang Anda butuhkan. Selain itu, berbagai teknologi dapat mendukung analisis data dan persyaratan yang besar seperti ketersediaan, skalabilitas, dan kinerja tinggi. Beberapa di antaranya mencakup peralatan data yang besar, database kolom, basis data dalam memori, database nonrelasional, dan mesin pemrosesan paralel secara besar-besaran.

Jadi, apa yang pengguna bisnis cari ketika sampai pada analisis data yang besar? Jawaban atas pertanyaan itu tergantung pada jenis masalah bisnis yang ingin mereka selesaikan. Beberapa pertimbangan penting saat Anda memilih kerangka analisis aplikasi data yang besar mencakup hal berikut:

• Dukungan untuk beberapa tipe data: Banyak organisasi memasukkan, atau berharap menggabungkan, semua jenis data sebagai bagian dari penyebaran data besar mereka, termasuk data terstruktur, semi terstruktur, dan tidak terstruktur.

• Menangani pemrosesan batch dan / atau arus data real time: Orientasi aksi adalah produk analisis aliran data real-time, sedangkan orientasi keputusan dapat dilayani dengan baik oleh pemrosesan batch. Beberapa pengguna akan memerlukan keduanya, karena mereka berevolusi untuk memasukkan berbagai bentuk analisis.

• Manfaatkan apa yang sudah ada di lingkungan Anda: Untuk mendapatkan konteks yang tepat, mungkin penting untuk memanfaatkan data dan algoritme yang ada dalam kerangka analisis data yang besar.

• Dukungan NoSQL dan bentuk data akses lainnya yang lebih baru: Sementara organisasi akan terus menggunakan SQL, banyak juga melihat bentuk akses data yang lebih baru untuk mendukung waktu respons yang lebih cepat atau waktu yang lebih cepat untuk mengambil keputusan..

• Mengatasi latency rendah: Jika Anda akan menghadapi kecepatan data yang tinggi, Anda memerlukan kerangka kerja yang dapat mendukung persyaratan kecepatan dan kinerja.

• Menyediakan penyimpanan murah: Data besar berarti banyak penyimpanan - bergantung pada jumlah data yang ingin Anda proses dan / atau simpan.

• Integrasikan dengan penyebaran awan: Awan dapat menyediakan penyimpanan dan menghitung kapasitas sesuai permintaan. Semakin banyak perusahaan yang menggunakan cloud sebagai analisis "sandbox. "Semakin banyak, awan menjadi model penyebaran penting untuk mengintegrasikan sistem yang ada dengan penyebaran awan dalam model hibrida.

Meskipun semua karakteristik ini penting, nilai aktual dan aktual dari pembuatan aplikasi dari kerangka kerja adalah waktu yang lebih cepat untuk diterapkan.Dengan semua kemampuan ini, pertimbangkan kerangka aplikasi analisis data yang besar dari perusahaan yang disebut Continuity.

The Continuity AppFabric adalah framework yang mendukung pengembangan dan penyebaran aplikasi data yang besar. AppFabric itu sendiri adalah seperangkat teknologi yang dirancang khusus untuk menghilangkan keanehan teknologi data tingkat rendah yang besar. Pembangun aplikasi adalah plugin Eclipse yang memungkinkan pengembang membuat, menguji, dan melakukan debug secara lokal dan di lingkungan yang familier.

Kemampuan AppFabric mencakup yang berikut ini:

• Dukungan streaming untuk analisis dan reaksi real-time

• API Bersatu, menghilangkan kebutuhan untuk menulis ke infrastruktur data yang besar

• Antarmuka query untuk hasil dan dukungan sederhana untuk pemrosesan query pluggable

• Kumpulan data yang mewakili data kueri dan tabel yang dapat diakses dari Unified API

• Membaca dan menulis data yang terlepas dari format input atau output atau spesifikasi komponen yang mendasari

• pemrosesan event berbasis transaksi

• Penerapan multimodal ke satu node atau awan

Pendekatan ini akan mendapatkan daya tarik untuk pengembangan aplikasi data yang besar terutama karena kebanyakan alat dan teknologi dibutuhkan untuk menciptakan lingkungan data yang besar.

Kurangnya kolaborasi bisa mahal dalam banyak hal. Organisasi besar bisa mendapatkan keuntungan dari alat yang mendorong kolaborasi. Sangat sering orang melakukan pekerjaan serupa tidak menyadari upaya masing-masing yang mengarah pada pekerjaan ganda.

Contoh lain dari kerangka aplikasi adalah OpenChorus. Selain pengembangan aplikasi analisis data yang pesat, juga mendukung kolaborasi dan menyediakan banyak fitur penting bagi pengembang perangkat lunak, seperti integrasi alat, kontrol versi, dan manajemen konfigurasi.

Open Chorus adalah proyek yang dikelola oleh EMC Corporation dan tersedia di bawah lisensi Apache 2. 0. EMC juga memproduksi dan mendukung versi komersial Chorus. Baik Open Chorus dan Chorus memiliki jaringan mitra yang semarak serta sejumlah kontributor individual dan korporat.

Open Chorus adalah kerangka umum. Fitur utamanya adalah kemampuan untuk menciptakan "hub" komunal untuk berbagi sumber data, wawasan, teknik analisis, dan visualisasi yang besar. Open Chorus menyediakan berikut ini:

• Repositori alat analisis, artefak, dan teknik dengan versi lengkap, pelacakan perubahan, dan pengarsipan

• Ruang kerja dan kotak pasir yang tersedia sendiri dan mudah dikelola oleh anggota masyarakat

• Visualisasi, termasuk peta panas, deret waktu, histogram, dan sebagainya. Federasi pencarian dari setiap dan semua aset data, termasuk Hadoop, metadata, repositori SQL, dan komentar

• Kolaborasi melalui fitur seperti jejaring sosial yang mendorong penemuan, sharing, dan brainstorming

• Perluasan untuk integrasi komponen dan teknologi pihak ketiga