Mengelola Big Data Technologies dalam data Hybrid Cloud - dummies

Istilah data besar Sering digunakan di dunia teknologi hibrid hibrida karena kebutuhan yang terus berlanjut untuk memproses peningkatan jumlah data. Fakta utama tentang data besar adalah bahwa hal itu ada pada titik kritis dari workarounds yang telah disusun oleh organisasi secara historis untuk mengelola sejumlah besar data kompleks. Teknologi data yang besar memungkinkan orang untuk benar-benar menganalisis dan memanfaatkan data ini secara efektif.

Data besar umumnya memiliki tiga karakteristik - volume, variasi, dan kecepatan:

Volume:

Data besar berukuran besar. Ini umumnya mengacu pada setidaknya beberapa terabyte data. Banyak implementasi data yang besar ingin menganalisis petabyte informasi. Nama

Nilai	Byte
10	0 ^Gigabyte
10	9 ^byte Terabyte
10	12 > bytes ^Petabyte 10
15	byte ^Exabyte 10
18	byte Ragam:

Data besar datang dalam berbagai bentuk dan ukuran. Ini mencakup jenis data ini:

Data terstruktur adalah jenis data khas yang digunakan analis untuk menangani. Ini termasuk pendapatan dan jumlah penjualan - jenis data yang Anda pikirkan termasuk dalam database. Data terstruktur juga diproduksi dengan cara baru dalam produk seperti sensor dan tag RFID.
- Data semistructured
  memiliki beberapa struktur untuk itu tetapi tidak sesuai cara Anda memikirkan tabel dalam database. Ini termasuk format EDI dan XML.
- Data tidak terstruktur mencakup teks, gambar, dan audio, termasuk dokumen, pesan e-mail, tweet, atau blog internal ke perusahaan atau di Internet. Data terstruktur menyumbang sekitar 80 persen dari semua data. Kecepatan
- Kecepatan: Ini adalah kecepatan pergerakan data. Pikirkan tentang sensor yang menangkap data setiap milidetik atau arus data dari peralatan medis. Data besar sering muncul pada Anda dalam arus, sehingga memiliki sifat real-time yang terkait dengannya.
Awan adalah tempat yang ideal untuk data besar karena penyimpanannya yang skalabel, menghitung daya, dan sumber elastis. Model awan berskala besar; komputasi terdistribusi dan sejumlah kerangka kerja dan teknologi telah muncul untuk mendukung model ini, termasuk Apache Hadoop:

Platform komputasi terdistribusi open source yang ditulis di Jawa. Ini adalah perpustakaan perangkat lunak yang memungkinkan pemrosesan terdistribusi melintasi kelompok komputer. Ini benar-benar sistem file terdistribusi. Ini menciptakan kolam komputer, masing-masing dilengkapi dengan sistem file Hadoop. Hadoop dirancang untuk menangani sejumlah besar data kompleks.Data dapat terstruktur, tidak terstruktur, atau semistructured. Hadoop dapat berjalan di banyak server yang tidak berbagi memori atau disk. Lihat Hadoop untuk informasi lebih lanjut.

MapReduce: Kerangka perangkat lunak yang diperkenalkan oleh Google untuk mendukung komputasi terdistribusi pada kumpulan data yang besar. Ini adalah inti dari apa yang Hadoop lakukan dengan data besar dan analisis data yang besar. Ini dirancang untuk memanfaatkan sumber daya awan. Komputasi ini dilakukan di banyak komputer, disebut cluster
, dan setiap cluster disebut sebagai node . MapReduce dapat menangani data terstruktur dan tidak terstruktur. Pengguna menentukan fungsi peta yang memproses pasangan kunci / nilai untuk menghasilkan satu pasangan perantara dan fungsi pengurangan yang menggabungkan pasangan ini. Database data besar Salah satu daya tarik penting Hadoop adalah dapat menangani berbagai jenis data. Sistem manajemen basis data paralel telah dipasarkan selama beberapa dekade. Mereka dapat mendukung eksekusi paralel karena sebagian besar tabel dipartisi di atas node dalam sebuah cluster, dan mereka dapat menerjemahkan perintah SQL ke dalam sebuah rencana yang terbagi di dalam node dalam cluster. Namun, mereka kebanyakan berurusan dengan data terstruktur karena sulit untuk tidak terstruktur, data bentuk bebas ke kolom dan baris dalam model relasional.

Hadoop telah memulai sebuah gerakan dalam apa yang disebut

NoSQL, yang berarti tidak hanya SQL. Istilah ini mengacu pada seperangkat teknologi yang berbeda dari sistem basis data relasional. Salah satu perbedaan utamanya adalah mereka tidak menggunakan SQL. Mereka juga dirancang untuk menyimpan data terdistribusi. NoSQL tidak berarti orang tidak boleh menggunakan SQL. Sebaliknya, idenya adalah bahwa, tergantung pada apa masalah Anda, database relasional dan database NoSQL dapat hidup berdampingan dalam sebuah organisasi. Ada banyak contoh dari jenis database ini, termasuk yang berikut ini: Apache Cassandra:

Sistem pengelolaan data terdistribusi open source yang awalnya dikembangkan oleh Facebook. Ini tidak memiliki persyaratan struktur yang ketat, sehingga bisa menangani semua jenis data yang berbeda. Para ahli mengklaimnya unggul dalam pemrosesan transaksi real-time volume tinggi. Database open source lainnya termasuk MongoDB, Apache CouchDB, dan Apache HBase.

Amazon Simple DB: Amazon menyamakan database ini dengan spreadsheet karena memiliki kolom dan baris dengan atribut dan item yang tersimpan di masing-masing. Tidak seperti spreadsheet, bagaimanapun, setiap sel dapat memiliki banyak nilai, dan setiap item dapat memiliki atribut atribut yang terkait. Amazon kemudian secara otomatis mengindeks data. Baru-baru ini, Amazon mengumumkan Amazon Dynamo DB sebagai cara untuk membawa data besar NoSQL ke cloud.
Google BigTable: Hibrida ini seperti satu meja besar. Karena tabel bisa besar, mereka terbagi pada batas baris menjadi tabel, yang mungkin berukuran ratusan megabyte. MapReduce sering digunakan untuk menghasilkan dan memodifikasi data yang tersimpan di BigTable.