Solusi Data Besar Alternatif - dummies

Melihat masa lalu Hadoop, Anda dapat melihat alternatif solusi data besar pada cakrawala. Solusi ini memungkinkan untuk bekerja dengan data besar secara real-time atau menggunakan teknologi database alternatif untuk menangani dan mengolahnya. Di sini, Anda diperkenalkan dengan kerangka pemrosesan real-time, lalu platform Massively Parallel Processing (MPP), dan akhirnya database NoSQL yang memungkinkan Anda bekerja dengan data besar di luar lingkungan Hadoop.

Anda harus mengetahui sesuatu yang disebut kepatuhan ACID, kekurangan pelarangan A tomicity, C , [I , dan D kepatuhan kepatuhan. Kepatuhan ACID adalah standar yang memungkinkan transaksi database yang akurat dan terpercaya. Dalam solusi data yang besar, kebanyakan sistem basis data tidak sesuai dengan ACID, namun ini tidak selalu menimbulkan masalah besar. Itu karena sebagian besar sistem data besar menggunakan Decision Support Systems (DSS) yang batch data proses sebelum data tersebut dibacakan.

DSS adalah sistem informasi yang digunakan untuk mendukung keputusan organisasi. DSS non-transaksional tidak menunjukkan persyaratan kepatuhan ACID yang sebenarnya.

Kerangka pemrosesan real-time

Kadang-kadang Anda mungkin perlu query data stream besar secara real-time … dan Anda tidak dapat melakukan hal semacam ini dengan menggunakan Hadoop. Dalam kasus ini, gunakan kerangka pemrosesan real-time sebagai gantinya. Kerangka kerja real-time

- seperti namanya - kerangka kerja yang mampu memproses data secara real-time (atau mendekati real-time) saat data tersebut mengalir dan mengalir ke sistem. Intinya, kerangka pemrosesan real-time adalah antitesis kerangka pemrosesan batch yang Anda lihat dikerahkan di Hadoop.

Kerangka pemrosesan real-time dapat dikelompokkan menjadi dua kategori berikut:

Kerangka kerja yang menurunkan overhead tugas MapReduce untuk meningkatkan efisiensi waktu keseluruhan sistem:

• Solusi dalam Kategori ini termasuk Apache Storm dan Apache Spark untuk pemrosesan arus dekat real-time. Kerangka yang menerapkan metode query yang inovatif untuk memfasilitasi query real-time data besar:

• Beberapa solusi dalam kategori ini mencakup Dremel Google, Apache Bor, Hiu untuk Apache Hive, dan Impala Cloudera.

  Kerangka pemrosesan arus real-time sangat berguna di banyak industri - mulai dari analisis pasar saham dan pasar hingga optimasi e-commerce, dan dari deteksi kecurangan real-time hingga logistik pesanan yang optimal. Terlepas dari industri tempat Anda bekerja, jika bisnis Anda dipengaruhi oleh arus data real-time yang dihasilkan oleh manusia, mesin, atau sensor, maka kerangka pemrosesan real-time akan sangat membantu Anda dalam mengoptimalkan dan menghasilkan nilai bagi bisnis Anda. organisasi.

Massively Parallel Processing (MPP) dapat digunakan sebagai pengganti MapReduce sebagai pendekatan alternatif untuk pemrosesan data terdistribusi. Jika tujuan Anda adalah menerapkan pemrosesan paralel pada gudang data tradisional, maka MPP mungkin merupakan solusi sempurna.

Untuk memahami bagaimana MPP membandingkan kerangka pemrosesan paralel MapReduce standar, pertimbangkan hal berikut. MPP menjalankan tugas komputasi paralel dengan perangkat keras yang mahal dan mahal, sementara MapReduce menjalankannya di server komoditas murah. Akibatnya, kemampuan pemrosesan MPP adalah biaya yang membatasi. Ini mengatakan, MPP lebih cepat dan mudah digunakan daripada pekerjaan standar MapReduce. Itu karena MPP bisa di tanya menggunakan Structured Query Language (SQL), namun pekerjaan asli MapReduce dikendalikan oleh bahasa pemrograman Java yang lebih rumit.

Vendor dan produk MPP yang terkenal termasuk platform Teradata lama, ditambah solusi baru seperti EMC

2

Greenplum DCA, HP's Vertica, Netezza IBM, dan Oracle's Exadata. ^{Memperkenalkan database NoSQL} Sistem pengelolaan basis data relasional

(RDBMS) tidak dilengkapi untuk menangani permintaan data yang besar. Itu karena database relasional tradisional dirancang untuk menangani hanya dataset relasional yang dibangun dari data yang tersimpan dalam baris dan kolom bersih dan dengan demikian dapat dipertanyakan melalui Structured Query Language (SQL). Sistem RDBM tidak mampu menangani data terstruktur dan tidak terstruktur. Selain itu, sistem RDBM sama sekali tidak memiliki kemampuan pemrosesan dan penanganan yang dibutuhkan untuk memenuhi kebutuhan volume data dan kecepatan yang besar. Di sinilah NoSQL masuk. Database noSQL, seperti MongoDB, adalah sistem database terdistribusi non-relasional yang dirancang untuk meningkatkan tantangan data yang besar. Database NoSQL melangkah melewati arsitektur database relasional tradisional dan menawarkan solusi yang lebih terukur dan efisien.

Sistem NoSQL memfasilitasi kueri data non-SQL untuk data non-relasional atau skema bebas, semi terstruktur dan tidak terstruktur. Dengan cara ini, database NoSQL dapat menangani sumber data terstruktur, semi-terstruktur, dan tidak terstruktur yang umum dalam sistem data besar.

NoSQL menawarkan empat kategori database non-relasional - database grafik, database dokumen, toko dengan nilai kunci, dan toko keluarga kolom. Karena NoSQL menawarkan fungsionalitas asli untuk masing-masing jenis struktur data terpisah ini, ia menawarkan fungsi penyimpanan dan pengambilan yang sangat efisien untuk sebagian besar jenis data non-relasional. Kemampuan beradaptasi dan efisien ini membuat NoSQL menjadi pilihan yang semakin populer untuk menangani data yang besar dan untuk mengatasi tantangan pemrosesan yang menyertainya.

Ada sedikit perdebatan tentang pentingnya nama NoSQL. Beberapa berpendapat bahwa NoSQL singkatan dari

Not Only SQL, sementara yang lain berpendapat bahwa akronim mewakili database Non-SQL . Argumennya agak rumit dan tidak ada jawaban cut-and-dry yang nyata.Untuk menjaga hal-hal sederhana, pikirkan saja NoSQL sebagai kelas sistem manajemen basis data non-relasional yang tidak termasuk dalam spektrum sistem RDBM yang dipertanyakan dengan menggunakan SQL.