Bagaimana Menetapkan Dasar Arsitektur untuk Data Besar - dummies

Penting untuk meletakkan dasar arsitektural yang kuat jika Anda ingin sukses dengan data yang besar. Selain mendukung persyaratan fungsional, penting untuk mendukung kinerja yang dibutuhkan. Kebutuhan Anda akan tergantung pada sifat analisis yang Anda dukung. Anda akan memerlukan jumlah daya dan kecepatan komputasi yang tepat.

Arsitektur Anda juga harus memiliki jumlah redundansi yang tepat sehingga Anda terlindungi dari latency dan downtime yang tak terduga.

Mulailah dengan bertanya pada diri sendiri pertanyaan-pertanyaan berikut:

Berapa banyak data yang dibutuhkan organisasi Anda untuk mengelola hari ini dan di masa depan?
Seberapa sering organisasi Anda perlu mengelola data secara real time atau mendekati waktu nyata?
Seberapa besar risiko yang dapat dimiliki organisasi Anda? Apakah industri Anda tunduk pada persyaratan keamanan, kepatuhan, dan tata kelola yang ketat?
Seberapa pentingkah kecepatan untuk mengelola data?
Seberapa pasti atau tepat data yang dibutuhkan?

Antarmuka dan umpan untuk data besar

Untuk memahami seberapa besar data bekerja di dunia nyata, penting untuk memulai dengan memahami perlunya antarmuka dan umpan. Sebenarnya, yang membuat data besar besar adalah kenyataan bahwa ia mengandalkan pemungutan banyak data dari banyak sumber.

Oleh karena itu, antarmuka pemrograman aplikasi terbuka (API) akan menjadi inti dari arsitektur data besar manapun. Selain itu, perlu diingat bahwa antarmuka ada di setiap tingkat dan di antara setiap lapisan tumpukan. Tanpa layanan integrasi, data besar tidak bisa terjadi.

Infrastruktur fisik data besar yang berlebihan

Infrastruktur fisik pendukung sangat penting untuk operasi dan skalabilitas arsitektur data yang besar. Padahal, tanpa tersedianya infrastruktur fisik yang kuat, data besar kemungkinan tidak akan muncul sebagai tren penting. Untuk mendukung volume data yang tidak diantisipasi atau tidak dapat diprediksi, infrastruktur fisik untuk data besar harus berbeda dari pada data tradisional.

Infrastruktur fisik didasarkan pada model komputasi terdistribusi. Ini berarti data dapat disimpan secara fisik di berbagai lokasi dan dapat dihubungkan bersama melalui jaringan, penggunaan sistem file terdistribusi, dan berbagai alat dan aplikasi analisis data yang besar.

Redundansi penting karena Anda berurusan dengan begitu banyak data dari begitu banyak sumber yang berbeda. Redundansi datang dalam berbagai bentuk. Jika perusahaan Anda telah menciptakan awan pribadi, Anda pasti ingin memiliki redundansi yang dibangun di dalam lingkungan pribadi sehingga bisa meningkat untuk mendukung perubahan beban kerja.

Jika perusahaan Anda ingin mengandung pertumbuhan TI internal, mungkin menggunakan layanan awan eksternal untuk menambah sumber daya internal. Dalam beberapa kasus, redundansi ini mungkin datang dalam bentuk penawaran Perangkat Lunak sebagai Layanan (SaaS) yang memungkinkan perusahaan melakukan analisis data yang canggih sebagai layanan. Pendekatan SaaS menawarkan biaya yang lebih rendah, startup yang lebih cepat, dan evolusi teknologi yang mendasar.

Infrastruktur keamanan data yang besar

Analisis data besar yang lebih penting menjadi perusahaan, semakin penting untuk mengamankan data tersebut. Misalnya, jika Anda adalah perusahaan perawatan kesehatan, Anda mungkin ingin menggunakan aplikasi data yang besar untuk menentukan perubahan demografi atau pergeseran kebutuhan pasien. Data tentang konstituen Anda perlu dilindungi baik untuk memenuhi persyaratan kepatuhan dan untuk melindungi privasi pasien.

Anda harus mempertimbangkan siapa yang diizinkan melihat data dan dalam keadaan apa mereka diizinkan melakukannya. Anda harus bisa memverifikasi identitas pengguna sekaligus melindungi identitas pasien.

Sumber data besar operasional

Penting untuk dipahami bahwa Anda harus menggabungkan semua sumber data yang akan memberi gambaran lengkap tentang bisnis Anda dan melihat bagaimana data tersebut mempengaruhi cara Anda menjalankan bisnis Anda. Seiring perubahan dunia, penting untuk dipahami bahwa data operasional sekarang harus mencakup kumpulan sumber data yang lebih luas, termasuk sumber yang tidak terstruktur seperti data media sosial dalam segala bentuknya.

Anda menemukan pendekatan baru yang muncul untuk pengelolaan data di dunia data besar, termasuk arsitektur basis data dokumen, grafik, kolumnar, dan geospasial. Secara kolektif, ini disebut sebagai NoSQL, atau tidak hanya SQL, database. Intinya, Anda perlu memetakan arsitektur data ke jenis transaksi.

Melakukannya akan membantu memastikan data benar tersedia saat Anda membutuhkannya. Anda juga memerlukan arsitektur data yang mendukung konten tidak terstruktur yang kompleks. Anda perlu menyertakan database relasional dan database nonrelasional dalam pendekatan Anda untuk memanfaatkan data yang besar. Hal ini juga diperlukan untuk memasukkan sumber data yang tidak terstruktur, seperti sistem pengelolaan konten, sehingga Anda bisa lebih dekat dengan pandangan bisnis 360 derajat itu.

Semua sumber data operasional ini memiliki beberapa karakteristik yang sama:

Mereka mewakili sistem catatan yang melacak data penting yang diperlukan untuk operasi bisnis sehari-hari secara real-time.
Mereka terus diperbarui berdasarkan transaksi yang terjadi di dalam unit bisnis dan dari web.
Agar sumber ini memberikan gambaran bisnis yang akurat, mereka harus memadukan data terstruktur dan tidak terstruktur.
Sistem ini juga harus dapat skala untuk mendukung ribuan pengguna secara konsisten. Ini mungkin termasuk sistem e-commerce transaksional, sistem manajemen hubungan pelanggan, atau aplikasi call center.