Lapisan 0 dari tumpukan data besar: infrastruktur fisik redundan - dummies

Pada tingkat terendah tumpukan data besar adalah infrastruktur fisik. Perusahaan Anda mungkin sudah memiliki pusat data atau melakukan investasi di infrastruktur fisik, jadi Anda akan ingin menemukan cara untuk menggunakan aset yang ada.

Implementasi data yang besar memiliki persyaratan yang sangat spesifik pada semua elemen dalam arsitektur referensi, jadi Anda perlu memeriksa persyaratan ini berdasarkan lapisan demi lapis untuk memastikan penerapan Anda akan berjalan dan sesuai dengan tuntutan bisnis Anda.

Daftar prinsip data utama yang diprioritaskan harus mencakup pernyataan tentang hal berikut:

• Kinerja: Seberapa responsif yang Anda butuhkan pada sistem? Kinerja, juga disebut latency, sering diukur dari ujung ke ujung, berdasarkan satu transaksi atau permintaan kueri.

• Ketersediaan: Apakah Anda membutuhkan jaminan layanan uptime 100 persen? Berapa lama bisakah bisnis Anda menunggu dalam kasus gangguan atau kegagalan layanan?

• Skalabilitas: Seberapa besar kebutuhan infrastruktur Anda? Berapa banyak ruang disk yang dibutuhkan hari ini dan di masa depan? Berapa banyak daya komputasi yang Anda butuhkan? Biasanya, Anda perlu memutuskan apa yang Anda butuhkan dan menambahkan sedikit lebih banyak untuk tantangan tak terduga.

• Fleksibilitas: Seberapa cepat Anda dapat menambahkan lebih banyak sumber daya ke infrastruktur? Seberapa cepat infrastruktur Anda pulih dari kegagalan?

• Biaya: Apa yang bisa kamu beli? Karena infrastruktur adalah seperangkat komponen, Anda mungkin bisa membeli jaringan "terbaik" dan memutuskan untuk menyimpan uang di tempat penyimpanan. Anda perlu menetapkan persyaratan untuk masing-masing area ini dalam konteks anggaran keseluruhan dan kemudian melakukan trade-off jika diperlukan.

Karena data yang besar adalah tentang variasi kecepatan tinggi, bervolume tinggi, dan beregenerasi tinggi, infrastruktur fisik secara harfiah akan "membuat atau menghancurkan" penerapannya. Sebagian besar implementasi data yang besar harus tersedia, sehingga jaringan, server, dan penyimpanan fisik harus tangguh dan berlebihan. Ketahanan dan redundansi saling terkait.

Infrastruktur, atau sistem, tahan terhadap kegagalan atau perubahan bila ada sumber daya berlebihan yang cukup, siap untuk beraksi. Redundansi memastikan bahwa kerusakan seperti itu tidak akan menyebabkan pemadaman listrik. Ketahanan akan membantu menghilangkan satu titik kegagalan dalam infrastruktur Anda.

Di pusat data yang besar dengan persyaratan kesinambungan bisnis, sebagian besar redundansi sudah ada dan dapat dimanfaatkan untuk menciptakan lingkungan data yang besar.Dalam implementasi baru, para perancang memiliki tanggung jawab untuk memetakan penyebarannya sesuai kebutuhan bisnis berdasarkan biaya dan kinerja.

Ini berarti bahwa kompleksitas teknis dan operasional disembunyikan di balik kumpulan layanan, masing-masing dengan syarat khusus untuk kinerja, ketersediaan, pemulihan, dan sebagainya. Istilah ini dijelaskan dalam perjanjian tingkat layanan (SLA) dan biasanya dinegosiasikan antara penyedia layanan dan pelanggan, dengan hukuman untuk ketidakpatuhan.

Akibatnya, ini menciptakan pusat data virtual. Bahkan dengan pendekatan ini, Anda masih harus tahu apa yang dibutuhkan untuk membangun dan menjalankan penyebaran data yang besar sehingga Anda dapat membuat pilihan yang paling tepat dari penawaran layanan yang tersedia. Meskipun memiliki SLA, organisasi Anda tetap memiliki tanggung jawab tertinggi atas kinerja.

Jaringan data besar yang berlebihan secara fisik

Jaringan harus berlebihan dan harus memiliki kapasitas yang cukup untuk mengakomodasi volume dan kecepatan yang diantisipasi dari data inbound dan outbound di samping lalu lintas jaringan "normal" yang dialami oleh bisnis. Ketika Anda mulai membuat data besar merupakan bagian integral dari strategi komputasi Anda, masuk akal untuk mengharapkan volume dan kecepatan meningkat.

Perancang infrastruktur harus merencanakan kenaikan yang diharapkan ini dan mencoba membuat implementasi fisik yang "elastis. "Seiring lonjakan lalu lintas jaringan dan arus, begitu juga kumpulan aset fisik yang terkait dengan penerapannya. Infrastruktur Anda harus menawarkan kemampuan pemantauan sehingga operator dapat bereaksi ketika lebih banyak sumber daya diperlukan untuk mengatasi perubahan beban kerja.

Mengelola perangkat keras data yang besar: Penyimpanan dan server

Demikian juga, aset perangkat keras (penyimpanan dan server) harus memiliki kecepatan dan kapasitas yang memadai untuk menangani semua kemampuan data yang diharapkan. Ini sedikit gunanya memiliki jaringan berkecepatan tinggi dengan server lambat karena server kemungkinan besar akan menjadi bottleneck. Namun, kumpulan server penyimpanan dan hitung yang sangat cepat dapat mengatasi kinerja jaringan variabel. Tentu saja, tidak ada yang akan bekerja dengan baik jika kinerja jaringan buruk atau tidak dapat diandalkan.

Operasi infrastruktur data yang besar

Pertimbangan desain penting lainnya adalah manajemen operasi infrastruktur. Tingkat kinerja dan fleksibilitas terbaik akan hadir hanya di lingkungan yang terkelola dengan baik. Manajer pusat data harus dapat mengantisipasi dan mencegah bencana akibat kegagalan sehingga integritas data, dan dengan perpanjangan proses bisnis, terjaga. Organisasi TI sering mengabaikan dan karena itu kurang berinvestasi di bidang ini.