Data Workflow Besar - dummies

Untuk memahami alur kerja data yang besar, Anda harus memahami apa itu proses dan bagaimana kaitannya dengan alur kerja di lingkungan yang padat data. Proses cenderung dirancang sebagai struktur end-to-end tingkat tinggi yang berguna untuk pengambilan keputusan dan menormalisasi bagaimana hal-hal dapat dilakukan di perusahaan atau organisasi.

Sebaliknya, alur kerja berorientasi pada tugas dan seringkali memerlukan data yang lebih spesifik daripada proses. Proses terdiri dari satu atau lebih alur kerja yang relevan dengan keseluruhan tujuan proses.

Dalam banyak hal, alur kerja data yang besar serupa dengan alur kerja standar. Sebenarnya, dalam alur kerja apapun, data diperlukan dalam berbagai tahap untuk menyelesaikan tugasnya. Pertimbangkan alur kerja dalam situasi kesehatan.

Salah satu alur kerja elementer adalah proses "menggambar darah. "Menggambar darah adalah tugas yang diperlukan untuk menyelesaikan keseluruhan proses diagnostik. Jika terjadi sesuatu dan darah belum ditarik atau data dari tes darah tersebut telah hilang, ini akan berdampak langsung pada kejujuran atau kejujuran keseluruhan aktivitas.

Apa yang terjadi saat Anda mengenalkan alur kerja yang bergantung pada sumber data yang besar? Meskipun Anda mungkin bisa menggunakan alur kerja yang ada, Anda tidak dapat mengasumsikan bahwa proses atau alur kerja akan bekerja dengan baik dengan hanya mengganti sumber data yang besar untuk sumber standar. Ini mungkin tidak bekerja karena metode pengolahan data standar tidak memiliki pendekatan pemrosesan atau kinerja untuk menangani kerumitan data yang besar.

Contoh kesehatan berfokus pada kebutuhan untuk melakukan analisis setelah darah diambil dari pasien. Dalam alur kerja data standar, darah diketik dan kemudian tes kimia tertentu dilakukan berdasarkan persyaratan praktisi kesehatan.

Tidak mungkin alur kerja ini memahami pengujian yang diperlukan untuk mengidentifikasi biomarker spesifik atau mutasi genetik. Jika Anda menyediakan sumber data yang besar untuk biomarker dan mutasi, alur kerja akan gagal. Tidak diketahui data yang besar dan perlu dimodifikasi atau ditulis ulang untuk mendukung data besar.

Praktik terbaik untuk memahami alur kerja dan pengaruh data besar adalah melakukan hal berikut:

• Identifikasi sumber data besar yang perlu Anda gunakan.

• Petakan tipe data yang besar ke tipe data alur kerja Anda.

• Pastikan Anda memiliki kecepatan pemrosesan dan akses penyimpanan untuk mendukung alur kerja Anda.

• Pilih penyimpanan data yang paling sesuai dengan tipe data.

• Ubah alur kerja yang ada untuk menampung data besar atau buat alur kerja data baru yang besar.

Setelah memiliki alur kerja data besar Anda, perlu disesuaikan dengan baik sehingga tidak akan membanjiri atau mencemari analisis Anda.Misalnya, banyak sumber data besar tidak menyertakan definisi data dan metadata yang didefinisikan dengan baik tentang elemen sumber tersebut. Terkadang, sumber data ini belum dibersihkan. Anda perlu memastikan bahwa Anda memiliki pengetahuan yang benar tentang sumber yang akan Anda gunakan.