Pencocokan Data untuk Algoritma dari Berbagai Sumber - dummies

Berinteraksi dengan data dari satu sumber adalah satu masalah; berinteraksi dengan data dari beberapa sumber cukup lain. Namun, kumpulan data saat ini umumnya berasal dari lebih dari satu sumber, jadi Anda perlu memahami komplikasi yang menggunakan banyak sumber data. Saat bekerja dengan beberapa sumber data, Anda harus melakukan hal berikut:

• Tentukan apakah kedua kumpulan data berisi semua data yang diperlukan. Dua desainer tidak mungkin membuat dataset yang berisi data yang sama persis, dalam format yang sama, dari jenis yang sama, dan dalam urutan yang sama. Oleh karena itu, Anda perlu mempertimbangkan apakah dataset menyediakan data yang Anda butuhkan atau apakah Anda perlu memulihkan data dengan cara tertentu untuk memperoleh hasil yang diinginkan.
• Periksa kedua dataset untuk masalah tipe data. Satu dataset bisa diberi tanggal sebagai string, dan yang lain bisa memasukkan tanggal sebagai objek tanggal aktual. Ketidakkonsistenan antara tipe data akan menyebabkan masalah bagi algoritma yang mengharapkan data dalam satu bentuk dan menerimanya dalam bentuk yang lain.
• Pastikan semua dataset memiliki makna yang sama pada elemen data. Data yang dibuat oleh satu sumber mungkin memiliki arti yang berbeda dari data yang dibuat oleh sumber lain. Misalnya, ukuran bilangan bulat dapat bervariasi antar sumber, jadi Anda mungkin melihat bilangan bulat 16 bit dari satu sumber dan bilangan bulat 32 bit dari yang lain. Nilai yang lebih rendah memiliki arti yang sama, namun bilangan bulat 32 bit dapat mengandung nilai lebih besar, yang dapat menyebabkan masalah pada algoritma. Tanggal juga dapat menyebabkan masalah karena mereka sering mengandalkan penyimpanan begitu banyak milidetik sejak tanggal tertentu (seperti JavaScript, yang menyimpan jumlah milidetik sejak 01 Januari, 1970 UTC). Komputer hanya melihat angka; manusia menambahkan makna pada angka-angka ini sehingga aplikasi menafsirkannya dengan cara yang spesifik.
• Verifikasi atribut data. Item data memiliki atribut tertentu. Penafsiran ini bisa berubah bila menggunakan numpy . Sebenarnya, Anda mendapati bahwa atribut data berubah antara lingkungan, dan pengembang dapat mengubahnya lebih banyak lagi dengan membuat tipe data khusus. Untuk menggabungkan data dari berbagai sumber, Anda harus memahami atribut ini untuk memastikan bahwa Anda menafsirkan data dengan benar.

Semakin banyak waktu yang Anda habiskan untuk memverifikasi kompatibilitas data dari masing-masing sumber yang ingin Anda gunakan untuk dataset, semakin kecil kemungkinan Anda menghadapi masalah saat bekerja dengan sebuah algoritma. Masalah ketidakcocokan data tidak selalu muncul sebagai kesalahan langsung. Dalam beberapa kasus, ketidakcocokan dapat menyebabkan masalah lain, seperti hasil yang salah yang terlihat benar namun memberikan informasi yang menyesatkan.

Menggabungkan data dari berbagai sumber mungkin tidak selalu berarti membuat dataset baru yang mirip dengan dataset sumber. Dalam beberapa kasus, Anda membuat kumpulan data atau melakukan manipulasi bentuk lain untuk membuat data baru dari data yang ada. Analisis mengambil segala macam bentuk, dan beberapa bentuk yang lebih eksotis dapat menghasilkan kesalahan yang mengerikan bila digunakan secara tidak benar. Sebagai contoh, satu sumber data dapat memberikan informasi pelanggan secara umum dan sumber data kedua dapat memberikan kebiasaan membeli pelanggan. Ketidakcocokan antara kedua sumber tersebut mungkin sesuai dengan pelanggan dengan informasi kebiasaan membeli yang tidak benar dan menimbulkan masalah saat Anda mencoba memasarkan produk baru ke pelanggan ini. Sebagai contoh ekstrem, pertimbangkan apa yang akan terjadi saat menggabungkan informasi pasien dari beberapa sumber dan membuat entri pasien gabungan dalam sumber data baru dengan segala macam ketidakcocokan. Seorang pasien tanpa riwayat penyakit tertentu bisa berakhir dengan catatan yang menunjukkan diagnosis dan perawatan penyakit.