Bagaimana cara membersihkan data untuk analisis prediktif - dummies

Sebelum menjalankan analisis prediktif, Anda harus memastikan bahwa data tersebut bersih dari hal-hal yang tidak asing sebelum Anda dapat menggunakannya di model. Ini termasuk menemukan dan memperbaiki catatan yang mengandung nilai yang keliru, dan mencoba untuk mengisi nilai yang hilang. Anda juga perlu memutuskan apakah menyertakan catatan duplikat (dua akun pelanggan, misalnya).

Tujuan keseluruhan adalah memastikan integritas informasi yang Anda gunakan untuk membangun model prediktif Anda. Perhatikan secara khusus kelengkapan, ketepatan, dan ketepatan waktu data.

Ini berguna untuk membuat statistik deskriptif (karakteristik kuantitatif) untuk berbagai bidang, seperti menghitung min dan max, memeriksa distribusi frekuensi (seberapa sering sesuatu terjadi) dan memverifikasi kisaran yang diharapkan. Menjalankan pemeriksaan rutin dapat membantu Anda menandai data yang berada di luar kisaran yang diharapkan untuk penyelidikan lebih lanjut. Setiap catatan yang menunjukkan pensiunan dengan tanggal lahir pada tahun 1990an dapat ditandai dengan metode ini.

Juga, memeriksa silang informasi itu penting agar Anda memastikan datanya akurat. Untuk analisis karakteristik data yang lebih dalam dan identifikasi hubungan antara catatan data, Anda dapat menggunakan data profiling (menganalisis ketersediaan data dan mengumpulkan data statistik tentang kualitas data), dan alat visualisasi.

Data yang hilang bisa jadi karena fakta bahwa informasi tertentu tidak dicatat. Dalam kasus seperti itu, Anda dapat mencoba mengisi sebanyak mungkin; Default yang sesuai dapat dengan mudah ditambahkan untuk mengisi kekosongan bidang tertentu.

Misalnya, untuk pasien di bangsal persalinan di rumah sakit dimana bidang gender hilang nilainya, aplikasi hanya dapat mengisinya sebagai perempuan. Dalam hal ini, bagi setiap pria yang dirawat di rumah sakit dengan catatan riwayat kehamilan yang hilang, rekaman itu juga bisa diisi dengan tidak berlaku.

Kode pos yang hilang untuk sebuah alamat dapat disimpulkan dari nama jalan dan kota yang tersedia di alamat itu.

Dalam kasus di mana informasinya tidak diketahui atau tidak dapat disimpulkan, maka Anda perlu menggunakan nilai lainnya dari pada ruang kosong untuk menunjukkan bahwa data hilang tanpa mempengaruhi kebenaran analisis. Data yang kosong bisa berarti banyak hal, kebanyakan tidak baik atau berguna. Kapan pun Anda bisa, Anda harus menentukan sifat kosong itu dengan pengisi tempat yang berarti.

Sama seperti mungkin untuk menentukan mawar di ladang jagung sebagai gulma, outlier dapat berarti hal yang berbeda terhadap analisis yang berbeda.Sudah umum bagi beberapa model yang akan dibangun semata-mata untuk melacak outlier tersebut dan memberi mereka bendera.

Model deteksi dugaan dan pemantauan aktivitas kriminal tertarik pada outlier tersebut, yang dalam kasus tersebut mengindikasikan adanya sesuatu yang tidak diinginkan yang terjadi. Jadi, menjaga outlier dalam dataset dalam kasus seperti ini disarankan. Namun, saat outlier dianggap anomali dalam data - dan hanya akan mengabaikan analisis dan menyebabkan hasil yang salah - lepaskan dari data Anda.

Duplikasi data juga bisa berguna atau mengganggu; beberapa di antaranya bisa jadi perlu, bisa menunjukkan nilai, dan bisa mencerminkan keadaan data yang akurat. Misalnya, catatan pelanggan dengan banyak akun dapat diwakili dengan beberapa entri yang (secara teknis, bagaimanapun) diduplikasi dan berulang dari catatan yang sama.

Dengan cara yang sama, bila catatan duplikat tidak memberi nilai kontribusi pada analisis dan tidak diperlukan, maka menghapusnya bisa menjadi nilai yang sangat besar. Hal ini terutama berlaku untuk dataset besar di mana menghapus duplikat catatan dapat menyederhanakan kompleksitas data dan mengurangi waktu yang dibutuhkan untuk analisis.

Anda dapat mencegah data yang salah sebelum memasukkan sistem Anda dengan menerapkan beberapa prosedur khusus:

• Pemeriksaan kualitas lembaga dan validasi data untuk semua data yang dikumpulkan.

• Izinkan pelanggan Anda untuk memvalidasi dan memperbaiki sendiri data pribadi mereka.

• Berikan nilai yang mungkin dan diharapkan kepada klien Anda.

• Pemeriksaan rutin terhadap integritas, konsistensi, dan keakuratan data.