8 Praktik Terbaik dalam Persiapan Data - dummies

Paket perangkat lunak statistik sangat hebat akhir-akhir ini, namun tidak dapat mengatasi data berkualitas buruk. Berikut adalah daftar hal yang perlu Anda lakukan sebelum memulai pembuatan model statistik.

Periksa format data

Analisis Anda selalu dimulai dengan file data mentah. File data mentah datang dalam berbagai bentuk dan ukuran. Data mainframe berbeda dengan data PC, data spreadsheet diformat berbeda dari pada data web, dan lain sebagainya. Dan di zaman data besar, Anda pasti akan berhadapan dengan data dari berbagai sumber. Langkah pertama Anda dalam menganalisis data Anda adalah memastikan Anda dapat membaca file yang Anda berikan.

Anda harus benar - benar melihat apa yang masing - masing berisi bidang. Sebagai contoh, tidak bijaksana untuk mempercayainya hanya karena bidang terdaftar sebagai bidang karakter, sebenarnya data karakternya mengandung.

Verifikasi tipe data

Semua data termasuk dalam salah satu dari empat kategori yang mempengaruhi statistik seperti apa yang dapat Anda gunakan dengan tepat:

Data nominal pada dasarnya hanyalah sebuah nama atau pengenal.
Data ordinal menempatkan catatan dari urutan terendah ke tertinggi.
Data interval mewakili nilai dimana perbedaan di antara keduanya sebanding.
Data rasio seperti data interval kecuali yang juga memungkinkan nilai 0.

Penting untuk memahami kategori mana yang menjadi data Anda sebelum memasukkannya ke perangkat lunak statistik. Jika tidak, Anda berisiko berakhir dengan omong kosong yang masuk akal.

Grafik data Anda

Perolehan bagaimana data Anda didistribusikan penting. Anda dapat menjalankan prosedur statistik sampai wajah Anda biru, namun tidak satu pun dari mereka akan memberi Anda banyak wawasan tentang data Anda seperti grafik sederhana.

Verifikasi ketepatan data

Setelah Anda merasa nyaman bahwa data diformat sesuai keinginan Anda, Anda tetap perlu memastikannya akurat dan masuk akal. Langkah ini mengharuskan Anda memiliki pengetahuan tentang bidang subjek tempat Anda bekerja.

Tidak ada pendekatan cut-and-dried untuk memverifikasi keakuratan data. Ide dasarnya adalah merumuskan beberapa properti yang menurut Anda data harus dipamerkan dan menguji data untuk melihat apakah properti tersebut dipegang. Apakah harga saham selalu positif? Apakah semua kode produk sesuai dengan daftar yang sah? Intinya, Anda mencoba untuk mengetahui apakah data tersebut benar-benar sesuai dengan yang Anda katakan.

Mengidentifikasi outlier

Outlier adalah titik data yang tidak mendera dengan data lainnya. Nilai keduanya sangat besar atau sangat kecil dibandingkan dengan kumpulan data lainnya.

Outlier bermasalah karena mereka dapat secara serius mengkompromikan statistik dan prosedur statistik. Sebuah outlier tunggal dapat memiliki dampak besar pada nilai mean. Karena mean seharusnya mewakili pusat data, dalam arti tertentu, yang satu ini membuat rata-rata tidak berguna.

Saat berhadapan dengan outlier, strategi yang paling umum adalah menghapusnya. Dalam beberapa kasus, Anda mungkin ingin memperhitungkannya. Dalam kasus ini, biasanya diinginkan untuk melakukan analisis Anda dua kali - sekali dengan outlier disertakan dan sekali dengan outlier dikeluarkan. Hal ini memungkinkan Anda untuk mengevaluasi metode mana yang memberi hasil lebih bermanfaat.

Menangani nilai yang hilang

Nilai yang hilang adalah salah satu masalah data yang paling umum (dan mengganggu) yang akan Anda hadapi. Dorongan pertama Anda mungkin untuk menjatuhkan catatan dengan nilai yang hilang dari analisis Anda. Masalah dengan ini adalah bahwa nilai yang hilang seringkali tidak hanya sedikit gangguan data acak.

Periksa asumsi Anda tentang bagaimana data didistribusikan

Banyak prosedur statistik bergantung pada asumsi bahwa data didistribusikan dengan cara tertentu. Jika asumsi itu gagal, akurasi prediksi Anda akan terganggu.

Asumsi yang paling umum untuk teknik pemodelan yang dibahas dalam buku ini adalah bahwa data terdistribusi secara normal.

Atau tidak. Dalam kasus di mana data tidak didistribusikan sesuai kebutuhan Anda, semua tidak harus hilang. Ada berbagai cara untuk mengubah data agar bisa didistribusikan ke bentuk yang Anda butuhkan.

Salah satu cara terbaik untuk memverifikasi keakuratan model statistik adalah dengan benar-benar mengujinya terhadap data setelah dibangun. Salah satu cara untuk melakukannya adalah dengan membagi secara acak dataset Anda menjadi dua file. Anda bisa memanggil file Analisis dan Uji ini masing-masing.

Anda perlu membagi data secara acak agar efektif. Anda tidak bisa begitu saja membagi dataset menjadi setengah bagian atas dan bagian bawahnya, misalnya. Hampir semua file data diurutkan entah bagaimana - menurut tanggal jika tidak ada yang lain. Ini mengenalkan pola sistematis yang akan memberikan porsi yang berbeda dari file properti statistik yang berbeda. Bila Anda membagi file secara acak, Anda memberi setiap catatan kesempatan yang sama untuk berada di kedua file tersebut. Secara kiasan, Anda membalik koin untuk setiap record untuk menentukan file mana yang masuk. Randomness memberi kedua file tersebut sebagai properti statistik yang sama dengan data asli.

Setelah Anda memisahkan kumpulan data, sisihkan file Uji. Kemudian lanjutkan untuk membangun model prediktif Anda menggunakan file Analisis. Setelah model dibangun, aplikasikan ke file Uji dan lihat bagaimana kinerjanya.

Menguji model dengan cara ini membantu melindungi terhadap fenomena yang dikenal sebagai terlalu pas . Intinya, mungkin saja prosedur statistik menghafal file data daripada menemukan hubungan bermakna antar variabel. Jika over-fitting terjadi, model akan menguji cukup buruk terhadap file Test.

Cadangkan dan dokumentasikan semua yang Anda lakukan

Karena perangkat lunak statistik mudah digunakan, ada sepotong kue untuk mulai menghasilkan laporan dan grafik, belum lagi file data.Anda dapat menjalankan prosedur secara harfiah dengan satu sentuhan tombol. Anda dapat menghasilkan beberapa lusin grafik berdasarkan transformasi data yang berbeda dalam hitungan beberapa menit. Itu membuatnya mudah kehilangan jejak apa yang telah Anda lakukan, dan mengapa.

Penting untuk memastikan Anda menyimpan catatan tertulis tentang apa yang Anda rencanakan. Grafik harus diberi label dengan nama (dan versi) data yang digunakan untuk membuatnya. Prosedur statistik yang Anda bangun perlu disimpan dan didokumentasikan.

Penting juga untuk mencadangkan file data Anda. Selama analisis Anda, Anda mungkin akan membuat beberapa versi data Anda yang mencerminkan berbagai koreksi dan transformasi variabel. Anda harus menyimpan prosedur yang dibuat versi ini. Mereka juga harus didokumentasikan dengan cara yang menggambarkan transformasi apa yang telah Anda buat dan mengapa.

Dokumentasi bukanlah tugas favorit seseorang, tapi kami berbicara dari pengalaman saat kami sangat menganjurkan Anda untuk tidak bergantung pada ingatan Anda saat membahas proyek analisis Anda.

Dengan mengerjakan langkah-langkah yang baru saja dijelaskan, Anda memaksimalkan keandalan model statistik Anda. Dalam banyak kasus, pekerjaan persiapan sebenarnya lebih memakan waktu daripada bangunan model sebenarnya. Tapi itu perlu. Dan Anda akan berterima kasih pada diri Anda pada akhirnya karena telah mengerjakannya secara metodis.