Bagaimana Menyiapkan Data untuk Model Analisis Prediktif - dummies

Bila Anda telah menentukan tujuan model untuk analisis prediktif, langkah selanjutnya adalah mengidentifikasi dan menyiapkan data yang akan Anda gunakan untuk membangun model Anda. Urutan umum langkah-langkah terlihat seperti ini:

1. Identifikasi sumber data Anda.

   Data bisa dalam format yang berbeda atau berada di berbagai lokasi.

2. Identifikasi bagaimana Anda akan mengakses data tersebut.

   Terkadang, Anda perlu memperoleh data pihak ketiga, atau data yang dimiliki oleh divisi yang berbeda dalam organisasi Anda, dll.

3. Pertimbangkan variabel mana yang akan disertakan dalam analisis Anda.

   Salah satu pendekatan standar adalah memulai dengan berbagai variabel dan menghilangkan yang tidak menawarkan nilai prediktif untuk model.

4. Tentukan apakah akan menggunakan variabel turunan.

   Dalam banyak kasus, variabel turunan (seperti rasio harga per saham yang digunakan untuk menganalisis harga saham) akan memiliki dampak langsung yang lebih besar pada model daripada variabel mentah.

5. Jelajahi kualitas data Anda, berusaha memahami keadaan dan keterbatasannya.

   Keakuratan prediksi model berhubungan langsung dengan variabel yang Anda pilih dan kualitas data Anda. Anda ingin menjawab beberapa pertanyaan spesifik data pada saat ini:

   • Apakah data sudah lengkap?

   • Apakah ada outlier?

   • Apakah data perlu dibersihkan?

   • Apakah Anda perlu mengisi nilai yang hilang, menyimpannya sebagaimana adanya, atau menghilangkannya sama sekali?

Memahami data dan propertinya dapat membantu Anda memilih algoritma yang paling berguna dalam membangun model Anda. Sebagai contoh:

• Algoritma regresi dapat digunakan untuk menganalisis data deret waktu.

• Algoritma klasifikasi dapat digunakan untuk menganalisis data diskrit.

• Algoritma asosiasi dapat digunakan untuk data dengan atribut yang berkorelasi.

Dataset yang digunakan untuk melatih dan menguji model harus berisi informasi bisnis yang relevan untuk menjawab masalah yang ingin Anda selesaikan. Jika tujuan Anda adalah (misalnya) untuk menentukan calon pelanggan mana yang cenderung melakukan churn, maka kumpulan data yang Anda pilih harus berisi informasi tentang pelanggan yang telah mengalami mutasi di masa lalu selain pelanggan yang belum memilikinya.

Beberapa model dibuat untuk menambang data dan memahami hubungan mendasar - misalnya, algoritma yang dibangun dengan algoritma pengelompokan - tidak memerlukan hasil akhir tertentu.

Dua masalah muncul saat menangani data saat Anda membangun model Anda: kekurangan dan kelebihan fungsi.

Underfitting

Underfitting adalah saat model Anda tidak dapat mendeteksi adanya hubungan dalam data Anda.Ini biasanya merupakan indikasi bahwa variabel penting - yang memiliki kekuatan prediktif - tidak disertakan dalam analisis Anda. Misalnya, analisis saham yang hanya mencakup data dari pasar bull (dimana harga saham secara keseluruhan naik) tidak memperhitungkan krisis atau gelembung yang dapat membawa koreksi besar terhadap keseluruhan kinerja saham.

Gagal memasukkan data yang membentang di pasar beruang banting dan (ketika harga saham secara keseluruhan turun) membuat model tidak menghasilkan pilihan portofolio terbaik.

Overfitting

Overfitting adalah saat model Anda menyertakan data yang tidak memiliki kekuatan prediktif namun hanya spesifik untuk kumpulan data yang Anda analisis. Kebisingan - variasi acak dalam dataset - dapat menemukan jalannya ke dalam model, sehingga model pada dataset berbeda menghasilkan penurunan besar dalam kinerja dan keakuratan model. Sidebar yang menyertainya memberikan contoh.

Jika model Anda berkinerja baik pada dataset tertentu dan hanya berkinerja buruk saat Anda mengujinya di dataset yang berbeda, dugaan overfitting.