Menyiapkan Data Anda untuk Prediktif Analytics - dummies

Bila Anda telah menentukan tujuan model, langkah selanjutnya dalam analisis prediktif adalah mengidentifikasi dan menyiapkan data yang akan Anda gunakan untuk membangun model Anda. Informasi berikut menyentuh aktivitas yang paling penting. Urutan umum langkah-langkah terlihat seperti ini:

1. Identifikasi sumber data Anda.

   Data bisa dalam format yang berbeda atau berada di berbagai lokasi.

2. Identifikasi bagaimana Anda akan mengakses data tersebut.

   Terkadang, Anda perlu memperoleh data pihak ketiga, atau data yang dimiliki oleh divisi yang berbeda dalam organisasi Anda, dll.

3. Pertimbangkan variabel mana yang akan disertakan dalam analisis Anda.

   Satu pendekatan standar adalah memulai dengan berbagai variabel dan hilangkan yang tidak menawarkan nilai prediktif untuk model.

4. Tentukan apakah akan menggunakan variabel turunan.

   Dalam banyak kasus, variabel turunan (seperti rasio harga per saham yang digunakan untuk menganalisis harga saham) akan memiliki dampak langsung yang lebih besar pada model daripada variabel mentah.

5. Jelajahi kualitas data Anda, berusaha memahami keadaan dan keterbatasannya.

   Keakuratan prediksi model berhubungan langsung dengan variabel yang Anda pilih dan kualitas data Anda. Anda ingin menjawab beberapa pertanyaan spesifik data pada saat ini:

   • Apakah data sudah lengkap?
   • Apakah ada outlier?
   • Apakah data perlu dibersihkan?
   • Apakah Anda perlu mengisi nilai yang hilang, menyimpannya sebagaimana adanya, atau menghilangkannya sama sekali?

Memahami data dan propertinya dapat membantu Anda memilih algoritma yang paling berguna dalam membangun model Anda. Sebagai contoh:

• Algoritma regresi dapat digunakan untuk menganalisis data deret waktu.
• Algoritma klasifikasi dapat digunakan untuk menganalisis data diskrit.
• Algoritma asosiasi dapat digunakan untuk data dengan atribut yang berkorelasi.

Algoritma individual dan teknik prediktif memiliki kelemahan dan kekuatan yang berbeda. Yang terpenting, keakuratan model bergantung pada memiliki kuantitas dan kualitas data yang besar. Data Anda harus memiliki jumlah record yang cukup untuk memberikan hasil yang bermakna secara statistik.

Mengumpulkan data yang relevan (sebaiknya banyak catatan dalam jangka waktu lama), melakukan preprocessing, dan mengekstrak fitur dengan nilai prediktif yang paling banyak adalah tempat Anda menghabiskan sebagian besar waktu Anda. Tapi Anda tetap harus memilih algoritma dengan bijak, sebuah algoritma yang harus sesuai dengan masalah bisnis.

Persiapan data sangat spesifik untuk proyek yang sedang Anda kerjakan dan algoritma yang Anda pilih untuk dipekerjakan.Bergantung pada persyaratan proyek, Anda akan menyiapkan data Anda sesuai dan memasukkannya ke algoritma saat Anda membuat model untuk memenuhi kebutuhan bisnis.

Dataset yang digunakan untuk melatih dan menguji model harus berisi informasi bisnis yang relevan untuk menjawab masalah yang ingin Anda selesaikan. Jika tujuan Anda adalah (misalnya) untuk menentukan calon pelanggan mana yang cenderung melakukan churn, maka kumpulan data yang Anda pilih harus berisi informasi tentang pelanggan yang telah mengalami mutasi di masa lalu selain pelanggan yang belum memilikinya.

Beberapa model dibuat untuk menambang data dan memahami hubungan mendasar - misalnya, algoritma yang dibangun dengan algoritma pengelompokan - tidak memerlukan hasil akhir tertentu.

Underfitting

Underfitting adalah saat model Anda tidak dapat mendeteksi adanya hubungan dalam data Anda. Ini biasanya merupakan indikasi bahwa variabel penting - yang memiliki kekuatan prediktif - tidak disertakan dalam analisis Anda.

Jika variabel yang digunakan dalam model Anda tidak memiliki daya prediktif tinggi, cobalah menambahkan variabel spesifik-domain baru dan jalankan ulang model Anda. Tujuan akhirnya adalah untuk meningkatkan kinerja model pada data pelatihan.

Masalah lain yang harus diperhatikan adalah musiman (bila Anda memiliki pola musiman, jika Anda gagal menganalisis beberapa musim, Anda mungkin mendapat masalah.) Misalnya, analisis saham yang hanya mencakup data dari seekor banteng pasar (di mana harga saham secara keseluruhan naik) tidak memperhitungkan krisis atau gelembung yang dapat membawa koreksi besar terhadap keseluruhan kinerja saham. Gagal memasukkan data yang membentang di pasar beruang banting dan (bila harga saham secara keseluruhan turun) membuat model tidak menghasilkan pilihan portofolio terbaik.

Overfitting

Overfitting adalah saat model Anda menyertakan data yang tidak memiliki kekuatan prediktif namun hanya spesifik untuk kumpulan data yang Anda analisis. Noise - variasi acak dalam kumpulan data - dapat menemukan jalannya ke dalam model, sehingga model pada dataset berbeda menghasilkan penurunan besar dalam kinerja dan keakuratan model.