Fase 2 dari Model Proses CRISP-DM: Pemahaman Data - dummies

Pada tahap kedua dari model Proses Standar Industri Silang untuk Proses Data Mining (CRISP-DM), Anda mendapatkan data dan verifikasi itu sesuai dengan kebutuhan anda Anda mungkin mengidentifikasi masalah yang menyebabkan Anda kembali ke pemahaman bisnis dan merevisi rencana Anda. Anda bahkan mungkin menemukan kekurangan dalam pemahaman bisnis Anda, alasan lain untuk memikirkan kembali tujuan dan rencana.

Tahap pemahaman data mencakup empat tugas . Ini adalah

• Mengumpulkan data

• Menggambarkan data

• Mengeksplorasi data

• Memeriksa kualitas data

Tugas: Mengumpulkan data

Anda baru saja menetapkan sasaran dan menetapkan rencana penambangan data. Setiap langkah dari rencana tersebut bergantung pada data yang benar. Lebih baik pastikan Anda benar-benar memiliki data itu!

Hanya ada satu penyampaian untuk tugas ini: laporan pengumpulan data awal. Dalam laporan Anda, Anda perlu memverifikasi bahwa Anda telah memperoleh data atau setidaknya memperoleh akses ke data, menguji proses akses data, dan memverifikasi bahwa datanya ada. Anda juga perlu memuat data ke alat yang akan Anda gunakan untuk data mining untuk memverifikasi bahwa alat tersebut kompatibel dengan data.

Anda dapat melakukan banyak pekerjaan untuk mengumpulkan data yang Anda butuhkan sebelum Anda dapat menulis laporan ini. Pertama, Anda akan membuat rencana Anda, sebagai berikut:

• Menguraikan persyaratan data: Buat daftar jenis data yang diperlukan untuk menangani sasaran data mining. Perluas daftar dengan rincian seperti rentang waktu dan format data yang diperlukan.

• Verifikasi ketersediaan data: Konfirmasikan bahwa data yang diperlukan ada, dan Anda dapat menggunakannya. Jika beberapa data yang Anda inginkan tidak tersedia, putuskan bagaimana Anda akan mengatasi masalah itu. Pertimbangkan alternatif seperti

  • Mengganti dengan sumber data alternatif

  • Mempersempit ruang lingkup proyek

  • Mengumpulkan data baru

• Tentukan kriteria seleksi: Identifikasi sumber data spesifik (database, file, dokumen, dan sebagainya.) Anda akan menggunakannya. Di dalam sumber tersebut, tentukan tabel, kolom, dan rentang kasus yang relevan dengan proyek ini.

Setelah Anda melalui langkah-langkah ini, Anda benar-benar harus mendapatkan data. Pada tahap ini, impor data ke dalam platform penambangan data yang akan Anda gunakan untuk proyek tersebut untuk memastikan bahwa hal itu mungkin dilakukan dan Anda memahami prosesnya. Dalam proses uji coba ini Anda mungkin menemukan keterbatasan perangkat lunak (atau perangkat keras) yang tidak Anda duga, seperti

• Batas jumlah kasus atau bidang, atau jumlah memori yang mungkin Anda gunakan

• Ketidakmampuan untuk membaca format data sumber Anda

• Kesulitan menangani ketidaksempurnaan dalam data (misalnya, Anda mungkin menemukan produk yang tidak akan mengimpor atau menganalisis kumpulan data yang tidak lengkap)

Akhirnya, rangkum proses pengumpulan dalam sebuah laporan.Laporan tersebut harus menjelaskan kebutuhan Anda, dan jelaskan secara terperinci data apa yang telah Anda kumpulkan dan dari sumber apa. Di sini Anda mengkonfirmasi bahwa Anda benar-benar memperoleh data dan kompatibel dengan platform penambangan data Anda. Jika Anda mengalami kesulitan, Anda akan menjelaskannya dan bagaimana Anda membicarakannya (menggunakan sumber alternatif, merevisi rencana, mengubah format).

Penyerahan tugas ini hanyalah sebuah laporan sederhana, namun pekerjaan yang harus Anda lakukan sebelum Anda dapat menulis laporan itu tidak akan mudah dilakukan! Akses data bisa menjadi salah satu bagian proses penambangan data yang paling menantang dan menyebalkan, yang penuh tantangan teknis dan bisnis.

Tugas: Menggambarkan data

Sekarang Anda memiliki data, siapkan deskripsi umum tentang apa yang Anda miliki.

Penyerahan tugas ini adalah laporan deskripsi data. Di dalamnya, Anda menggambarkan sumber dan format data, jumlah kasus, jumlah dan deskripsi bidang, dan informasi umum lainnya yang mungkin penting. Anda juga membuat evaluasi singkat tentang kesesuaian data untuk tujuan penambangan data Anda. Misalnya, pastikan bahwa data mencakup bidang yang Anda harapkan dan perlu berada di sana dan cukup banyak kasus untuk analisis.

Tugas: Menjelajahi data

Dalam tugas ini, Anda memeriksa datanya lebih dekat. Untuk setiap variabel, Anda melihat kisaran nilai dan distribusinya. Anda akan menggunakan manipulasi data sederhana dan teknik statistik dasar untuk pemeriksaan lebih lanjut ke dalam data. Eksplorasi data mendukung beberapa tujuan:

• Kenali data.

• Tanda titik-titik masalah kualitas data.

• Tetapkan panggung untuk langkah persiapan data.

Penyerahan tugas ini adalah laporan eksplorasi data. Ini adalah tempat untuk mendokumentasikan hipotesis atau temuan awal yang telah Anda kembangkan selama eksplorasi data. Laporan ini harus mencakup deskripsi data yang lebih rinci daripada laporan deskripsi data, termasuk distribusi, ringkasan, dan tanda-tanda masalah kualitas data.

Tugas: Memeriksa kualitas data

Anda memiliki data dan Anda telah memeriksanya, dan sekarang Anda harus menentukan apakah itu cukup baik untuk mendukung tujuan Anda. Anda akan sering memiliki beberapa masalah kualitas untuk ditangani namun tetap dapat bergerak maju, namun terkadang kualitas data sangat buruk sehingga tidak dapat mendukung rencana Anda dan Anda harus mencari alternatif. Beberapa masalah data terburuk akan mencakup

• Data yang Anda butuhkan tidak ada. (Apakah tidak pernah ada, atau apakah itu dibuang? Dapatkah data ini dikumpulkan dan disimpan untuk digunakan di masa depan?)

• Itu ada, namun Anda tidak dapat memilikinya. (Dapatkah pembatasan ini dapat diatasi?)

• Anda menemukan masalah kualitas data yang parah (banyak nilai yang hilang atau salah yang tidak dapat diperbaiki).

Penyerahan tugas ini adalah laporan kualitas data. Ini merangkum data yang Anda miliki, masalah kualitas kecil dan utama yang telah Anda temukan, dan kemungkinan solusi untuk masalah kualitas atau alternatif (seperti menggunakan sumber data alternatif).Jika Anda menghadapi masalah kualitas data yang serius dan tidak dapat mengidentifikasi solusi yang memadai, Anda mungkin harus merekomendasikan untuk mempertimbangkan kembali tujuan atau rencana.