Apakah Data Anda Benar? - dummies

Sebagian besar kumpulan data berisi jenis metadata, yang pada dasarnya merupakan deskripsi data di mengajukan. Metadata biasanya mencakup deskripsi format, beberapa indikasi tentang nilai apa yang ada di setiap bidang data, dan apa arti nilai-nilai ini.

Bila Anda menghadapi kumpulan data baru, jangan pernah mengambil metadata pada nilai nominal. Sifat data besar mengharuskan sistem yang menghasilkannya terus berjalan dan berjalan semaksimal mungkin. Untuk alasan ini, memperbarui metadata untuk sistem ini saat perubahan diterapkan tidak selalu menjadi prioritas utama. Anda perlu memastikan bahwa data benar-benar sesuai dengan klaim metadata.

Memeriksa sumber Anda

Sekalipun kedengarannya, penting bagi Anda untuk yakin dari mana asal data Anda. Hal ini sangat penting saat Anda membeli data. Ribuan vendor di luar sana menawarkan setiap jenis data yang bisa dibayangkan. Dan mereka sama sekali tidak memiliki kredibilitas yang sama.

Sebelum membeli data, coba pahami dengan tepat di mana dan bagaimana penjual mengumpulkannya. Misteri dan ketidakjelasan adalah bendera merah.

Jangan mengambil vendor sesuai kata-kata mereka. Jangan hanya mengandalkan postingan kepuasan pelanggan di website atau referensi klien yang disediakan oleh vendor. Jika memungkinkan, cobalah untuk melacak seseorang yang menggunakan atau telah menggunakan datanya.

Jika data Anda berasal dari sistem internal, masih penting untuk mengevaluasi sumbernya. Sistem yang berbeda memiliki tujuan yang berbeda dan karena itu fokus pada data yang berbeda. Mereka mungkin juga mengumpulkan data pada waktu yang berbeda.

Sebagai contoh, tidak jarang beberapa rantai hotel memesan reservasi di sistem terpisah dari yang mereka gunakan di meja depan saat tamu masuk. Mungkin tamu tersebut dapat menerima penawaran diskon antara pemesanan dan check-in. Ini berarti tarif kamar dalam sistem reservasi mungkin tidak sesuai dengan tarif di sistem meja depan. Terlebih lagi, pemesanan mungkin dibatalkan dan tidak pernah sampai ke meja depan!

Sekarang, misalkan Anda sedang melakukan analisis pendapatan hotel menurut kota. Ini agak penting bahwa Anda tahu bahwa data tarif kamar Anda bersumber dari sistem meja depan daripada sistem reservasi. Tapi bagaimana jika Anda mencoba menganalisis berapa banyak pemesanan yang dihasilkan oleh iklan Super Bowl perusahaan Anda? Dalam hal ini, Anda ingin melihat data dari sistem reservasi.

Contoh hotel menggambarkan bahwa data yang secara intrinsik bersih sekalipun bisa menjadi masalah. Sekalipun data akurat dan tepat sesuai keinginan, waktu bisa menjadi masalah.Data berubah dari waktu ke waktu.

Format Verifikasi

Seperti yang disebutkan di awal bab ini, salah satu hal yang akan diberikan metadata untuk Anda adalah beberapa indikasi tentang bagaimana data diformat. Dengan diformat, berarti setiap elemen data tertentu terlihat. Apakah "Kode Produk" adalah karakter atau angka? Apakah "Tanggal Mulai" adalah tanggal atau apakah itu benar-benar cap datetime?

Tipe data penting dalam analisis statistik karena mereka menentukan statistik dan prosedur statistik mana yang dapat diterapkan pada elemen data mana. Jika Anda mencoba mengambil nilai rata-rata bidang karakter seperti "Nama Depan", Anda akan mendapatkan pesan kesalahan setiap saat.

Biasanya, jenis metadata ini cukup akurat. Hal ini umumnya disimpan oleh sistem yang menampung data dan dapat dihasilkan secara otomatis. Memeriksa format umumnya cukup mudah. Verifikasi semacam itu pada dasarnya merupakan hasil sampingan dari validasi rentang data yang dibahas pada bagian berikut. Tapi ada beberapa kasus di mana bisa sedikit lebih sulit.

Kami telah melihat satu skenario seperti itu lebih banyak dari yang kita ingat. Terkadang terjadi bahwa ketika sistem dirancang pertama kali, tim pengembang mencoba memasukkan beberapa fleksibilitas ke dalam struktur data untuk mengakomodasi penyempurnaan di masa depan. Terkadang mereka menambahkan sekumpulan kolom data alfa-numerik kosong (dan lebar) ke akhir setiap record. Kolom bantu ini awalnya tidak digunakan untuk apapun.

Analis akan selalu salah mencari data lebih banyak daripada data yang kurang sering, semua dan bukan beberapa. Fakta ini, dikombinasikan dengan kebutuhan untuk mendapatkan datanya dengan cepat, terkadang menghasilkan dump data . Tempat pembuangan ini umumnya mencakup kolom tambahan. Dalam kasus ini, metadata memberitahu Anda sesuatu seperti "Fields 1-11" diformat sebagai "200 karakter alfanumerik. "

Informasi semacam itu praktis tidak berguna. Untuk memahami bidang data seperti ini, Anda cukup banyak harus membuat tangan Anda kotor. Tidak banyak yang bisa Anda lakukan kecuali halaman melalui beberapa lusin catatan dan mencoba membuat perkiraan tentang apa sebenarnya yang ada di lapangan. Dalam kebanyakan kasus, bidang ini cenderung kosong. Tapi tidak selalu. Kabar baiknya adalah bahwa jika lapangan benar-benar digunakan, Anda harus bisa menemukan seorang programmer di suatu tempat yang tahu apa itu digunakan.

Mengetikkan data Anda

Salah satu langkah paling kritis dalam melakukan analisis statistik adalah memastikan bahwa data Anda sesuai dengan keinginan Anda. Prosedur statistik akan selalu macet jika Anda tidak memberi mereka informasi yang valid tentang format data. Tapi prosedur ini sebagian besar buta terhadap masalah dengan validitas data.

Memahami bagaimana bidang data diformat tidak cukup. Sebelum mengubah kumpulan data menjadi prosedur statistik, Anda perlu memahami data sebenarnya di setiap bidang yang Anda gunakan.

Sebagian besar data termasuk dalam satu dari empat kategori: nominal, ordinal, interval, dan rasio.Jenis data menentukan jenis statistik dan prosedur statistik yang dapat diterapkan pada bidang data tertentu. Anda tidak dapat mengambil rata-rata bidang seperti "Nama Terakhir", misalnya.

Membingungkan tipe data dengan format data mudah (dan terlalu umum). Mengetahui apakah field data adalah karakter, integer, atau kontinu tidak memberitahukan tipe data.

Bidang karakter kadang-kadang digunakan sebagai placeholder untuk data yang mungkin ditangkap dalam rilis sistem di masa depan. Tidak ada yang mencegah bidang seperti itu digunakan untuk menangkap data numerik atau data numerik lainnya.

Kesalahan tipe data yang paling umum melibatkan asumsi bahwa bidang numerik, terutama bidang bernilai integer, sebenarnya berisi data numerik ordinal . Hal ini sangat umum bagi perusahaan untuk menggunakan kode numerik ( nominal data) untuk mewakili produk, wilayah, toko, dan berbagai entitas lainnya.

Kode penerbangan maskapai penerbangan adalah satu contoh. Sensus daerah lain. Bahkan kartu kredit dan nomor Jaminan Sosial biasanya disimpan sebagai bilangan bulat. Tapi semua entitas ini hanyalah pengenal. Variabel nominal . Nomor kartu kredit rata-rata dalam portofolio bank adalah statistik yang tidak berarti.