Melihat Dasar-dasar Statistik, Pembelajaran Mesin, dan Metode Matematika dalam Ilmu Data - dummies

Bagian Lembar Data Ilmu Pengetahuan untuk Dummies Cheat > Jika statistik telah digambarkan sebagai ilmu yang mendapatkan wawasan dari data, lalu apa perbedaan antara ahli statistik dan ilmuwan data? Pertanyaan bagus! Sementara banyak tugas dalam ilmu data memerlukan sedikit statistik untuk mengetahui bagaimana, ruang lingkup dan keluasan pengetahuan ilmuwan dan basis pengetahuan data berbeda dari statistik. Perbedaan inti diuraikan di bawah ini.

Keahlian materi pelajaran:

• Salah satu fitur utama ilmuwan data adalah mereka menawarkan keahlian tingkat tinggi di bidang yang menerapkan metode analisis mereka. Ilmu data membutuhkan ini sehingga mereka dapat benar-benar memahami implikasi dan penerapan wawasan data yang mereka hasilkan. Seorang ilmuwan data harus memiliki keahlian mata pelajaran yang cukup untuk dapat mengidentifikasi signifikansi temuan mereka dan secara independen memutuskan bagaimana melanjutkan analisis.

  Sebaliknya, ahli statistik biasanya memiliki pengetahuan statistik yang sangat dalam, tapi sangat sedikit keahlian dalam masalah yang mereka gunakan untuk metode statistik. Sebagian besar waktu, ahli statistik diminta untuk berkonsultasi dengan pakar materi pelajaran eksternal untuk benar-benar memahami secara tepat pentingnya temuan mereka, dan untuk dapat memutuskan cara terbaik untuk maju dalam analisis.
  Pendekatan pembelajaran matematis dan mesin:

• Ahli statistik mengandalkan metode statistik dan proses ketika mendapatkan wawasan dari data. Sebaliknya, ilmuwan data diharuskan menarik berbagai teknik untuk memperoleh wawasan data. Ini termasuk metode statistik, namun juga mencakup pendekatan yang tidak berbasis statistik - seperti yang ditemukan dalam pendekatan pembelajaran matematika, clustering, klasifikasi, dan non-statistik mesin. Melihat pentingnya pengetahuan statistik

Anda tidak perlu pergi keluar dan mendapatkan gelar dalam statistik untuk mempraktikkan sains data, namun setidaknya Anda harus terbiasa dengan beberapa metode yang lebih mendasar yang digunakan. dalam analisis data statistik Ini termasuk:

Regresi linier

• : Regresi linier berguna untuk memodelkan hubungan antara variabel dependen dan satu atau beberapa variabel independen. Tujuan regresi linier adalah untuk mengetahui (dan mengukur kekuatan) korelasi penting antara variabel dependen dan independen. Analisis deret waktu:

• Analisis deret waktu melibatkan analisis kumpulan data tentang nilai atribut dari waktu ke waktu, untuk memprediksi contoh tindakan berdasarkan data observasional masa lalu. Simulasi Monte Carlo Metode Monte Carlo adalah teknik simulasi yang dapat Anda gunakan untuk menguji hipotesis, untuk menghasilkan perkiraan parameter, untuk memprediksi hasil skenario, dan untuk memvalidasi model. Metode ini sangat kuat karena dapat digunakan untuk mensimulasikan dengan cepat sampel simulasi 1 sampai 10, 000 (atau lebih) untuk setiap proses yang ingin Anda evaluasi.

• Statistik untuk data spasial: Satu data penting dan penting dari data spasial adalah bahwa itu tidak acak. Ini bergantung secara spasial dan autokorelasi. Saat memodelkan data spasial, hindari metode statistik yang menganggap data Anda acak. Kriging dan krige adalah dua metode statistik yang dapat Anda gunakan untuk memodelkan data spasial. Metode ini memungkinkan Anda menghasilkan permukaan prediksi untuk seluruh area studi berdasarkan kumpulan titik yang diketahui di ruang geografis.

• Bekerja dengan metode clustering, klasifikasi, dan mesin Pembelajaran mesin adalah penerapan algoritma komputasi untuk belajar dari (atau menyimpulkan pola dalam) dataset mentah.

Clustering

adalah jenis pembelajaran mesin tertentu - belajar mesin yang tidak diawasi, tepatnya, yang berarti bahwa algoritma harus belajar dari data yang tidak berlabel, dan karena itu, mereka harus menggunakan metode inferensial untuk menemukan korelasi. Klasifikasi, di sisi lain, disebut pembelajaran mesin yang diawasi, yang berarti bahwa algoritma belajar dari data berlabel. Deskripsi berikut ini memperkenalkan beberapa pendekatan pengelompokan dan klasifikasi yang lebih mendasar:

k-means clustering: Anda biasanya menyebarkan algoritma k-means untuk membagi titik data dari kumpulan data ke dalam kelompok berdasarkan nilai mean terdekat. Untuk mengetahui pembagian optimal poin data Anda ke dalam kelompok, sehingga jarak antara titik di setiap cluster diminimalkan, Anda bisa menggunakan k-means clustering.

• Algoritma tetangga yang terdekat: Tujuan analisis tetangga terdekat adalah mencari dan menemukan titik terdekat di ruang angkasa atau nilai numerik terdekat, bergantung pada atribut yang Anda gunakan untuk perbandingan.

• Perkiraan kepadatan kernel: Cara alternatif untuk mengidentifikasi kelompok dalam data Anda adalah dengan menggunakan fungsi perataan kerapatan. Kernel density estimation (KDE) bekerja dengan menempatkan fungsi bobot yang mengandung

• yang berguna untuk mengukur kerapatan - pada setiap titik data dalam kumpulan data, dan kemudian menjumlahkan kernel untuk menghasilkan perkiraan kerapatan kernel untuk keseluruhan wilayah. Menjaga metode matematika dalam campuran Banyak yang mengatakan tentang nilai statistik dalam praktik ilmu data, namun metode matematika terapan jarang disebutkan. Sejujurnya, matematika adalah dasar dari semua analisis kuantitatif. Kepentingannya jangan sampai diremehkan. Dua metode matematika berikut ini sangat berguna dalam ilmu data. Multi-criteria decision making (MCDM):

MCDM adalah pendekatan pemodelan keputusan matematis yang dapat Anda gunakan bila Anda memiliki beberapa kriteria atau alternatif yang harus Anda evaluasi secara bersamaan saat membuat keputusan.

Rantai Markov

• : Rantai Markov adalah metode matematis yang menggabungkan serangkaian variabel acak yang mewakili keadaan sekarang untuk memodelkan bagaimana perubahan dalam variabel keadaan saat ini mempengaruhi keadaan masa depan.