Video: Singam 2 - Tamil Full Movie | Suriya | Anushka Shetty | Hansika Motwani | Devi Sri Prasad | Hari 2024
Pendekatan validasi untuk pembelajaran mesin adalah pemeriksaan kemungkinan pemulihan terhadap bias sampling. In-sampling bias dapat terjadi pada data Anda sebelum pembelajaran mesin dimasukkan ke dalam tindakan, dan ini menyebabkan varians yang tinggi dari perkiraan berikut. Selain itu, Anda harus waspada terhadap perangkap kebocoran yang dapat terjadi bila beberapa informasi dari sampel di luar sampel masuk ke data sampel. Masalah ini bisa muncul saat Anda mempersiapkan data atau setelah model pembelajaran mesin Anda sudah siap dan bekerja.
Obat, yang disebut ansambel prediktor, bekerja dengan sempurna saat sampel pelatihan Anda tidak terdistorsi dan distribusinya berbeda dari sampel yang tidak biasa, namun tidak dengan cara yang tidak dapat diperbaiki, seperti seperti ketika semua kelas Anda hadir tetapi tidak dalam proporsi yang tepat (sebagai contoh). Dalam kasus tersebut, hasil Anda dipengaruhi oleh varians perkiraan tertentu yang mungkin dapat Anda distabilkan dengan salah satu dari beberapa cara: dengan memasang kembali, seperti pada bootstrap; dengan subsampling (mengambil contoh sampel); atau dengan menggunakan sampel yang lebih kecil (yang meningkatkan bias).
Untuk memahami bagaimana ansambel bekerja dengan sangat efektif, visualisasikan citra mata banteng. Jika sampel Anda mempengaruhi prediksi, beberapa prediksi akan tepat dan yang lainnya akan salah dengan cara yang acak. Jika Anda mengubah sampel Anda, prediksi yang benar akan tetap benar, namun yang salah akan mulai menjadi variasi antara nilai yang berbeda. Beberapa nilai akan menjadi prediksi yang tepat yang Anda cari; yang lain hanya akan berosilasi di sekitar yang benar.
Dengan membandingkan hasilnya, Anda bisa menebak bahwa apa yang berulang adalah jawaban yang benar. Anda juga bisa mengambil rata-rata jawaban dan tebak jawaban yang benar seharusnya berada di tengah nilai. Dengan permainan bull's-eye, Anda dapat memvisualisasikan foto superimposing dari permainan yang berbeda: Jika masalahnya beragam, akhirnya Anda akan menebak bahwa targetnya berada di area yang paling sering terkena atau setidaknya di tengah semua tembakan.
Dalam kebanyakan kasus, pendekatan semacam itu terbukti benar dan memperbaiki prediksi belajar mesin Anda. Bila masalah Anda bias dan tidak berbeda, menggunakan ansambel benar-benar tidak menimbulkan kerugian kecuali Anda hanya mengelompokkan terlalu sedikit sampel. Aturan praktis yang baik untuk subsampling adalah mengambil sampel dari 70 menjadi 90 persen dibandingkan dengan data sampel asli. Jika Anda ingin membuat karya ensembling, Anda harus melakukan hal berikut:
- Mengelompokkan sejumlah besar data dan model Anda (setidaknya dari tiga iterasi sampai idealnya ratusan kali).
- Setiap kali Anda mengulangi, subsampel (atau bootstrap) data sampel Anda di tempat.
- Gunakan pembelajaran mesin untuk model pada data yang di-resampled, dan prediksi hasil out-of-sample. Simpan hasilnya untuk digunakan nanti.
- Pada akhir iterasi, untuk setiap kasus di luar sampel yang ingin Anda prediksi, ambillah semua ramalan dan rata-rata mereka jika Anda melakukan regresi. Ikuti kelas yang paling sering jika Anda melakukan klasifikasi.
Perangkap bocor bisa mengejutkan Anda karena mereka terbukti menjadi sumber masalah yang tidak diketahui dan tidak terdeteksi dengan proses pembelajaran mesin Anda. Masalahnya adalah mengintip, atau mengamati data out-of-sample terlalu banyak dan menyesuaikannya terlalu sering. Singkatnya, mengintip adalah semacam overfitting - dan tidak hanya pada data pelatihan tetapi juga pada data pengujian, membuat masalah overfitting itu sendiri sulit untuk dideteksi sampai Anda mendapatkan data segar.
Biasanya Anda menyadari bahwa masalahnya adalah mengintai ketika Anda sudah menerapkan algoritma pembelajaran mesin ke bisnis Anda atau ke layanan untuk publik, menjadikan masalah ini sebagai masalah yang dapat dilihat setiap orang.
Anda bisa menghindari mengintip dengan dua cara. Pertama, saat mengoperasikan data, jaga agar rapi memisahkan pelatihan, validasi, dan data uji. Juga, saat memproses, jangan pernah mengambil informasi dari validasi atau tes, bahkan contoh yang paling sederhana dan tidak berdosa sekalipun. Yang lebih buruk lagi adalah menerapkan transformasi yang kompleks dengan menggunakan semua data.
Di bidang keuangan, misalnya, diketahui bahwa menghitung mean dan standar deviasi (yang sebenarnya dapat memberi tahu Anda banyak tentang kondisi pasar dan risiko) dari semua data pelatihan dan pengujian dapat membocorkan informasi berharga tentang model Anda. Ketika terjadi kebocoran, algoritma pembelajaran mesin melakukan prediksi pada rangkaian pengujian daripada data di luar sampel dari pasar, yang berarti tidak bekerja sama sekali, sehingga menyebabkan hilangnya uang.
Periksa kinerja contoh out-of-sample Anda. Sebenarnya, Anda dapat membawa kembali beberapa informasi dari pengintaian Anda pada hasil tes untuk membantu Anda menentukan bahwa parameter tertentu lebih baik daripada yang lain, atau mengarahkan Anda untuk memilih satu algoritma pembelajaran mesin daripada yang lain. Untuk setiap model atau parameter, terapkan pilihan Anda berdasarkan hasil validasi silang atau dari sampel validasi. Jangan pernah jatuh untuk mendapatkan takeaways dari data di luar sampel Anda atau Anda akan menyesalinya nanti.
