Paling banyak satu email per minggu. Berhenti kapan saja dengan satu klik.
Transkrip
Narasi lengkap video ini. Kalimat yang sedang diucapkan disorot saat video diputar; klik kalimat untuk melompat ke sana.
Tampilkan transkrip
Pembuka
Inilah hasil akhirnya, Confusion Matrix dan kurva ROC untuk model deteksi penipuan transaksi. Di episode ini kita membuktikan bahwa model dengan akurasi 95% bisa saja tidak berguna sama sekali, dan belajar metrik yang tepat untuk mengukurnya. Ayo kita mulai. Halo, selamat datang di episode ke-10 seri Machine Learning dengan Python. Sejauh ini kita banyak memakai akurasi. Tapi akurasi bisa sangat menyesatkan, terutama ketika data tidak seimbang, misalnya transaksi penipuan yang hanya 5% dari semua transaksi. Di episode ini kita belajar Confusion Matrix, Precision, Recall, F1 Score, mengatur threshold, kurva ROC dan AUC, serta cross-validation.
Langkah 1: Jebakan akurasi
Kita buat file evaluasi .py. Datanya 3000 transaksi sintetis dengan May Classification, dan kita atur hanya 5% yang merupakan penipuan. Sekarang jebakannya, Dumi Classifier yang selalu menebak bukan penipuan. Akurasinya 94,4%. Padahal ia tidak pernah menangkap satu penipuan pun. Inilah alasan akurasi saja tidak cukup.
Jaa 2 Confusion matrix dan classification report
Kita latih model sungguhan, Logistic Regression, lalu buat Confusion Matrix. Tabel ini punya empat kotak. True Negatif, transaksi normal yang ditebak normal. True Positif, penipuan yang tertangkap. False Positif, transaksi normal yang dituduh penipuan. False Negatif, penipuan yang lolos, dan ini yang paling mahal bagi bank. Classification Report merangkum Precision, Recall, dan F1 untuk setiap kelas.
Langkah 3: Precision, recall, dan threshold
Mari pahami artinya. Precision menjawab, Dari semua yang dituduh penipuan, berapa persen yang benar penipuan? Recall menjawab, Dari semua penipuan yang sebenarnya, berapa persen yang tertangkap? F1 adalah rata-rata harmoni keduanya. Recall bisa dinaikkan dengan menurunkan threshold. Kita coba threshold 0,5, 0,3, dan 0,1. Recall naik, tapi Precision turun. Selalu ada triculur, dan pilihannya tergantung biaya kesalahan di dunia nyata.
Langkah 4 Kurva ROC dan AUC
Bagaimana menilai model di semua threshold sekaligus? Dengan kurva ROC, yang menggambar True Positive Rate melawan False Positive Rate. Luas di bawah kurvanya disebut AUC. 1 berarti sempurna, 0,5 berarti sama dengan menebak acak. Kita bandingkan Logistic Regression dengan Random Forest, lalu tampilkan Confusion Matrix dan kurva ROC berdampingan. Cross Validation.
Langkah 5: Cross-validation
Satu kali pembagian data latih dan uji bisa kebetulan beruntung atau sial. Buat file validasi silang.py. Dengan stratified kv 5 lipatan, data dibagi menjadi 5 bagian dengan proporsi kelas yang sama. Model dilatih 5 kali, setiap kali memakai bagian yang berbeda sebagai data uji. Hasilnya rata-rata dan simpangan, jauh lebih bisa dipercaya. Selesai. Kita sudah membuktikan jebakan akurasi, membaca Confusion Matrix, memahami Precision, Recall, dan F1, mengatur threshold, memakai kurva ROC dan AUC, serta Cross Validation. Di episode berikutnya, kita belajar mengatasi overfitting dengan regularisasi dan mencari hyperparameter terbaik. Ingin menguasai machine learning dan data science? Cerdas inovasi digital membuka kursus Python, machine learning, dan AI dari dasar, jasa pembuatan model prediksi, analisis data, dan aplikasi AI untuk bisnis maupun penelitian, serta menjual source code lengkap tutorial ini. Ingin menguasai seluruh seri ini, dari pengenalan machine learning sampai diplo model ke web? Semua 18 episode, lengkap dengan PDF panduan langkah demi langkah, tersedia untuk pelanggan tutorial premium. Berlangganan mulai Rp69.000 per bulan, hemat 28% dengan paket 12 bulan, atau sekali bayar Rp999.000 untuk akses seumur hidup. Mau satu kelas saja? Beli kelas satuan dengan akses selamanya. Langganan sekarang di halaman premium cerdas inovasi digital.com. Hubungi WhatsApp kami, atau kunjungi cerdasinovasidigital.com. Terima kasih telah menonton, sampai jumpa di episode berikutnya.
Tanya materi kelas
Ketik pertanyaan atau kata kunci; kami carikan bagian episode ini yang menjelaskannya dan lompatkan videonya ke sana.
Catatan saya
Catatan disimpan bersama menit video saat ini dan hanya terlihat oleh Anda.
Tanya jawab
Bingung di salah satu langkah? Tanyakan di sini; pengajar dan peserta lain bisa menjawab.
Belum ada pertanyaan.
Pengajar
Tim Cerdas Inovasi Digital
Pengembang software, engineer BIM & 3D, dan praktisi AI
52 kelas video1.276 episode
Sehari-hari kami mengerjakan software, model BIM, game, dan otomasi AI untuk klien, lalu menjadikan pengalaman praktik itu kelas langkah demi langkah: setiap langkah diperlihatkan di layar dan dilengkapi panduan PDF.
