Paling banyak satu email per minggu. Berhenti kapan saja dengan satu klik.
Transkrip
Narasi lengkap video ini. Kalimat yang sedang diucapkan disorot saat video diputar; klik kalimat untuk melompat ke sana.
Tampilkan transkrip
Pembuka
Inilah hasil akhirnya. Data harga rumah yang awalnya kotor, penuh data kosong, salah ketik, duplikat, dan outlier, kita bersihkan langkah demi langkah, lalu kita bungkus dalam pipeline scikit-learn yang langsung bisa memprediksi harga rumah baru. Ayo kita mulai. Halo, selamat datang di episode keempat seri machine learning dengan Python. Ada pepatah di dunia data, gar bagi in, gar bagi out. Model sehebat apapun akan buruk jika datanya kotor, dan data skientis menghabiskan sebagian besar waktunya di tahap ini. Di episode ini kita melakukan eksplorasi data atau IDA, menangani duplikat, data kosong, dan outlier, mengubah kategori menjadi angka, menyamakan skala fitur, dan menyusun semuanya dalam pipeline supaya terhindar dari data LAAKG.
Langkah 1: Membuat data rumah yang kotor
Kita buka terminal dan buat file buat underscore data.py. Kita buat 500 data rumah sintetis, luas, jumlah kamar, umur, kota, kondisi, jarak ke pusat kota, dan harga. Lalu kita sengaja menyuntikkan masalah seperti data dunia nyata. Sebagian nilai dikosongkan, luas rumah diisi angka mustahil seperti 4 meter persegi dan 3.000 meter persegi. Nama kota ditulis tidak konsisten, dan 8 baris diduplikasi. Hasilnya disimpan ke rumah underscore kotor.csv. Sekarang eksplorasi.
Langkah 2: Eksplorasi data (EDA)
Buat file IDA.py. Kita baca CSV-nya lalu lihat info. Ada kolom yang jumlah datanya kurang dari 508, berarti ada data kosong. Diskrai memperlihatkan luas minimum 4 dan maksimum 3.000, jelas tidak wajar. Value Chones kolom kota memperlihatkan Jakarta ditulis dengan banyak cara. Huruf kecil, huruf besar, bahkan singkatan Jakarta.
Langkah 3: Boxplot untuk melihat outlier
Visualisasi membuat masalah lebih jelas. Kita gambar boxplot untuk 4 kolom angka. Titik-titik di luar kumis boxplot adalah calon outlier. Lihat kolom luas, kotaknya jadi gepeng karena tertekan beberapa nilai ekstrim. Kolom jarak juga miring ke kanan.
Langkah 4: Membersihkan duplikat, teks, dan outlier
Waktunya membersihkan. Buat file bersihkan .py. Pertama, hapus duplikat dengan drop duplicates. Kedua, rapikan teks kota, hapus pasi dengan strip, seragamkan huruf dengan title, lalu ganti Jakarta menjadi Jakarta. Ketiga, outlier. Luas di bawah 20 atau di atas 1000 meter persegi jelas salah input, jadi kita hapus, tapi data yang kosong tetap kita simpan. Ingat, tidak semua outlier itu salah, keputusan akhir butuh pengetahuan tentang datanya. Hasilnya disimpan ke rumah underscore bersih.csv.
Data kosong belum kita isi, dan ini disengaja. Mengisi data kosong, scaling, dan encoding harus dipelajari hanya dari data latih. Jika dihitung dari seluruh data, informasi data uji bocor ke model, ini disebut data LA-AKG. Caranya, buat file pipeline.py. Bagi data dulu menjadi latih dan uji. Lalu susun kolom transformer, fitur angka diisi median lalu distandardisasi. Kota diubah dengan one-hot encoding karena tidak punya urutan, dan kondisi diubah dengan ordinal encoding karena ada urutannya, dari buruk sampai sangat baik.
Langkah 6: Pipeline dan prediksi rumah baru
Semua langkah itu kita gabungkan dengan model regresi linier dalam satu pipeline. Cukup panggil fit pada data latih, dan setiap langkah otomatis hanya belajar dari data latih. Hasilnya, R2 sekitar 0,8. Pipeline juga bisa langsung menerima data mentah rumah baru, bahkan yang umurnya kosong, lalu memprediksi harganya.
Selesai!
Selesai. Kita sudah melakukan IDEA, menghapus duplikat, merapikan teks, menangani outlier, memahami strategi data kosong, encoding, dan scaling, serta memakai pipeline untuk mencegah data LA-AKG. Di episode berikutnya kita mendalami model pertama untuk regresi, regresi linier dan polinomial. Ingin menguasai machine learning dan data science? Cerdas inovasi digital membuka kursus Python, machine learning, dan AI dari dasar, jasa pembuatan model prediksi, analisis data, dan aplikasi AI untuk bisnis maupun penelitian, serta menjual source code lengkap tutorial ini. Ingin menguasai seluruh seri ini, dari pengenalan machine learning sampai diplo model ke web? Semua 18 episode, lengkap dengan PDF panduan langkah demi langkah, tersedia untuk pelanggan tutorial premium. Berlangganan mulai Rp69.000 per bulan, hemat 28% dengan paket 12 bulan, atau sekali bayar Rp999.000 untuk akses seumur hidup. Terima kasih telah menonton, sampai jumpa di episode berikutnya.
Tanya materi kelas
Ketik pertanyaan atau kata kunci; kami carikan bagian episode ini yang menjelaskannya dan lompatkan videonya ke sana.
Catatan saya
Catatan disimpan bersama menit video saat ini dan hanya terlihat oleh Anda.
Tanya jawab
Bingung di salah satu langkah? Tanyakan di sini; pengajar dan peserta lain bisa menjawab.
Belum ada pertanyaan.
Pengajar
Tim Cerdas Inovasi Digital
Pengembang software, engineer BIM & 3D, dan praktisi AI
52 kelas video1.276 episode
Sehari-hari kami mengerjakan software, model BIM, game, dan otomasi AI untuk klien, lalu menjadikan pengalaman praktik itu kelas langkah demi langkah: setiap langkah diperlihatkan di layar dan dilengkapi panduan PDF.
