Paling banyak satu email per minggu. Berhenti kapan saja dengan satu klik.
Transkrip
Narasi lengkap video ini. Kalimat yang sedang diucapkan disorot saat video diputar; klik kalimat untuk melompat ke sana.
Tampilkan transkrip
Pembuka
Inilah hasil akhirnya, sebuah agen yang awalnya berjalan acak di dalam labirin, lalu belajar sendiri dari hadiah dan hukuman, sampai akhirnya menemukan jalan terpendek menuju pintu keluar, seperti garis merah di grafik kanan. Tidak ada data berlabel sama sekali, hanya pengalaman. Ayo kita mulai. Halo, selamat datang di episode ke-17 seri Machine Learning dengan Python. Kita belajar jenis Machine Learning yang ketiga, reinforcement learning. Di sini tidak ada data berlabel. Sebuah agen berinteraksi dengan lingkungan, mengambil aksi, lalu menerima reward berupa hadiah atau hukuman. Tujuannya mengumpulkan reward sebanyak mungkin. Teknik inilah yang dipakai Alpago dan robot yang belajar berjalan. Kita akan membangun Q-Learning dari nol.
Langkah 1: Lingkungan labirin
Kita buat file labirin.py. Pertama kita bangun lingkungannya, labirin 6x6. Angka 1 adalah tembok, 0 adalah jalan. Agen mulai di pojok kiri atas, dan pintu keluar di pojok kanan bawah. Setiap kotak adalah sebuah state, dan agen punya 4 aksi. Atas, bawah, kiri, dan kanan.
Langkah 2: Aturan reward dan agen acak
Lalu aturan reward, inti dari reinforcement learning. Fungsi langkah menerima state dan aksi. Lalu mengembalikan state berikutnya, reward, dan apakah permainan selesai. Sampai di pintu keluar dapat hadiah plus 10. Menabrak tembok atau keluar batas dapat hukuman minus 5, dan agen tetap di tempat. Setiap langkah biasa dapat minus 0,1, supaya agen terdorong mencari jalan terpendek. Kita uji dengan agen yang bergerak acak, ia butuh ratusan langkah dan rewardnya sangat negatif.
Langkah 3: O-table dan persamaan Bellman
Sekarang Q-Learning. Agen menyimpan Q-Table, yaitu tabel nilai untuk setiap pasangan state dan aksi, yang menyatakan seberapa bagus mengambil aksi itu di state tersebut. Setelah setiap langkah, nilai Q diperbarui dengan persamaan belman, Q lama ditambah alpha kali selisih antara reward ditambah gamma kali Q terbaik di state berikutnya, dengan Q lama. Alpha adalah learning rate, gamma adalah seberapa penting reward di masa depan.
Langkah 4: Epsilon-greedy dan pelatihan
Agen juga harus menyeimbangkan eksplorasi dan eksploitasi. Dengan strategi epsilon greedy, kadang agen mencoba aksi acak untuk menjelajah, dan lebih sering memilih aksi terbaik menurut Q-Table. Epsilon dimulai dari satu, artinya selalu acak, lalu dikurangi sedikit demi sedikit setiap episode. Kita latih 500 episode dan mencetak perkembangannya.
Langkah 5: Hasil: agen keluar dari labirin
Lihat terminal. Di awal, total reward sangat negatif dan langkahnya banyak. Setelah ratusan episode, agen sampai di pintu keluar hanya dengan 10 langkah, jalan terpendek yang mungkin. Grafik kiri memperlihatkan reward per episode yang naik lalu stabil. Grafik kanan memperlihatkan labirin dan jalur yang dipilih agen setelah belajar, lengkap dengan panah aksi terbaik di setiap kotak. Selesai. Kita sudah membangun lingkungan labirin, aturan reward, Q-Table, persamaan beleman, dan strategi epsilon greedy, lalu melatih agen sampai menemukan jalan keluar.
Selesai!
Untuk masalah yang jauh lebih besar, Q-Table diganti dengan neural network, yang disebut Deep Key Network. Di episode terakhir kita menyatukan semuanya, membuat proyek machine learning lengkap dan mendepleinya menjadi aplikasi web. Ingin menguasai machine learning dan data science? Cerdas inovasi digital membuka kursus Python, machine learning, dan AI dari dasar, jasa pembuatan model prediksi, analisis data, dan aplikasi AI untuk bisnis maupun penelitian, serta menjual source code lengkap tutorial ini. Ingin menguasai seluruh seri ini, dari pengenalan machine learning sampai diplo model ke web? Semua 18 episode, lengkap dengan PDF panduan langkah demi langkah, tersedia untuk pelanggan tutorial premium. Berlangganan mulai Rp69.000 per bulan, hemat 28% dengan paket 12 bulan, atau sekali bayar Rp999.000 untuk akses seumur hidup. Mau satu kelas saja? Beli kelas satuan dengan akses selamanya. Langganan sekarang di halaman premium cerdasinovasidigital.com Hubungi WhatsApp kami, atau kunjungi cerdasinovasidigital.com Terima kasih telah menonton, sampai jumpa di episode berikutnya.
Tanya materi kelas
Ketik pertanyaan atau kata kunci; kami carikan bagian episode ini yang menjelaskannya dan lompatkan videonya ke sana.
Catatan saya
Catatan disimpan bersama menit video saat ini dan hanya terlihat oleh Anda.
Tanya jawab
Bingung di salah satu langkah? Tanyakan di sini; pengajar dan peserta lain bisa menjawab.
Belum ada pertanyaan.
Pengajar
Tim Cerdas Inovasi Digital
Pengembang software, engineer BIM & 3D, dan praktisi AI
52 kelas video1.276 episode
Sehari-hari kami mengerjakan software, model BIM, game, dan otomasi AI untuk klien, lalu menjadikan pengalaman praktik itu kelas langkah demi langkah: setiap langkah diperlihatkan di layar dan dilengkapi panduan PDF.
