Paling banyak satu email per minggu. Berhenti kapan saja dengan satu klik.
Transkrip
Narasi lengkap video ini. Kalimat yang sedang diucapkan disorot saat video diputar; klik kalimat untuk melompat ke sana.
Tampilkan transkrip
Pembuka
Inilah hasil akhirnya, agen DeepQ Network yang kita tulis dari nol dengan PyTorch, belajar menjadwalkan resource block dan mengatur daya hanya dari coba-coba. Dalam beberapa menit, throughputnya naik dari sekitar 8 menjadi 20 megabit per detik. Ayo kita mulai. Halo, selamat datang di episode kelima seri alokasi sumber daya 5G dengan Deep Reinforcement Learning. Lingkungan sudah siap. Hari ini kita menulis algoritma DeepQ Network, algoritma yang terkenal karena berhasil bermain game atari setingkat manusia, dan melatihnya untuk mengalokasikan sumber daya jaringan.
Langkah 1: Jaringan O & replay buffer
Buat file dekien.pe Jaringan Q adalah multilayer perceptron dengan dua lapisan tersembunyi 128 neuron, yang menerima state dan mengeluarkan nilai Q untuk ke-24 aksi, yaitu perkiraan total reward ke depan bila aksi itu diambil. Ripley buffer menyimpan hingga 100 ribu transisi, lalu mengambil sampel acak untuk pelatihan, agar data yang berurutan dan saling berkorelasi tidak mengacaukan pembelajaran.
Langkah 2: Agen DAN & Double DAN
Kelas agen dekien punya dua jaringan. Jaringan Q yang dilatih, dan jaringan target yang disalin setiap seribu langkah agar target belajar stabil. Fungsi pilih memakai epsilon greedy, dengan peluang epsilon agen mencoba aksi acak untuk eksplorasi, selain itu memilih aksi dengan Q terbesar. Fungsi belajar memakai target double the QN, jaringan Q memilih aksi terbaik di state berikutnya, jaringan target menilainya, sehingga perkiraan nilai tidak terlalu optimis. Loss Uber dan pemotongan gradient membuat pelatihan tahan terhadap reward yang besar.
Langkah 3: Melatih agen
Buat file latih underscore dekien.py Kita latih 30 episode, masing-masing 200 slot atau 2000 keputusan, dengan jaringan acak berbeda di setiap episode agar agen tidak menghafal satu tata letak. Epsilon turun linier dari 1 ke 0,05 di paru pertama pelatihan, dan agen belajar setiap dua keputusan. Setelah selesai, bobot disimpan ke dekien underscore alokasi dot pt, lalu kita gambar kurva pelatihannya.
Langkah 4: Jalankan pelatihan & kurva
Jalankan Di awal, saat agen masih banyak mencoba aksi acak, teruput sekitar 8 sampai 15 megabit per detik. Setelah epsilon kecil, reward naik di atas 1700 dan teruput sekitar 20 megabit per detik, dengan efisiensi energi di atas 2 megabit per joule. Mari lihat grafiknya. Total reward dan teruput melonjak setelah episode 15, saat agen berhenti bereksplorasi dan memakai pengetahuannya. Naik turunnya wajar karena setiap episode memakai tata letak usia, user yang berbeda. Ada yang mudah dan ada yang sulit. Loss hue bernaik di awal saat buffer mulai terisi beragam pengalaman, lalu perlahan turun seiring perkiraan nilai queue yang makin tepat. Selesai. Kita sudah menulis deep queue network dari nol dengan ripley buffer,
» Selesai!
epsilon greedy, target network, dan double the QN, lalu melatih agen alokasi resource block dan daya. Di episode terakhir kita mengevaluasinya terhadap semua penjadwal pembanding. Sedang menyusun skripsi, tesis, atau riset di bidang telekomunikasi dan kecerdasan buatan? Cerdas inovasi digital membantu implementasi riset jaringan seluler, dari simulator 5G, model kanal dan SINR, penjadwal proportional fair dan waterfilling, sampai deep reinforcement learning dengan PyTorch, serta membuka kursus pemrograman Python untuk teknik elektro dan telekomunikasi. Ingin menguasai seluruh seri ini, dari konsep resource block sampai evaluasi efisiensi energi agen The QN? Semua 6 episode, lengkap dengan PDF panduan langkah demi langkah dan source code, tersedia untuk pelanggan tutorial premium. Berlangganan mulai Rp69.000 per bulan, hemat 28% dengan paket 12 bulan, atau sekali bayar Rp999.000 untuk akses seumur hidup. Terima kasih telah menonton, sampai jumpa di episode berikutnya.
Tanya materi kelas
Ketik pertanyaan atau kata kunci; kami carikan bagian episode ini yang menjelaskannya dan lompatkan videonya ke sana.
Catatan saya
Catatan disimpan bersama menit video saat ini dan hanya terlihat oleh Anda.
Tanya jawab
Bingung di salah satu langkah? Tanyakan di sini; pengajar dan peserta lain bisa menjawab.
Belum ada pertanyaan.
Pengajar
Tim Cerdas Inovasi Digital
Pengembang software, engineer BIM & 3D, dan praktisi AI
53 kelas video1.290 episode
Sehari-hari kami mengerjakan software, model BIM, game, dan otomasi AI untuk klien, lalu menjadikan pengalaman praktik itu kelas langkah demi langkah: setiap langkah diperlihatkan di layar dan dilengkapi panduan PDF.
