Paling banyak satu email per minggu. Berhenti kapan saja dengan satu klik.
Transkrip
Narasi lengkap video ini. Kalimat yang sedang diucapkan disorot saat video diputar; klik kalimat untuk melompat ke sana.
Tampilkan transkrip
Pembuka
Inilah hasil akhirnya, masalah alokasi sumber daya 5G yang kita ubah menjadi lingkungan reinforcement learning standar gymnasium, dengan state 25 angka, 24 pilihan aksi, dan reward yang menyeimbangkan keadilan dan hemat energi. Ayo kita mulai. Halo, selamat datang di episode keempat seri alokasi sumber daya 5G dengan deep reinforcement learning. Reinforcement learning membutuhkan masalah dalam bentuk Markov decision process. Agen melihat state, memilih aksi, menerima reward, lalu berpindah ke state berikutnya. Desain state, aksi, dan reward menentukan apa yang dipelajari agen. Hari ini kita merancangnya dengan cermat.
Langkah 1: State & aksi
Buat file lingkungan underscore rb.py Satu keputusan agen adalah satu resource block. Pilih user mana yang dilayani dan dengan daya berapa? 25, 50, atau 100 persen? Dengan 8 user dan 3 level daya, ada 24 aksi. State-nya berisi 3 informasi untuk setiap user, SINR di rb ini, laju rata-rata yang sudah diterimanya, dan metrik proportional fair, yaitu log dari laju sesaat dibagi laju rata-rata. Ditambah posisi rb dalam slot, totalnya 25 angka yang dinormalisasi agar mudah dipelajari jaringan saraf. Fungsi reset membuat jaringan baru dengan posisi user acak,
Langkah 2: Reward & transisi slot
atau SID tertentu untuk evaluasi yang adil. Fungsi step menerjemahkan aksi menjadi user dan daya, menghitung laju, lalu memberi reward. Laju dibagi laju rata-rata user itu, yaitu metrik proportional fair, dikurangi beta kali level daya sebagai biaya energi. Setelah 10 keputusan, slot selesai. Laju rata-rata diperbarui, kanal berubah karena fading, dan setelah 200 slot episode berakhir.
Langkah 3: Kebijakan acak vs PF
Buat file uji underscore lingkungan dot paye dan jalankan dengan dua kebijakan sederhana. Kebijakan acak hanya mencapai total reward 1080, trupu 7,75 Mbps, dan J0,634. Kebijakan PF daya penuh, yang memilih metrik PF terbesar dari state, mencapai reward 1477, trupu 17,95 Mbps, dan efisiensi energi 1,795 Mbps. Ini memastikan lingkungan kita konsisten dengan simulator di episode 3.
Langkah 4: Reward & pilihan aksi
Mari lihat grafiknya. Reward PF tinggi di awal karena semua user mulai dengan laju rata-rata yang sama, lalu turun ke keseimbangan saat laju rata-rata terbentuk, tetapi tetap di atas kebijakan acak. Diagram kanan memperlihatkan PF selalu memilih aksi dengan daya penuh, indeks 2, 5, 8, dan seterusnya. Tantangan agen The QN adalah menemukan kapan daya kecil sudah cukup.
Selesai!
Selesai. Kita sudah merumuskan alokasi resource block dan daya sebagai mark of decision process dalam lingkungan gimnasium, lengkap dengan state, aksi, dan reward yang menyeimbangkan keadilan dan energi. Di episode berikutnya kita menulis dan melatih agen DeepQ Network. Sedang menyusun skripsi, tesis, atau riset di bidang telekomunikasi dan kecerdasan buatan? Cerdas inovasi digital membantu implementasi riset jaringan seluler, dari simulator 5G, model kanal dan SINR, penjadwal proportional fair dan waterfilling, sampai di reinforcement learning dengan PyTorch, serta membuka kursus pemrograman Python untuk teknik elektro dan telekomunikasi. Ingin menguasai seluruh seri ini, dari konsep resource block sampai evaluasi efisiensi energi agen The QN? Semua 6 episode, lengkap dengan PDF panduan langkah demi langkah dan source code, tersedia untuk pelanggan tutorial premium. Berlangganan mulai Rp69.000 per bulan, hemat 28% dengan paket 12 bulan, atau sekali bayar Rp999.000 untuk akses seumur hidup. Mau satu kelas saja? Beli kelas satuan dengan akses selamanya. Langganan sekarang di halaman premium cerdasinovasidigital.com Hubungi WhatsApp kami, atau kunjungi cerdasinovasidigital.com Terima kasih telah menonton, sampai jumpa di episode berikutnya.
Tanya materi kelas
Ketik pertanyaan atau kata kunci; kami carikan bagian episode ini yang menjelaskannya dan lompatkan videonya ke sana.
Catatan saya
Catatan disimpan bersama menit video saat ini dan hanya terlihat oleh Anda.
Tanya jawab
Bingung di salah satu langkah? Tanyakan di sini; pengajar dan peserta lain bisa menjawab.
Belum ada pertanyaan.
Pengajar
Tim Cerdas Inovasi Digital
Pengembang software, engineer BIM & 3D, dan praktisi AI
53 kelas video1.290 episode
Sehari-hari kami mengerjakan software, model BIM, game, dan otomasi AI untuk klien, lalu menjadikan pengalaman praktik itu kelas langkah demi langkah: setiap langkah diperlihatkan di layar dan dilengkapi panduan PDF.
