Paling banyak satu email per minggu. Berhenti kapan saja dengan satu klik.
Transkrip
Narasi lengkap video ini. Kalimat yang sedang diucapkan disorot saat video diputar; klik kalimat untuk melompat ke sana.
Tampilkan transkrip
Pembuka
Inilah hasil akhirnya, sebuah wajah dipotong menjadi 64 pek kecil, seperti kata-kata dalam sebuah kalimat, lalu diproses oleh vision transformer yang kita tulis sendiri dari nol, lengkap dengan peta attention yang menunjukkan hubungan antar pek. Ayo kita mulai. Halo, selamat datang di episode ketiga seri deteksi deepfake berbasis vision transformer. Transformer awalnya diciptakan untuk teks, dan menjadi dasar model bahasa seperti GPT. Pada tahun 2020, peneliti Google menunjukkan bahwa citra pun bisa diperlakukan seperti kalimat, dipotong menjadi pek, lalu diproses dengan self-attention. Itulah vision transformer atau NMIT. Hari ini kita menulis NMIT mini dari nol supaya benar-benar paham cara kerjanya.
Langkah 1: Patch embedding
Buat file NMIT underscore mini dot pe. Komponen pertama, patch embedding. Triknya sederhana. Konvolusi dengan ukuran kernel dan strides sama dengan ukuran pek, 16 piksel. Setiap pek 16x16 diubah menjadi satu vektor berdimensi 192. Flatten dan transpose mengubah hasilnya menjadi urutan token. Untuk citra 128 piksel, ada 64 pek.
Langkah 2: Blok transformer & self-attention
Komponen kedua blok transformer. Isinya layar norm, multi-head self-attention, dan MLP dua lapis dengan aktifasi gelu, masing-masing dengan koneksi residual. Self-attention membuat setiap pek melihat semua pek lain dan menimbang mana yang relevan. Misalnya pek mata bisa memperhatikan pek mata satunya. Kita juga mengembalikan bobot attention untuk divisualisasikan. Komponen ketiga kelas fit mini.
Langkah 3: Token CLS & positional embedding
Ada token CLS. Satu vektor khusus yang ditempatkan di depan urutan dan bertugas merangkum seluruh citra untuk klasifikasi. Lalu positional embedding. Karena self-attention tidak tahu urutan, setiap posisi pek diberi vektor posisi yang dipelajari. Setelah melewati empat blok, token CLS masuk ke kepala klasifikasi dua kelas, asli atau palsu. Sekarang buat file cek underscore E6IT.py.
Langkah 4: Wajah sebagai 64 patch
Pertama kita lihat bagaimana sebuah wajah 128 piksel dipotong menjadi grid 8x8, 64 pack berukuran 16 piksel. Bagi E6IT, wajah ini adalah kalimat dengan 64 kata.
Langkah 5: Bentuk tensor & peta attention
Lalu kita periksa bentuk tensor di setiap tahap. Citra 1x3x128x128 menjadi 64 token berdimensi 192. Ditambah token CLS menjadi 65 token. Setelah satu blok transformer bentuknya tetap, dengan matrix attention 65x65, dan keluarannya dua kelas. Total parameter E6IT mini 1,94 juta. Terakhir peta attention token CLS ke 64 pack. Karena model belum dilatih, polanya masih acak. Nanti di episode 6 kita lihat peta attention dari model yang sudah terlatih.
" Selesai!
Selesai. Kita sudah menulis vision transformer dari 0, pack embedding, token CLS, positional embedding, block transformer dengan multi-head self-attention, dan memeriksa bentuk tensor di setiap tahap. Melatih E6IT dari 0 butuh data sangat banyak. Jadi di episode berikutnya kita melakukan fine tuning E6IT pretrinet untuk mendeteksi wajah asli dan deepfake. Sedang menyusun skripsi, tesis, atau riset AI di bidang deteksi deepfake dan forensik citra? Cerdas inovasi digital membantu implementasi deep learning, dari deteksi wajah, vision transformer, perbandingan dengan CNN, uji ketahanan kompresi, sampai peta attention dan aplikasi web, serta membuka kursus deep learning dengan PyTor. Ingin menguasai seluruh seri ini, dari detaset wajah sampai aplikasi pemeriksa deepfake? Semua 6 episode, lengkap dengan PDF panduan langkah demi langkah dan source code, tersedia untuk pelanggan tutorial premium. Berlangganan mulai Rp69.000 per bulan, hemat 28% dengan paket 12 bulan, atau sekali bayar Rp999.000 untuk akses seumur hidup. Mau satu kelas saja? Beli kelas satuan dengan akses selamanya. Langganan sekarang di halaman premium cerdasinovasidigital.com Hubungi WhatsApp kami, atau kunjungi cerdasinovasidigital.com Terima kasih telah menonton, sampai jumpa di episode berikutnya.
Tanya materi kelas
Ketik pertanyaan atau kata kunci; kami carikan bagian episode ini yang menjelaskannya dan lompatkan videonya ke sana.
Catatan saya
Catatan disimpan bersama menit video saat ini dan hanya terlihat oleh Anda.
Tanya jawab
Bingung di salah satu langkah? Tanyakan di sini; pengajar dan peserta lain bisa menjawab.
Belum ada pertanyaan.
Pengajar
Tim Cerdas Inovasi Digital
Pengembang software, engineer BIM & 3D, dan praktisi AI
53 kelas video1.279 episode
Sehari-hari kami mengerjakan software, model BIM, game, dan otomasi AI untuk klien, lalu menjadikan pengalaman praktik itu kelas langkah demi langkah: setiap langkah diperlihatkan di layar dan dilengkapi panduan PDF.
