Berikut adalah silabus 20 sesi @1,5 jam untuk topik:
“Web Scraping Berita Online Menggunakan Python untuk Analisis Tren Topik Terkini”
Tahap 1: Dasar Web Scraping dan Tools (Sesi 1–5)
-
Pengenalan Web Scraping & Use Case Berita Online Apa itu web scraping
-
Studi kasus scraping situs berita (Detik, Kompas, CNN Indonesia)
-
Legalitas dan etika scraping
-
Dasar HTML dan Struktur DOM Elemen HTML: tag, class, id
-
Cara membaca struktur web berita
-
Tools bantu: Inspect element (browser), DevTools
-
Instalasi dan Pengantar Library Python untuk Scraping Instalasi Python dan pip
-
Pengenalan requests , BeautifulSoup , lxml
-
Scraping sederhana dari situs HTML statis
-
Scraping Judul & Tanggal Berita dari Situs Detik Ambil judul dan tanggal dari homepage Detik
-
Parsing data dengan BeautifulSoup
-
Menyimpan ke CSV
-
Scraping Isi Berita (Konten Artikel) dari Link Detail Ambil link dari homepage
-
Masuk ke halaman detail dan ekstraksi isi
-
Penanganan konten multi-paragraf
️ Tahap 2: Pendalaman Scraping dan Teknik Lanjutan (Sesi 6–10)
-
Scraping Kompas dan Perbandingan Struktur HTML Perbedaan struktur antar situs
-
Modularisasi fungsi scraping
-
Scraping dari CNN Indonesia dan Navigasi Pagination Navigasi ke halaman berita sebelumnya
-
Loop scraping multi-halaman
-
Handling Error dan Anti-Bot Protection Penanganan status code
-
User-Agent dan headers
-
Delay & random sleep
-
Penyimpanan ke Database (SQLite / CSV / JSON) Format penyimpanan data scraping
-
Membuat database SQLite dan insert data hasil scraping
-
Scraping Terjadwal dengan Cron atau Task Scheduler



