Menjadi Scraper Web Profesional | Pelajari cara mengikis situs web dan mendapatkan data yang berguna dengan menggunakan Selenium dan NodeJS
Apa yang akan Anda pelajari
- Memahami dasar-dasar NODE JS
- Memahami instalasi dan un-instalasi modul simpul
- Memahami dasar-dasar Scrapping Web
- Memahami alat otomasi Selenium dengan scrapping
- Memahami cara menemukan berbagai elemen
- Memahami cara menemukan elemen dengan XPATH
- Memahami dasar-dasar metode Selenium yang diperlukan untuk membuang
- Memahami berbagai jenis Pengecualian dalam selenium dan cara menanganinya
- Simpan data yang dihapus di file excel CSV
- Selesaikan Proyek yang akan Mengikis Google menerjemahkan situs web
- Selesaikan Proyek yang akan mengikis situs web Asuransi Perjalanan
Persyaratan
- Dasar-dasar HTML
- Konsep Pemrograman Dasar Seperti Variabel, Jika Kondisi, Struktur Loop.
- Dasar-dasar JavaScript
- Versi Node JS: 10.13.0 (kami akan menginstalnya di dalam kursus)
- Versi Chrome Driver: 2.43 (kami akan menginstalnya di dalam kursus)
Deskripsi
Pengikisan web adalah teknik Ilmu Data yang mengumpulkan atau menyimpan informasi publik dan berguna dari situs web dalam format yang sesuai seperti spreadsheet yang dapat digunakan nanti untuk tujuan apa pun. Ini pada dasarnya menghilangkan beban menyalin data secara manual, alih-alih memberikan cara otomatis untuk melakukannya.
The ekstraksi data dilakukan dari website menggunakan semacam kode yang ditulis disebut “scraper” yang membutuhkan Web URL, mem-parsing HTML DOM dari situs itu dan kemudian mengembalikan hasil yang kita dapat menyimpan dalam beberapa format katakanlah CSV untuk penggunaan masa depan . Data yang kami parse dapat berupa teks, gambar, nama paket dan harga terkait, video dan informasi kontak seperti email, nama, nomor telepon, dan sebagainya.
Kursus ini dibangun di NODEJS yang ringan, efisien, dan memiliki skala karena non-blocking I / O dan event driven. Keuntungan utama dari simpul adalah sifatnya yang tidak sinkron yang berarti bahwa Anda tidak perlu menunggu permintaan untuk menyelesaikan sebelum membuat yang lain yang pada gilirannya memberikan kinerja yang sangat tinggi. Kursus ini dibuat dengan cara yang sangat mudah sehingga orang yang tidak memiliki pengetahuan tentang NODEJS dapat dengan mudah memahami dan karenanya membangun scraper sendiri di NODEJS.
