查看文章

Dalam beberapa penelitian data berita sangat dibutuhkan sebagai obyek penelitiannya. Data berita dapat diperoleh dengan mudah dari situs berita daring dengan cara mengunjungi situs berita yang diinginkan dan mengambil berita tersebut satu persatu. Dikarenakan data berita yang dibutuhkan tidak sedikit jumlahnya maka cara tersebut tidak efektif dan efisien. Maka untuk memudahkan proses pencarian data berita dibutuhkan suatu program yang dapat melakukan pencarian data berita secara keseluruhan. Web crawler merupakan suatu proses yang digunakan dalam mesin pencarian atau search engine untuk menelusuri atau merayapi halaman dari suatu laman guna mencari informasi yang diinginkan. Dengan menerapkan metode depth-first crawling pada focused crawling, crawler atau program crawling dapat melakukan penelusuran dari halaman ke halaman sesuai node yang sudah ditentukan dan dapat fokus menelusuri halaman yang merujuk pada konten berita. Hasil dari program crawling ini berupa data berita yang memiliki tipe data XML dan JSON. Selain itu penelitian ini juga menghasilkan data berita sejumlah 150.466 data berita. Data tersebut dapat digunakan dalam penelitian lain yang membutuhkan data berita sebagai obyek penelitiannya.