Seminggu yang lalu saya terkaget-kaget dengan statistik website saya yang tiba-tiba jumlah pengunjungnya ratusan orang per hari. Setelah saya jarang nulis tutorial microsoft office, jumlah pengunjung blog ini memang menurun drastis. Ya paling-paling 40 an per hari. Dan sebagian mampir ke tutorial microsoft office yang udah lawas. Karena selama beberapa hari jumlah pengunjung meledak jadi ratusan jadi saya agak khawatir, apa saya salah membuat suatu konten? Atau apa?
Seperti yang kita tahu, statistik website tidak bisa mengetahui pengunjung berasal dari mana saja, keyword yang mereka gunakan untuk menemukan blog kita pakai apa dan sebagainya. Hanya ada tampilan berapa jumlah pengunjung hari itu dan mampir ke konten yang mana saja. Karena agak khawatir saya browsing dan menemukan bahwa kemungkinan, sedang ada proses crawling web yang terjadi di blog saya.
Saya cek pakai google console dan ya ternyata bener. Jadi Web crawling adalah proses otomatis di mana robot perangkat lunak (disebut web spider atau crawler) menelusuri, membaca, dan mengindeks konten dari seluruh halaman web di internet. Ini adalah langkah utama mesin pencari seperti Google untuk menemukan, memahami, dan menyimpan data situs web agar dapat ditampilkan saat pengguna mencari informasi.
Berikut adalah poin-poin penting mengenai web crawling. Tujuan Utama web crawling adalah menemukan URL baru, mengindeks halaman, dan memperbarui konten web agar tetap relevan di hasil pencarian (SERP). Cara Kerjanya gimana? Crawler memulai dari daftar URL, mengunjungi situs tersebut, lalu mengikuti tautan (hyperlink) ke halaman lain, merekam kontennya, dan mengulanginya secara sistematis. Mesin pencari menggunakan bot (contoh: Googlebot) untuk menganalisis data, termasuk teks, gambar, dan video untuk menentukan peringkat. Perbedaan dengan Scraping adalah Crawling fokus pada penelusuran tautan untuk pengindeksan, sedangkan web scraping fokus mengekstraksi data spesifik untuk dianalisis. Web crawling memastikan situs web bisnis dapat ditemukan oleh mesin pencari, yang berdampak langsung pada visibilitas dan trafik organik.
Secara ringkas, web crawling membuat internet dapat dinavigasi, memungkinkan pengguna menemukan informasi yang relevan dengan cepat melalui mesin pencari.
Saat tulisan ini dibuat, proses crawl tersebut sepertinya sudah selesai dengan hasil yang ditampakan pada gambar diatas. Saya sendiri masih mencari tahu bagaimana memperbaiki masalah-masalah yang ditemukan itu. Kalo sudah ketemu, saya share untuk sesama teman blogger ya. Semoga bisa saling membantu.



