Apa perbedaan antara crawling dan indexing dalam SEO

Perayapan vs Pengindeksan: Apa Perbedaan Antara 2 Proses Mesin Pencari Umum Ini?

Ketika meneliti pencarian optimasi mesin (SEO), Anda mungkin akan menemukan istilah "perayapan" dan "pengindeksan". Mesin pencari menggunakan algoritme yang rumit untuk menghitung kata kunci dan posisi untuk yang situs web peringkat. Apakah itu Google, Bing atau mesin pencari dengan tingkat yang lebih rendah, mereka semua mengandalkan merangkak dan pengindeksan.

Apa itu Merangkak?

Juga disebut sebagai spidering, crawling adalah proses mesin pencari yang melibatkan pembacaan kode halaman web dan, selanjutnya, kode konten. Untuk menentukan di mana dan bagaimana sebuah halaman web harus diberi peringkat, mesin pencari harus merangkak itu. Perayapan memungkinkan mesin pencari menganalisis semua elemen yang terlihat, serta elemen tersembunyi, seperti meta tag, pada halaman web. Dengan menggunakan informasi ini, mesin pencari dapat menentukan peringkat pencarian yang sesuai untuk

Mesin pencari merayapi halaman web dengan mengunjunginya dengan bot. Google, misalnya, menggunakan Googlebotsedangkan Bing menggunakan Bingbot. Biasanya ada dua variasi dari setiap bot perayapan: desktop dan seluler. Versi desktop mensimulasikan pengguna desktop, sedangkan versi seluler mensimulasikan pengguna seluler. Terlepas dari itu, semua bot mesin pencari dirancang untuk merayapi halaman web.

Apa itu Pengindeksan?

Pengindeksan, di sisi lain, melibatkan penambahan halaman web ke hasil pencarian. Pengindeksan dilakukan setelah crawling. Hanya setelah Google atau Bing merayapi situs web, mereka akan mengindeksnya.

Mesin pencari memiliki basis data yang sangat besar dan selalu berubah, yang dikenal sebagai indeks, yang terdiri dari daftar organik. Ketika mesin pencari mengindeks halaman web, mereka membuat satu atau lebih daftar organik untuk itu. Daftar organik ditambahkan ke hasil pencarian, memungkinkan pengguna menemukan halaman web saat mencari kata kunci yang relevan.

Cara Mendorong Mesin Pencari untuk Merayapi Situs Web Anda

Mesin pencari biasanya akan mulai merayapi situs web Anda segera setelah menemukannya. Setelah Google dan Bing mengetahui situs web Anda, mereka akan mengunjungi dengan bot - Googlebot dan Bingbot, masing-masing - untuk membaca kodenya. Namun, frekuensi mesin pencari merayapi situs web Anda dapat berfluktuasi.

Anda mungkin melihat seringnya perayapan selama beberapa bulan pertama setelah meluncurkan situs web Anda, diikuti dengan penurunan tajam di mana situs web Anda jarang dirayapi. Karena Google dan Bing lebih jarang merayapi situs web Anda, hal ini dapat mengakibatkan perubahan tidak diketahui. Misalnya, jika Anda memodifikasi halaman web judul tag pada hari Senin tetapi Google tidak merayapi halaman tersebut hingga hari Jumat, maka tua tag judul akan tetap berlaku selama empat hari tambahan.

Untuk mendorong mesin pencari agar lebih sering merayapi situs web Anda, ikuti kiat-kiat berikut ini:

- Membuat sitemap dan tentukan lokasinya di situs web Anda di Google Konsol Pencarian dan Bing Webmaster Tools.

- Publikasikan halaman web baru dan perbarui halaman web yang ada secara teratur.

 - Gunakan layanan ping seperti pingomatic untuk memberi tahu mesin pencari tentang perubahan yang dilakukan pada situs web Anda.

- Buat tautan internal yang menghubungkan halaman situs web Anda.

- Pilih layanan hosting web yang andal.

- Gunakan struktur URL yang bermakna yang menggambarkan konten halaman web Anda.

- Optimalkan situs web Anda untuk memuat dengan cepat.

- Temukan dan perbaiki kesalahan 404. Ketika mesin pencari mengikuti tautan ke kesalahan 404, mereka akan menghabiskan lebih sedikit waktu untuk merayapi halaman web lain di situs web Anda.

- Tinjau file robots.txt situs web Anda untuk memastikan file tersebut tidak memblokir atau membatasi mesin pencari untuk merayapi situs web Anda.

Anda dapat melihat frekuensi perayapan situs web Anda oleh dua mesin pencari utama dengan menggunakan Google Search Console dan Bing Webmaster Tools. Untuk Google, masuk ke akun Google Search Console dan kunjungi google.com/webmasters/tools/crawl-stats. Untuk Bing, masuk ke akun Bing Webmaster Tools dan pilih "Crawl Information" di bawah menu tarik-turun "Reports & Data".

Cara Mendorong Mesin Pencari untuk Mengindeks Situs Web Anda

Meskipun Google dan Bing secara teratur merayapi situs web Anda, mereka mungkin tidak mengindeks semua halaman webnya. Mesin pencari mungkin merayapi seluruh situs web Anda beberapa kali per hari tetapi hanya mengindeks tiga perempat halamannya. Setiap halaman web yang dihilangkan dari indeks Google atau Bing tidak akan menghasilkan lalu lintas organik apa pun.

Perlu diingat, tidak semua halaman web akan mendapat manfaat dari diindeks. Halaman web dengan konten duplikat, misalnya, tidak perlu diindeks. Jika dua halaman web berisi konten yang sama, hanya satu dari mereka yang akan mendapat peringkat tinggi dalam hasil pencarian. Mesin pencari dapat mengindeks halaman web lainnya, tetapi karena berisi konten duplikat, peringkatnya akan jauh lebih rendah dan untuk kata kunci yang jauh lebih sedikit. Dengan demikian, Anda harus berusaha untuk mendapatkan sebagian besar halaman situs web Anda, kecuali untuk halaman konten duplikat, diindeks oleh Google dan Bing.

Untuk mendorong mesin pencari mengindeks situs web Anda dan semua halamannya, ikuti kiat-kiat ini:

- Hindari menerbitkan konten yang sama di beberapa halaman web. Setiap halaman web harus menampilkan konten unik yang tidak ditemukan di tempat lain di situs web Anda.

- Bangun backlink, lebih disukai dari sumber yang relevan dan otoritatif, ke situs web Anda.

- Promosikan situs web Anda di media sosial. Saat Anda menerbitkan konten baru di situs web Anda, bagikan tautan ke situs web Anda dengan Facebook dan pengikut Twitter.

- Buat dan gunakan peta situs. Sitemap mendorong mesin pencari untuk merayapi dan mengindeks situs web Anda.

- Cobalah untuk menghindari perubahan lokasi halaman web. Jika Anda harus memindahkan halaman web ke lokasi yang berbeda, yang berarti akan memiliki URL yang berbeda, gunakan 301 pengalihan.

Anda dapat melihat halaman web mana di situs web Anda yang telah diindeks Google dan Bing dengan menggunakan operator pencarian "site". Cukup cari situs web Anda domain dilanjutkan dengan "site:" Operator site memberi tahu Google dan Bing untuk memfilter semua daftar kecuali yang berasal dari domain yang ditentukan dari hasil pencarian. Dengan asumsi Anda tidak menyertakan kata lain dalam pencarian Anda, operator "site" akan mengungkapkan semua halaman web di situs web Anda yang telah diindeks Google dan Bing.

Optimasi mesin pencari (SEO) membutuhkan pemahaman tentang bagaimana mesin pencari beroperasi. Jika Anda tidak tahu cara kerja Google atau Bing, Anda akan kesulitan mengoptimalkan situs web Anda untuk hasil pencarian mereka. Perayapan terjadi ketika mesin pencari mengunjungi halaman web untuk membaca kode dan menganalisis kodenya. Sebagai perbandingan, pengindeksan terjadi ketika mesin pencari menambahkan halaman web ke hasil pencarian mereka.