Apa perbedaan antara crawling dan indexing dalam SEO

Perayapan vs Pengindeksan: Apa Perbedaan Antara 2 Proses Mesin Pencari Umum Ini?

Ketika meneliti pencarian optimasi mesin (SEO), Anda mungkin akan menemukan istilah "perayapan" dan "pengindeksan". Mesin pencari menggunakan algoritme yang rumit untuk menghitung kata kunci dan posisi untuk yang situs web peringkat. Apakah itu Google, Bing atau mesin pencari tingkat rendah, meskipun, mereka semua mengandalkan perayapan dan pengindeksan.

Apa itu Merangkak?

Juga disebut sebagai spidering, crawling adalah proses mesin pencari yang melibatkan pembacaan kode halaman web dan, selanjutnya, kode konten. Untuk menentukan di mana dan bagaimana sebuah halaman web harus diberi peringkat, mesin pencari harus merangkak itu. Perayapan memungkinkan mesin pencari menganalisis semua elemen yang terlihat, serta elemen tersembunyi, seperti meta tag, pada halaman web. Dengan menggunakan informasi ini, mesin pencari dapat menentukan peringkat pencarian yang sesuai untuk

Mesin pencari merayapi halaman web dengan mengunjunginya dengan bot. Google, misalnya, menggunakan Googlebot, sedangkan Bing menggunakan Bingbot. Biasanya ada dua variasi dari setiap bot perayapan: desktop dan seluler. Versi desktop mensimulasikan pengguna desktop, sedangkan versi seluler mensimulasikan pengguna seluler. Apapun itu, semua bot mesin pencari dirancang untuk merayapi halaman web.

Apa itu Pengindeksan?

Pengindeksan, di sisi lain, melibatkan penambahan halaman web ke hasil pencarian. Pengindeksan dilakukan setelah crawling. Hanya setelah Google atau Bing merayapi situs web, mereka akan mengindeksnya.

Mesin pencari memiliki basis data yang sangat besar dan selalu berubah, yang dikenal sebagai indeks, yang terdiri dari daftar organik. Ketika mesin pencari mengindeks halaman web, mereka membuat satu atau lebih daftar organik untuk itu. Daftar organik ditambahkan ke hasil pencarian, memungkinkan pengguna menemukan halaman web saat mencari kata kunci yang relevan.

Cara Mendorong Mesin Pencari untuk Merayapi Situs Web Anda

Mesin pencari biasanya akan mulai merayapi situs web Anda segera setelah menemukannya. Setelah Google dan Bing mengetahui situs web Anda, mereka akan mengunjungi dengan bot - Googlebot dan Bingbot, masing-masing - untuk membaca kodenya. Namun, frekuensi mesin pencari merayapi situs web Anda dapat berfluktuasi.

Anda mungkin melihat seringnya perayapan selama beberapa bulan pertama setelah meluncurkan situs web Anda, diikuti dengan penurunan tajam di mana situs web Anda jarang dirayapi. Karena Google dan Bing lebih jarang merayapi situs web Anda, hal ini dapat mengakibatkan perubahan tidak diketahui. Misalnya, jika Anda memodifikasi halaman web judul tag pada hari Senin tetapi Google tidak merayapi halaman tersebut hingga hari Jumat, maka tua tag judul akan tetap berlaku selama empat hari tambahan.

Untuk mendorong mesin pencari agar lebih sering merayapi situs web Anda, ikuti kiat-kiat berikut ini:

- Membuat sitemap dan tentukan lokasinya di situs web Anda di Google Konsol Pencarian dan Bing Webmaster Tools.

- Publikasikan halaman web baru dan perbarui halaman web yang ada secara teratur.

 - Gunakan layanan ping seperti pingomatic untuk memberi tahu mesin pencari tentang perubahan yang dilakukan pada situs web Anda.

- Membangun tautan internal menghubungkan halaman situs web Anda.

- Pilih layanan hosting web yang andal.

- Gunakan struktur URL yang bermakna yang menggambarkan konten halaman web Anda.

- Optimalkan situs web Anda untuk memuat dengan cepat.

- Temukan dan perbaiki 404 kesalahan. Ketika mesin pencari mengikuti tautan ke 404 error, mereka akan menghabiskan lebih sedikit waktu untuk merayapi halaman web lain di situs web Anda.

-   Ulasan situs web Anda robot.txt untuk memastikan tidak memblokir atau membatasi mesin pencari untuk merayapi situs web Anda.

Anda dapat melihat frekuensi perayapan situs web Anda oleh dua mesin pencari utama dengan menggunakan Konsol Pencarian Google dan Alat Webmaster Bing. Untuk Google, log masuk ke akun Google Search Console Anda dan kunjungi google.com/webmaster/tools/crawl-stats. Untuk Bing, masuk ke akun Bing Webmaster Tools Anda dan pilih "Crawl Information" di bawah menu tarik-turun "Reports & Data".

Cara Mendorong Mesin Pencari untuk Mengindeks Situs Web Anda

Meskipun Google dan Bing secara teratur merayapi situs web Anda, mereka mungkin tidak mengindeks semua halaman webnya. Mesin pencari mungkin merayapi seluruh situs web Anda beberapa kali per hari tetapi hanya mengindeks tiga perempat halamannya. Setiap halaman web yang dihilangkan dari indeks Google atau Bing tidak akan menghasilkan lalu lintas organik apa pun.

Perlu diingat, tidak semua halaman web akan mendapat manfaat dari diindeks. Halaman web dengan konten duplikat, misalnya, tidak perlu diindeks. Jika dua halaman web berisi konten yang sama, hanya satu dari mereka yang akan mendapat peringkat tinggi dalam hasil pencarian. Mesin pencari dapat mengindeks halaman web lainnya, tetapi karena berisi konten duplikat, peringkatnya akan jauh lebih rendah dan untuk kata kunci yang jauh lebih sedikit. Dengan demikian, Anda harus berusaha untuk mendapatkan sebagian besar halaman situs web Anda, kecuali untuk halaman konten duplikat, diindeks oleh Google dan Bing.

Untuk mendorong mesin pencari mengindeks situs web Anda dan semua halamannya, ikuti kiat-kiat ini:

- Hindari menerbitkan konten yang sama di beberapa halaman web. Setiap halaman web harus menampilkan konten unik yang tidak ditemukan di tempat lain di situs web Anda.

- Bangun backlink, lebih disukai dari sumber yang relevan dan otoritatif, ke situs web Anda.

- Promosikan situs web Anda di media sosial. Ketika Anda mempublikasikan konten baru di situs web Anda, bagikan tautan ke sana dengan pengikut Facebook dan Twitter Anda.

- Buat dan gunakan peta situs. Sitemap mendorong mesin pencari untuk merayapi dan mengindeks situs web Anda.

- Cobalah untuk menghindari perubahan lokasi halaman web. Jika Anda harus memindahkan halaman web ke lokasi yang berbeda, yang berarti akan memiliki URL yang berbeda, gunakan 301 pengalihan.

Anda dapat melihat halaman web mana di situs web Anda yang telah diindeks Google dan Bing dengan menggunakan operator pencarian "site". Cukup cari situs web Anda domain dilanjutkan dengan "site:" Operator site memberi tahu Google dan Bing untuk memfilter semua daftar kecuali yang berasal dari domain yang ditentukan dari hasil pencarian. Dengan asumsi Anda tidak menyertakan kata lain dalam pencarian Anda, operator "site" akan mengungkapkan semua halaman web di situs web Anda yang telah diindeks Google dan Bing.

Optimasi mesin pencari (SEO) membutuhkan pemahaman tentang bagaimana mesin pencari beroperasi. Jika Anda tidak tahu cara kerja Google atau Bing, Anda akan kesulitan mengoptimalkan situs web Anda untuk hasil pencarian mereka. Perayapan terjadi ketika mesin pencari mengunjungi halaman web untuk membaca kode dan menganalisis kodenya. Sebagai perbandingan, pengindeksan terjadi ketika mesin pencari menambahkan halaman web ke hasil pencarian mereka.