Cara Menggunakan Robots txt untuk SEO

Setiap kali kita pergi menjelajahi tempat baru, maka kita membutuhkan panduan untuk kenyamanan dan menghemat waktu! Dengan cara yang sama robot web seperti itu dari setiap mesin pencari mengambil bantuan file Robots.txt untuk mendapatkan ide tentang cara merayapi halaman situs web tertentu.

Ngomong-ngomong, perilaku perayap seperti itu untuk bergerak di seluruh internetmengakses, mengindeks, dan menyajikan konten kepada pengguna yang ditargetkan adalah berdasarkan sekelompok standar web yang dikenal sebagai REP atau protokol pengecualian Robots yang mencakup robots.txt juga.

Dalam Dengan cara yang sederhana, kita dapat memahami dan mengingat robots.txt sebagai campuran dari dua istilah Robot dan Txt. Jadi, ini adalah file txt atau teks yang dimaksudkan untuk digunakan oleh robot web yang mungkin dari mesin pencari.

Hal ini juga dapat membantu webmaster jika situs web mengontrol perilaku perayapan dari agen pengguna, tetapi harus dilakukan dengan hati-hati, karena tidak mengizinkan yang penting atau semua halaman situs Anda dari mesin pencari seperti Google bisa sangat berbahaya.

Webmaster situs web dapat menggunakan robots.txt untuk menginstruksikan perangkat lunak web-crawling atau agen pengguna untuk apa semua bagian untuk dirayapi dan apa yang tidak dari situs. Hal ini dapat dilakukan dengan menggunakan instruksi "allow" atau "disallow" di dalam file robots.txt untuk beberapa atau semua agen pengguna crawler

Mesin pencari terutama bertanggung jawab atas dua pekerjaan utama untuk menyelesaikan pekerjaannya. Yang pertama adalah menemukan konten dari web dengan merayapi di mana-mana dan mengindeks pembaruan. Pekerjaan selanjutnya adalah mencari informasi terkait ke dalam diindeks direktori untuk menyajikan konten yang tepat sesuai permintaan pencarian.

Jadi, Robots txt itu apa?

Mesin pencari mengikuti tautan dan berpindah dari satu situs web ke situs web lainproses ini juga disebut sebagai "spidering". Setiap kali bot atau web crawler mencapai situs web baru maka sebelum mulai spidering yang sama, pertama-tama bot mencari file robots.txt. Jika ada maka ia akan membacanya untuk mendapatkan informasi tentang cara merayapi situs web, terutama apa yang harus diakses dan apa yang tidak! Jika tidak ada file robots.txt, agen-pengguna dapat mulai merayapi informasi lain yang tersedia di situs web.

Berkas harus terdiri atas sekurang-kurangnya dua elemen berikut ini;

Agen-pengguna: (Nama agen-pengguna)

Disallow: (String URL yang tidak boleh dirayapi)

Kedua baris di atas dapat dianggap sebagai satu set arahan agen-pengguna yang terpisah dari set lainnya dengan menggunakan line break (/).

Jika sebuah aturan tunggal ditentukan dalam file untuk lebih dari satu agen-pengguna, maka crawler pertama-tama akan membaca dan mengikuti arahan yang disebutkan dalam kelompok instruksi yang terpisah.

Siapa pun dapat melihat konten robots.txt yang ada di situs web hanya dengan menggunakan metode browser.

Anda perlu menambahkan robots.txt setelah URL seperti https://demo.com/robots.txt atau subdomainnya seperti https://shop.demo.com/robots.txt.

Adalah wajib bahwa file robots.txt harus tersedia setelah domain root. Jadi, Anda dapat menyebutkan hal yang sama pada browser.

Jika Anda tidak akan menemukan halaman .txt pada output maka ini berarti tidak ada halaman robots.txt (live) yang saat ini ada di situs web.

Harus ada file robots.txt yang terpisah untuk domain root (demo.com/robots.txt) dan setiap subdomainnya(blog.demo.com/robots.txt).

Semua instruksi yang ada dalam file harus dibaca dari atas ke bawah baik oleh manusia atau bot perangkat lunak apa pun! Bisa jadi robot atau agen pengguna tidak akan membaca file robots.txt dari sebuah situs web. Hal ini biasanya mungkin terjadi pada pengikis alamat email atau robot malware jenis crawler jahat.

Ada banyak keuntungan menggunakan robots.txt dalam sebuah website. Seperti;

- Untuk bertanya mesin pencari untuk lakukan tidak mengindeks file tertentu seperti PDF, gambar, dll. di situs web Anda. Arahan meta juga dapat digunakan sebagai alternatif robots.txt untuk menghindari pengindeksan halaman tetapi tidak berfungsi untuk file sumber daya.

- Seorang webmaster dapat memastikan crawling situs web yang efisien dengan memberikan bantuan tips untuk botnya.

- Untuk menghindari mesin pencari menampilkan pencarian internal halaman hasil pada SERP publik.

- Dengan memblokir halaman-halaman tertentu yang tidak penting atau tidak perlu dari situs web, Anda dapat memaksimalkan anggaran perayapan Anda pada halaman-halaman yang diperlukan.

- Untuk digunakan seperti meta-robot untuk menghindari duplikat konten yang akan ditampilkan di SERPs.

- Anda dapat mengambil bantuannya untuk tidak mengindeks hasil pencarian internal atau halaman web yang rusak dari situs web Anda.

- Untuk mencegah kelebihan beban server web yang mungkin terjadi ketika crawler beban beberapa konten sekaligus dengan menambahkan beberapa penundaan perayapan.

- Jika Anda tidak ingin orang mendarat di halaman mana pun yang berada pada versi pementasannya yang dapat memengaruhi kesan terutama pengunjung pertama kali dari sebuah situs web.

- Untuk membantu agen pengguna dengan mudah mengakses lokasi dari sitemap(s).

Seorang webmaster dapat menjaga bagian tertentu dari situs web (terutama yang sedang dibangun atau yang tidak lengkap) sepenuhnya pribadi dari bot perayapan.

Penting untuk membuat file robots.txt jika jumlah URL yang diindeks lebih dari ekspektasi.

Ini adalah terbaik untuk menggunakan editor kata apa pun seperti notepad atau wordpad untuk membuat file teks sederhana yang kompatibel dengan aturan untuk membuat robots.txt.

Cukup sertakan arahan dasar seperti "User agent:" dan "Disallow: /" untuk membuat file dasar untuk situs web.

Siapa pun dapat menyertakan aturan dengan mengikuti sintaks yang kompatibel di dalam file robots.txt.

Cara terbaik adalah pertama-tama membuat peta situs web Anda dan menyertakan URL-nya di bagian bawah agar lebih efektif.

Istilah umum yang digunakan di dalam file robots.txt adalah:

- Perayapan-tunda - Ini menunjukkan berapa lama waktu yang dibutuhkan crawler tertentu untuk menunggu sebelum mengakses konten halaman. Perintah ini tidak akan bekerja untuk Googlebot, namun crawl tingkat dapat diatur dari Google Search Console untuk menyelesaikan pekerjaan yang sama.

- User-agent - Ini menyebutkan web crawler tertentu atau agen pengguna (umumnya mesin pencari) yang ingin diberikan instruksi crawl oleh webmaster. Ada teknis nama untuk mesin pencari seperti Googlebot untuk Google dan sebagainya.

- Allow (digunakan oleh Google) - Ini adalah sintaks yang berguna untuk menginstruksikan Googlebot untuk merayapi subfolder atau halaman yang ada di dalam subfolder induk atau halaman yang mungkin tidak diizinkan.

- Disallow - Ini untuk menginstruksikan bot web untuk tidak mengakses URL tertentu. Perintah ini tidak boleh diizinkan dua kali untuk URL apa pun.

-Sitemap - Setiap agen pengguna yang kompatibel seperti Yahoo, Ask, Bing, atau Google dapat mengakses perintah ini untuk menemukan lokasi sitemap XML yang disebutkan berdasarkan URL.

Catatan: Ekspresi reguler seperti tanda dolar ($) dan asterisk (*) bisa digunakan oleh SEO untuk membantu agen pengguna Bing dan Google dalam mengidentifikasi subfolder atau halaman. Di sini * adalah sintaks pencocokan pola untuk mencakup semua jenis opsi akhiran URL yang mungkin dan * adalah untuk mewakili urutan karakter yang berbeda, bekerja sebagai wildcard sederhana.

Hal ini dapat dilakukan dengan memblokir atau melarang bot web dengan menentukan arahan untuk masing-masing atau semua untuk tidak mengakses halaman atau subfolder situs web.

Berikut adalah beberapa arahan yang biasa digunakan dalam file robots.txt untuk menginstruksikan agen-pengguna atau perayap web mereka;

1) Memungkinkan setiap perayap web untuk menemukan semua konten

Sintaksis: Agen-pengguna: * Disallow:

2) Melarang crawler web tertentu untuk mengakses folder

Sintaksis: Agen-pengguna: Googlebot Disallow: /extra-subfolder/

(Instruksi di atas meminta crawler Google untuk tidak mengakses halaman apa pun dari lokasi www.site-name.com/extra-subfolder/)

3) Melarang semua crawler web untuk mengakses konten apa pun

Sintaksis: Agen-pengguna: * Disallow: /

(Anda dapat menggunakan instruksi sederhana sebagai solusi untuk Bagaimana cara memblokir bot Robots txt?)

4) Melarang crawler web tertentu untuk mengakses halaman web tertentu

Sintaksis: Agen-pengguna: Googlebot Disallow: /extra-subfolder/useless-page.html

Mesin pencari populer menggunakan banyak laba-laba perangkat lunak yang berputar di seluruh web dan memindai situs web. Yang disorot adalah Googlebot, Googlebot-images (digunakan untuk gambar), dan Googlebot-news (untuk mengindeks dan menyajikan informasi tentang berita kepada pengguna).

Gunakan editor teks yang dapat membuat file teks UTF-8 standar. Membuat file menggunakan pengolah kata dapat menambahkan karakter yang tidak terduga seperti tanda kutip keriting dan dapat menyimpannya dalam format berpemilik yang mungkin menimbulkan masalah bagi perayap untuk memahami instruksi. Komentar dapat ditambahkan setelah menentukan karakter atau tanda #.

Berikut ini beberapa saran untuk membuat file terutama untuk agen pengguna Google;

1) File harus mengikuti Standar Pengecualian Robot.

2) Ini dapat menyertakan satu atau lebih aturan untuk mengizinkan atau memblokir akses ke crawler yang ditentukan ke jalur tertentu dari suatu situs.

3) Seorang webmaster harus terbiasa dengan hampir semua sintaks file robots.txt untuk memahami perilaku halus dari setiap sintaks.

4) Situs tidak boleh memiliki lebih dari satu file robots.txt.

5) File ini mendukung kedua subdomain (seperti http://website.demo.com/robots.txt atau port non-standar seperti (http://demo:8181/robots.txt).

6) Jika Anda tidak tahu atau memiliki akses ke folder root situs web Anda maka yang terbaik adalah menghubungi penyedia layanan web hosting untuk menyimpan file robots.txt di dalam folder yang sama. Jika Anda tidak dapat mengakses ke root situs web maka gunakan meta tag sebagai metode pemblokiran alternatif.

7) Lebih dari satu arahan atau aturan grup (disebutkan satu per baris) dapat dimasukkan dalam file robots.txt.

8) Hanya mendukung karakter ASCII.

9) Sebuah grup menyediakan informasi tentang untuk siapa grup itu diterapkan (agen pengguna) dan semua file atau direktori apa saja yang tidak bisa/dapat diakses oleh agen. Arahan diproses dari atas ke bawah. Sebuah bot web mengasosiasikan dirinya sendiri hanya pada satu set aturan yang dapat ditentukan secara terpisah atau didahulukan.

10) Sesuai asumsi default, bot dapat merayapi direktori atau halaman apa pun dengan sintaks "Disallow:".

11) Arahan yang digunakan dalam berkas bersifat case-sensitive, seperti Disallow: /one.xml tidak berlaku untuk ONE.xml.

12) Ini berlaku untuk seluruh domain situs web yang terdiri dari Protokol https atau http.

Biasanya, agen pengguna Bing dan Google menggunakan kelompok arahan tertentu, tetapi secara default, pertama, aturan yang cocok lebih disukai karena bot web mesin pencari yang berbeda menafsirkan arahan dengan cara yang berbeda.

Juga disarankan bagi webmaster untuk menghindari penggunaan sintaks crawl-delay sebanyak mungkin dalam file robots.txt mereka untuk mengurangi total waktu perayapan bot mesin pencari.

Anda dapat mengambil bantuan alat robots.txt Tester yang tersedia di Konsol webmaster Google untuk memeriksa apakah bot Google dapat merayapi URL yang telah Anda blokir dari Pencariannya. Ini juga dapat menunjukkan kesalahan logika dan peringatan sintaksis jika ada di robots.txt Anda. Anda dapat mengedit di sana dan mengujinya kembali.

Setelah semuanya baik-baik saja, Anda dapat mengatasi perubahan dan memperbarui file utama Anda yang terletak di server situs web Anda. Demikian pula, Anda dapat menggunakan alat yang berbeda untuk memeriksa terlebih dahulu perilaku perayapan mesin pencari setelah membaca robots.txt situs web Anda.

Anda juga dapat memeriksa bagaimana kinerja robots.txt di situs web Anda dengan menggunakan fitur 'Blocked URLs; fitur di dalam bagian 'Crawl' yang disediakan di bagian kiri dari Alat Webmaster Google. Namun, ini mungkin tidak menunjukkan versi robots.txt saat ini atau yang diperbarui tetapi dapat digunakan untuk tujuan pengujian.

Cobalah untuk secara teratur memeriksa file robots.txt Anda menggunakan alat apa pun tentang apakah semuanya valid di dalamnya dan file tersebut beroperasi dengan cara yang benar seperti yang diharapkan! Ngomong-ngomong, mungkin perlu beberapa hari atau bahkan beberapa minggu bagi mesin pencari untuk mengidentifikasi URL yang tidak diizinkan dengan membaca tentang hal yang sama dari robots.txt dan menghapus pengindeksannya.

Setelah memasukkan semua set aturan dalam file dan menamainya dengan robots.txt, file tersebut perlu disimpan di folder utama atau root dari situs web di server. Folder tingkat root dapat berupa "www' atau "htdocs" yang membantu robots.txt muncul di sebelah nama domain Anda.

Selalu disarankan untuk menjaga ukuran robots.txt yang wajar dengan menghindari arahan yang tidak diinginkan dari penyebutan dalam file. Hal ini karena bertahun-tahun sebelumnya John Mueller dari Google telah mengklarifikasi fakta bahwa Googlebot hanya akan mengakses 500kB pertama dari file robot.txt. File raksasa dapat terpotong dengan cara yang tidak diinginkan untuk membentuk baris yang mungkin ditafsirkan sebagai aturan yang tidak lengkap.

Ini juga dikenal sebagai protokol pengecualian robot atau standar pengecualian robot yang digunakan oleh situs web untuk berkomunikasi dengan robot web atau crawler. Mesin pencari menggunakan robot mereka untuk mengkategorikan situs web.

Webmaster menggunakan file robots.txt untuk menginstruksikan atau memandu robot-robot tersebut untuk mendapatkan pengindeksan yang lebih baik dari situs web mereka. Anda tidak memerlukan file robots.txt jika Anda tidak ingin mengontrol akses agen-pengguna ke area mana pun di situs web Anda. Seseorang dapat menemukan detail lebih lanjut tentang robots.txt dari topik lanjutan seperti Bagaimana Cara Membuat Bot Mesin Pencari?

Untuk peringkat mesin pencari yang lebih baik, ini adalah praktik SEO terbaik untuk memungkinkan perayapnya mencapai dan mengakses situs Anda dengan mudah. Situs web kami umumnya terdiri dari banyak halaman yang tidak diinginkan dari harapan kami, dan ketika bot mesin pencari merayapi setiap halaman situs Anda maka itu pasti akan menghabiskan lebih banyak waktu dan ini pasti akan berdampak negatif terhadapnya. peringkat.

Google menggunakan anggaran perayapan (dibagi menjadi dua bagian, batas tingkat perayapan dan permintaan perayapan) untuk setiap situs web untuk memutuskan jumlah URL yang diinginkan atau dapat dipindai. Jadi, jika Anda membantu bot atau agen pengguna tersebut untuk mengakses dan mengindeks hanya konten paling berharga dari situs web Anda robots.txt adalah suatu keharusan!

SEO tidak pernah menginginkan bagian atau konten apa pun diblokir dari situs web yang perlu dirayapi.

- Mesin pencari seperti Google bisa memiliki beberapa agen pengguna seperti Googlebot-Image (untuk mencari gambar) dan Googlebot (untuk pencarian organik). Banyak agen pengguna yang dimiliki oleh mesin pencari yang sama dapat mengikuti aturan yang sama sehingga banyak webmaster yang melewatkan untuk menentukan arahan untuk masing-masing crawler ini. SEO dapat mengambil keuntungan dari hal ini dengan menyebutkan instruksi yang berbeda untuk masing-masing crawler bahkan jika mereka lama ke satu mesin pencari untuk lebih mengontrol perilaku crawling mereka.

- Untuk SEO yang lebih baik, perlu bahwa tautan atau halaman yang dilarang tidak boleh menyertakan tautan lebih lanjut yang perlu diikuti. Jadi, halaman yang diblokir tidak boleh melewatkan ekuitas tautan ke tujuan tautan atau lebih baik menggunakan mekanisme pemblokiran lainnya. Mereka juga tidak boleh ditautkan dengan halaman lain yang dapat diakses oleh mesin pencari, yaitu halaman web yang tidak dilarang oleh meta robots, robots.txt, atau lainnya. Jika tidak, sumber daya penting yang ditautkan tidak akan diakses dan diindeks oleh mesin pencari.

- Yang terbaik adalah mengirimkan URL robots.url langsung di Google setelah pembaruan apa pun yang dilakukan pada file untuk memastikan akses cepatnya oleh agen pengguna yang ditargetkan. Umumnya, mesin pencari memperbarui konten robots.txt yang di-cache setidaknya sekali dalam sehari.

Adalah baik untuk menyebutkan lokasi dari semua atau semua peta situs berdasarkan domain situs web di bagian bawah file robots.txt-nya. Ngomong-ngomong, peta situs adalah file XML yang berisi informasi terperinci tentang halaman situs web seperti URL mereka dengan metadata terkait seperti kepentingannya, interval pembaruannya, dan pembaruan terakhir.

Semua informasi tersebut dapat digunakan oleh bot mesin pencari untuk merayapi situs web secara cerdas. Jadi, dengan cara ini webmaster dapat membantu agen pengguna yang mendukung Sitemap untuk mengetahui dan mengakses semua URL dari sitemap dan mengetahui lebih banyak tentang mereka dalam proses mereka menemukan halaman dari satu tautan ke tautan lain dalam satu atau dari situs lain.

Contohnya;

Alamat peramban: https://www.demo.com/robots.txt

Keluaran:

Agen pengguna: *

Disallow: *.dl.html

Izinkan: /*.html$

Peta Situs: https://www.demo.com/en-au/sitemap.xml

Peta Situs: https://www.demo.com/en-se/sitemap.xml

Peta Situs: https://www.demo.com/en-us/sitemap.xml

(Arahan di atas adalah untuk memanggil lebih dari satu peta situs melalui file robots.txt).

Ada risiko keamanan yang terkait dengan robots.txt karena banyak bot jahat tidak dapat mengikutinya serta seseorang dapat menggunakannya untuk mengetahui semua tautan yang dilarang dan langsung mengaksesnya. Jadi sebagai solusinya, Anda dapat melindungi area situs web Anda dengan kata sandi yang berisi konten pribadi sehingga penyusup tidak dapat mengaksesnya bahkan setelah mengetahui lokasinya.

Untuk menyajikan data sensitif dari pengindeksan atau muncul di SERP (baik secara langsung atau tidak langsung yaitu melalui halaman yang disukai) yang terbaik adalah menggunakan metode lain selain melarang hal yang sama dari robots.txt untuk memblokir halaman. Ini bisa berupa tidak ada arahan meta indeks atau metode perlindungan kata sandi.

WordPress umumnya membuat file robots.txt default virtual di root secara langsung untuk situs webnya yang tidak dapat dilihat pada direktori. Jadi, yang terbaik adalah selalu membuat file baru yang tumpang tindih dengan pengaturan default apa pun terutama untuk melarang halaman login atau pendaftaran yang tidak penting bagi mesin pencari!

Banyak orang biasanya bingung tentang Cara menghapus Robots txt di WordPress atau platform lainnya. Namun, prosesnya sama untuk semua! File robots.txt perlu disimpan di direktori tingkat atas situs web yaitu domain root atau direktori utama untuk membantu bot menemukannya dengan mudah. Jadi, yang Anda butuhkan adalah menghapus file langsung dari folder atau lokasi tertentu.

Cobalah untuk tidak memasukkan instruksi untuk menyembunyikan informasi rahasia pengguna di dalam file robots.txt. Karena file tersebut adalah file yang dapat diakses publik, seseorang dapat melihat arahannya dengan menambahkan /robots.txt di akhir domain root.

Dengan cara ini, siapa pun dapat mengetahui semua halaman apa saja yang diizinkan oleh webmaster situs untuk dirayapi atau tidak oleh semua atau bot web tertentu. File harus disimpan dengan nama "robots.txt" saja karena nama ini sensitif terhadap huruf besar-kecil sehingga tidak ada kombinasi lain yang akan diterima oleh agen pengguna mana pun!

Terakhir, Anda mungkin bingung antara x-robots, meta robots, dan robots.txt yang terdengar mirip istilahnya. Di antara mereka, x-robots dan meta adalah arahan meta tetapi robots.txt adalah file teks dan mereka digunakan untuk menerapkan fungsi yang berbeda.

Untuk lebih spesifiknya, x-robots dan meta adalah untuk mendikte perilaku pengindeksan pada tingkat elemen halaman (atau halaman individual), sedangkan robots.txt adalah untuk membuktikan informasi tentang perilaku perayapan sisi direktur atau situs.

Ada kemungkinan lebih tinggi bahwa bot mesin pencari dapat mengindeks dan menampilkan konten situs web Anda di SERP dengan cara yang lebih baik dan membuatnya lebih terlihat dengan menghabiskan anggaran perayapannya dengan baik saat memindai situs yang sama. Dengan menggunakan robots.txt juga dapat memblokir perayapan halaman tag WordPress yang dibuat secara otomatis dan mencegah lebih banyak konten duplikat.

Secara keseluruhan, Anda perlu berhati-hati saat berurusan dengan apa yang harus dimasukkan ke dalam file robots.txt. Bagaimanapun juga, kesalahan kecil di dalam file robots.txt dapat membuat seluruh situs web Anda deindeks.