{"id":31157,"date":"2023-06-12T12:01:52","date_gmt":"2023-06-12T12:01:52","guid":{"rendered":"https:\/\/seo.london\/?p=31157"},"modified":"2023-06-29T16:47:23","modified_gmt":"2023-06-29T16:47:23","slug":"cara-memblokir-bot-dengan-robot-txt","status":"publish","type":"post","link":"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/","title":{"rendered":"Bagaimana Cara Memblokir Bot dengan Robots.txt?"},"content":{"rendered":"<p class=\"wp-block-paragraph\">Bagi pengamat yang kurang informasi, robot yang berkeliaran di sekitar situs web Anda mungkin terlihat seperti sesuatu yang keluar dari film fiksi ilmiah. Percaya atau tidak, ini jauh dari fiksi dan lebih dekat dengan kenyataan daripada yang Anda bayangkan! Bagi siapa pun yang menavigasi medan untuk memiliki dan mengelola situs web, memahami bagaimana bot berinteraksi dengan ruang online kita sangatlah penting. Sama pentingnya adalah memiliki kapasitas untuk mengatur interaksi ini. Kebutuhan ini memperkenalkan kita pada sebuah alat yang praktis: <a href=\"https:\/\/seo.london\/id\/cara-menggunakan-file-txt-robot-di-seo\/\">robot<\/a>.txt. Dalam buku yang komprehensif ini <a href=\"https:\/\/seo.london\/id\/belajar-seo\/\">panduan<\/a>, kita akan memecahkan kode <a href=\"https:\/\/seo.london\/id\/membangun-tautan-bagaimana-apa-yang-tidak-boleh-dilakukan\/\">apa<\/a> \"cara memblokir bot robot txt\" berarti dan mengapa hal itu penting di era digital saat ini.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-what-is-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"what-is-a-robotstxt-file\"><\/span>Apa yang dimaksud dengan File Robots.txt?<span class=\"ez-toc-section-end\"><\/span><\/h2><div id=\"ez-toc-container\" class=\"ez-toc-v2_0_69_1 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Daftar Isi<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Beralih Daftar Isi\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Beralih<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #000000;color:#000000\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #000000;color:#000000\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 eztoc-toggle-hide-by-default' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#what-is-a-robotstxt-file\" title=\"Apa yang dimaksud dengan File Robots.txt?\">Apa yang dimaksud dengan File Robots.txt?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#technical-robotstxt-syntax\" title=\"Sintaks Robot Teknis.txt\">Sintaks Robot Teknis.txt<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#pattern-matching\" title=\"Pencocokan Pola\">Pencocokan Pola<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#checking-if-you-have-a-robotstxt-file\" title=\"Memeriksa apakah Anda memiliki file robots.txt\">Memeriksa apakah Anda memiliki file robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#how-to-create-a-robotstxt-file\" title=\"Cara Membuat File Robots.txt\">Cara Membuat File Robots.txt<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#understanding-the-components-of-robotstxt\" title=\"Memahami Komponen-komponen Robots.txt\">Memahami Komponen-komponen Robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#fresh-file-generation\" title=\"Pembuatan File Baru\">Pembuatan File Baru<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#uploading-your-file\" title=\"Mengunggah File Anda\">Mengunggah File Anda<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#blocking-specific-bots-and-filesfolders\" title=\"Memblokir Bot dan File\/Folder Tertentu\">Memblokir Bot dan File\/Folder Tertentu<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#robotstxt-vs-meta-robots-vs-x-robots\" title=\"Robots.txt vs Meta Robots vs X-Robots\">Robots.txt vs Meta Robots vs X-Robots<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#the-robotstxt-file\" title=\"File Robots.txt\">File Robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#what-are-meta-robots-tags\" title=\"Apa Itu Tag Meta Robot?\">Apa Itu Tag Meta Robot?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-13\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/#how-do-x-robots-tags-work\" title=\"Bagaimana Cara Kerja Tag X-Robots?\">Bagaimana Cara Kerja Tag X-Robots?<\/a><\/li><\/ul><\/li><\/ul><\/nav><\/div>\n\n\n\n\n<p class=\"wp-block-paragraph\">File robots.txt pada dasarnya adalah penjaga gerbang situs web Anda. File ini memungkinkan Anda untuk mengontrol <a href=\"https:\/\/seo.london\/id\/jasa-pengawalan-seo\/\">yang<\/a> bagian dari situs Anda tersedia untuk eksplorasi bot-seperti Google <a href=\"https:\/\/seo.london\/id\/cara-melakukan-pencarian-lanjutan-di-google\/\">pencarian<\/a> laba-laba mesin-dan yang seharusnya terlarang. Bekerja sebagai bagian dari Standar Pengecualian Robot (standar tidak resmi yang digunakan oleh situs), ini menginstruksikan robot web tentang tindakan yang diizinkan ketika mereka mengunjungi situs web Anda.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">File teks sederhana ini menjelaskan banyak hal tentang preferensi aksesibilitas halaman Anda. Punya direktori atau halaman tertentu yang ingin Anda jaga dari pengintaian robot? File robots.txt dapat membantu Anda! Isinya dengan lugas menetapkan arahan-arahan khusus yang diberikan kepada perayap web - kondusif untuk mengelola akses situs secara lebih efektif. Kepandaian ini membuat penyajian yang tepat dari <a href=\"https:\/\/seo.london\/id\/jasa-seo-pemasaran-konten\/\">konten<\/a> pencarian lebih mudah sekaligus melindungi area sensitif dari paparan yang tidak disengaja.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pada akhirnya, mempelajari cara menutup sebagian dari dunia maya kita <a href=\"https:\/\/seo.london\/id\/cara-mendapatkan-lebih-banyak-domain-rujukan\/\">domain<\/a> secara akurat memberdayakan kita sebagai webmaster untuk menavigasi keberadaan dan pengaruh bot dengan lebih baik di dalam ranah platform kami yang berharga - oleh karena itu menjadi fokus kami saat ini.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-technical-robots-txt-syntax\"><span class=\"ez-toc-section\" id=\"technical-robotstxt-syntax\"><\/span>Sintaks Robot Teknis.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Sintaks file robots.txt pada dasarnya adalah bahasa dan tata bahasa <a href=\"https:\/\/seo.london\/id\/format-artikel-dan-struktur-artikel\/\">struktur<\/a> digunakan untuk membuat arahannya. Sangat penting untuk memahami bagaimana memanfaatkan sintaksis ini dengan benar dapat membantu dalam mempelajari cara memblokir bot menggunakan robot txt.<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li><strong>Agen pengguna:<\/strong> Arahan agen-pengguna menandakan jenis bot yang ingin Anda ajak berkomunikasi, seperti Googlebot untuk Google atau BingBot untuk <a href=\"https:\/\/seo.london\/id\/situs-web-tidak-diindeks-dalam-pencarian-bings\/\">Bing<\/a>. Memulai set arahan Anda dengan \"User-agent: *\" menyiratkan bahwa semua perayap web harus memperhatikan instruksi ini.<\/li>\n\n\n\n<li><strong>Larang:<\/strong> Arahan ini mengirimkan pesan langsung - hindari jalur yang dijelaskan setelahnya. Misalnya, jika Anda menulis, \"Larang: \/images\/\", Anda memerintahkan bot yang membacanya untuk tidak <a href=\"https:\/\/seo.london\/id\/jetoctopus\/\">merangkak<\/a> situs web Anda <a href=\"https:\/\/seo.london\/id\/google-tidak-mengindeks-gambar\/\">gambar<\/a> direktori.<\/li>\n\n\n\n<li><strong>Izinkan:<\/strong> Kebalikan dari disallow, di dalam direktori 'disallowed', pernyataan allow memberikan izin akses kembali untuk subdirektori atau file tertentu.<\/li>\n<\/ol>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-pattern-matching\"><span class=\"ez-toc-section\" id=\"pattern-matching\"><\/span>Pencocokan Pola<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Salah satu elemen yang rumit namun ampuh dari sintaks file robots.txt adalah pencocokan pola. Selain menentukan jalur secara langsung, pencocokan pola memungkinkan Anda mengartikulasikan instruksi kompleks tentang cara memblokir bot dalam file robots.txt melalui simbol-simbol sederhana.<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li>Fokuslah pada dua karakter penting saat mempelajari pencocokan pola - '*' (tanda bintang) dan '$' (tanda dolar). Tanda bintang berfungsi sebagai karakter pengganti (wildcard), sedangkan tanda dolar melambangkan akhir dari URL.<\/li>\n\n\n\n<li>Menggunakan tanda bintang di dalam pernyataan disallow menunjukkan urutan string apa pun yang ada di sana. Sebagai contoh, 'Disallow: \/example' akan melarang perayap web untuk mengakses halaman apa pun di situs web Anda yang menampilkan URL 'example'.<\/li>\n\n\n\n<li>Sebaliknya, menambahkan '$' di akhir istilah yang berbeda menentukan bahwa hanya <a href=\"https:\/\/seo.london\/id\/url-ramah-seo\/\">URL<\/a> berakhir seperti itu dilarang dari <a href=\"https:\/\/seo.london\/id\/apa-perbedaan-antara-perayapan-dan-pengindeksan-di-seo\/\">merangkak<\/a> oleh bot. Pemberitahuan yang berbunyi 'Disallow: \/*example$' membatasi akses hanya pada halaman yang URL-nya diakhiri dengan 'example'.<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Ingatlah, tidak semua spider memahami atau mengikuti pola-pola ini - terutama banyak spider yang berorientasi pada spam - jadi pertimbangkan hal ini ketika menyusun arahan dan cara-cara efisien tentang cara memblokir bot menggunakan file txt robot secara efektif.\"\"\"<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Menavigasi penempatan file robots.txt Anda dapat terlihat menakutkan, tetapi yakinlah, ini adalah proses yang relatif sederhana. Dokumen kecil namun penting ini berada di satu lokasi yang tepat - direktori root situs web Anda.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Hal penting yang harus diingat adalah bahwa file teks sederhana ini harus mudah ditemukan oleh perayap. Direktori \"root\" atau direktori paling atas biasanya merupakan tempat yang pertama kali dituju oleh bot mesin pencari saat <a href=\"https:\/\/seo.london\/id\/apakah-halaman-arahan-buruk-untuk-seo\/\">mendarat<\/a> pada Anda <a href=\"https:\/\/seo.london\/id\/pro-dan-kontra-domain-yang-sama-persis\/\">domain<\/a>. Oleh karena itu, menempatkan file robots.txt di sini memberikan instruksi langsung dan jelas tentang bagian mana dari situs Anda yang dapat diakses.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bagi Anda yang kurang familiar dengan istilah web, Anda mungkin bertanya-tanya apa sebenarnya yang kami maksud dengan direktori 'root'. Pada intinya, direktori root situs web Anda mirip dengan batang pohon tempat semua direktori lain bermuara - direktori ini membentuk tulang punggung kehadiran online Anda. Sebagai contoh, jika URL situs web Anda adalah www.example.com, maka root-nya adalah \/ (garis miring setelah .com). Dengan demikian, www.example.com\/robots.txt menunjukkan tempatnya dengan sempurna di dalam direktori root Anda.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sebaliknya, menempatkannya di bawah yang lain <a href=\"https:\/\/seo.london\/id\/blog-di-subdomain-atau-subdirektori\/\">subdirektori<\/a> seperti \/blog\/robots.txt tidak akan memberikan efek yang diinginkan karena bot tidak akan repot-repot mencari sejauh itu ke dalam situs Anda sebelum mendapatkan instruksi.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Yang terpenting, penentuan posisi yang salah dapat menyebabkan perayapan dan pengindeksan yang tidak efisien - dua faktor mendasar dalam <a href=\"https:\/\/seo.london\/id\/\">SEO<\/a> sukses-karena mesin pencari tidak akan tahu di mana mereka diizinkan atau dilarang untuk menjelajah dengan segera ketika mereka tiba di 'depan pintu Anda'.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Jadi, pastikan Anda sudah mendapatkan penempatan yang tepat saat melihat cara memblokir bot menggunakan file txt robot secara efisien. Penempatan benar-benar memainkan peran integral dalam pengaturan landasan SEO teknis ini.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dalam memahami pentingnya dan fungsi file robots.txt, satu pertanyaan yang relevan tetap ada: mengapa Anda memerlukan file robots.txt?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pertama, memiliki file robots.txt memberikan panduan kepada perayap web tentang bagaimana mereka harus berinteraksi dengan situs web Anda. Ketika mesin pencari mendekati situs Anda untuk mengindeksnya, instruksi dalam robots.txt Anda ikut berperan. File ini memandu bot pencarian seperti Googlebot dari Google atau Bingbot dari Bing pada jalur navigasi mereka melalui domain Anda.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Kedua, file robots.txt sangat penting untuk mengelola akses ke bagian pribadi situs Anda yang sensitif atau sedang dalam pengembangan. Anda dapat secara khusus menginstruksikan bot dari <a href=\"https:\/\/seo.london\/id\/cara-membuat-google-mengindeks-situs-anda-lebih-cepat\/\">pengindeksan<\/a> konten tersebut. Hal ini memastikan bahwa area yang tidak diinginkan tetap tidak terindeks dan tidak terlihat oleh publik melalui Halaman Hasil Mesin Pencari (SERP).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Selain itu, ada banyak sekali bot perayap di web, baik yang baik maupun yang jahat. Dengan menyesuaikan siapa yang bisa merayapi apa di situs Anda melalui perintah 'User-agent' tertentu di file robots.txt Anda, Anda menjaga standar proteksi tetap tinggi terhadap potensi ancaman yang berkunjung dengan kedok aktivitas perayapan yang tidak bersalah.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Terakhir, tanpa batasan yang disediakan oleh file txt Robots, beberapa bot mungkin membebani server dengan membebani server dengan permintaan yang mengarah ke pengguna yang melambat <a href=\"https:\/\/seo.london\/id\/apa-itu-sinyal-pengalaman-halaman\/\">pengalaman<\/a> atau serangan DDoS (Distributed Denial of Service). Dengan demikian, ini bertindak sebagai alat penting untuk memastikan <a href=\"https:\/\/seo.london\/id\/rendering-sisi-server-vs-sisi-klien\/\">server<\/a> <a href=\"https:\/\/seo.london\/id\/basis-pengetahuan\/cara-monitor-kinerja-seo\/\">kinerja<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Saat Anda mulai membiasakan diri dengan penataan file txt Robots Anda sendiri di bagian akhir artikel ini, ingatlah konsep kunci ini: Mencontohkan kontrol atas interaksi perayap dengan situs web Anda akan menjelaskan mengapa memiliki file txt Robots yang dikhususkan sangat penting untuk melindungi dan mengoptimalkan keberadaan domain apa pun secara online.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-checking-if-you-have-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"checking-if-you-have-a-robotstxt-file\"><\/span>Memeriksa apakah Anda memiliki file robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Sekarang mari kita lanjutkan dengan cara memastikan apakah situs web Anda sudah memiliki file 'robots.txt'. Umumnya, file ini terletak di direktori root situs Anda.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Untuk mengecek keberadaannya, saya akan merekomendasikan langkah-langkah sederhana berikut ini:<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li>Buka browser web favorit Anda.<\/li>\n\n\n\n<li>Dalam <a href=\"https:\/\/seo.london\/id\/seo-lokal-tanpa-alamat-fisik\/\">alamat<\/a> bar di <a href=\"https:\/\/seo.london\/id\/agen-seo-london\/\">atas<\/a>ketik yoursitename.com\/robots.txt; ganti \"yoursitename.com\" dengan nama domain Anda yang sebenarnya.<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Layar Anda seharusnya menampilkan isi file 'robots.txt' yang sederhana namun berpengaruh ini jika memang ada di situs Anda. Sebaliknya, pesan kesalahan yang mirip dengan \"404 halaman tidak ditemukan\" atau \"file tidak ditemukan\", akan menandakan bahwa saat ini tidak ada file robots.txt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ingatlah bahwa menerapkan 'cara memblokir bot robot txt' dengan benar <a href=\"https:\/\/seo.london\/id\/strategi-seo-london\/\">strategi<\/a> secara signifikan berdampak pada Search Engine Optimization (SEO). Oleh karena itu, sangat penting untuk selalu mendapatkan informasi tentang apakah Anda memilikinya atau tidak.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sebagai rangkuman (meskipun tidak wajib), memahami dan memanfaatkan file 'robots.txt' dengan benar merupakan bagian integral dari pengelolaan situs web yang sukses saat ini. Jika Anda masih tidak yakin setelah melakukan langkah-langkah ini untuk memeriksa keberadaannya, pertimbangkan untuk meminta saran dari ahlinya karena mungkin akan melibatkan IT yang lebih canggih. <a href=\"https:\/\/seo.london\/id\/bagaimana-cara-menggunakan-grafik-pengetahuan-google\/\">pengetahuan<\/a> dari yang diharapkan.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ingat juga bahwa tidak adanya 'robots.txt' tidak selalu merugikan - ini hanya menandakan akses tak terbatas oleh bot mesin pencari di semua area situs Anda. Kontrol yang berarti atas akses tersebut menjadi sangat mungkin dilakukan setelah kita memahami 'cara memblokir bot robots txt' secara efektif di situs kita!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-how-to-create-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"how-to-create-a-robotstxt-file\"><\/span>Cara Membuat File Robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Membuat file robots.txt adalah langkah penting dalam mengelola bagaimana bot mesin pencari berinteraksi dengan situs web Anda. Mari kita bahas proses pembuatannya.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-understanding-the-components-of-robots-txt\"><span class=\"ez-toc-section\" id=\"understanding-the-components-of-robotstxt\"><\/span>Memahami Komponen-komponen Robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">File robots.txt biasa berisi dua komponen utama, yaitu User-agent dan Disallow. User-agent mengacu pada perayap web tertentu, seperti Googlebot atau Bingbot, yang Anda inginkan agar instruksi Anda ditujukan. Di sisi lain, arahan Disallow adalah tempat Anda mencantumkan halaman atau direktori yang tidak Anda inginkan untuk dirayapi oleh bot tertentu. Sebagai contoh:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Agen-pengguna: * Larang: \/private\/<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dalam hal ini, semua bot ('*' adalah singkatan dari semua) diblokir untuk mengakses apa pun di bawah direktori 'private'.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-fresh-file-generation\"><span class=\"ez-toc-section\" id=\"fresh-file-generation\"><\/span>Pembuatan File Baru<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Sekarang kita akan membuat kode yang bagus ini. Anda akan membutuhkan editor teks biasa -Notepad bisa digunakan. Pengolah kata seperti Microsoft Word tidak cocok untuk tugas ini karena kecenderungannya untuk menyisipkan karakter pemformatan tambahan.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Untuk memulai, buatlah dokumen baru dan simpan sebagai \"robots.txt\". Ingatlah bahwa huruf besar penting di sini - pastikan semuanya menggunakan huruf kecil. Selanjutnya adalah menyusun sintaks sesuai dengan bagian mana yang ingin Anda blokir. Ingat, setiap aturan harus berada pada barisnya sendiri:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Agen-pengguna: * Larang: \/<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Aturan ini melarang semua bot untuk mengakses bagian mana pun dari situs Anda (ditandai dengan '\/'). Gunakan dengan hati-hati!<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">The <a href=\"https:\/\/seo.london\/id\/apa-itu-kata-kunci-meta\/\">kata kunci<\/a> Inilah kekhususannya; ketika mempelajari cara memblokir robot modul txt robot adalah alat serbaguna yang memungkinkan kontrol yang tepat atas tindakan bot.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-uploading-your-file\"><span class=\"ez-toc-section\" id=\"uploading-your-file\"><\/span>Mengunggah File Anda<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Setelah dibuat, unggah berkas robots.txt ke folder root situs Anda menggunakan FTP (File Transfer Protocol). File ini biasanya berada di lokasi yang sama dengan folder wp-admin, wp-content, dan wp-includes.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Setelah berhasil menyelesaikan langkah-langkah ini, pengguna dapat menemukan file Robots.txt Anda dengan menambahkan \"\/robots.txt\" setelah domain utama Anda - misalnya, www.example.com\/robots.txt. Sekarang Anda telah menguasai cara membuat file robots.txt!<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ingatlah bahwa meskipun efektif dalam mengarahkan perayap yang jujur, kesopanan hanya menentukan kepatuhan; bot perusak yang lebih licik dapat memilih untuk mengabaikannya secara langsung.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dengan pengetahuan yang sudah tersimpan rapi di ikat pinggang Anda, ingatlah bahwa pemeliharaan diperlukan - pemantauan berkala memastikan efektivitas yang berkelanjutan, jadi luangkan waktu untuk melakukan inspeksi rutin. Selamat membuat kode!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-blocking-specific-bots-and-files-folders\"><span class=\"ez-toc-section\" id=\"blocking-specific-bots-and-filesfolders\"><\/span>Memblokir Bot dan File\/Folder Tertentu<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Saat mempelajari topik - cara memblokir bot robot txt, penting untuk memahami bahwa tugas ini tidak selalu tentang membatasi semua perayap. Sering kali, Anda mungkin hanya ingin menentukan bot tertentu yang tidak diinginkan atau membatasi akses hanya pada file dan direktori tertentu. Dalam skenario-skenario seperti ini, meningkatkan pemahaman Anda dalam menangani file robots.txt Anda dapat membuat perbedaan besar.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Kesatuan dalam keragaman adalah taktik yang digunakan secara luas oleh berbagai layanan online. Berbagai jenis perayap web mengambang di sekitar <a href=\"https:\/\/seo.london\/id\/seo-untuk-perusahaan-it\/\">internet<\/a> dengan perilaku dan kemampuan yang berbeda. Meskipun beberapa laba-laba sangat penting untuk mengindeks konten seperti Googlebot, namun laba-laba lain seperti bot spam dapat merusak kinerja situs Anda.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bot yang kurang konstruktif ini dapat diblokir dengan dua cara: secara sempit atau luas. Pendekatan sempit menandakan pemblokiran bot tertentu dari seluruh situs web, sedangkan pendekatan yang lebih luas melibatkan pemblokiran setiap bot dari folder atau file tertentu.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sebelum melanjutkan, mari kita pahami bagaimana Anda dapat menentukan agen-pengguna (yaitu bot) dalam file robots.txt Anda. Setiap aturan dalam dokumen ini harus dimulai dengan menentukan 'User-agent', diikuti dengan tanda titik dua (:), dan kemudian mendeskripsikan nama agen. Membiarkannya sebagai tanda bintang (*) menyiratkan setiap bot yang mengunjungi halaman tersebut. Sebagai gantinya, Anda dapat memilih untuk mengetikkan nama tertentu untuk bot tertentu.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Berikutnya adalah arahan \"Disallow\" atau \"Allow\", yang menginstruksikan tindakan yang diizinkan untuk agen pengguna yang teridentifikasi terkait area tertentu di situs web Anda.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ingat, pentingnya tidak hanya terletak pada mengetahui cara memblokir bot robot txt tetapi juga alasannya - berfokus pada pencegahan pemborosan sumber daya dan menjaga dari aktivitas jahat dari agen-agen yang disusupi.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Melengkapi wacana kita mengenai pemblokiran secara spesifik, ingatlah bahwa keandalan memainkan peran penting saat menaruh kepercayaan untuk mematuhi aturan ini - mesin pencari utama umumnya mematuhi aturan dengan ketat; sayangnya scraper-bot yang kurang terkenal jarang menindaklanjuti dengan benar. Jangan mengandalkan robots.txt saja jika Anda mencoba mengamankan data sensitif!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-robots-txt-vs-meta-robots-vs-x-robots\"><span class=\"ez-toc-section\" id=\"robotstxt-vs-meta-robots-vs-x-robots\"><\/span>Robots.txt vs Meta Robots vs X-Robots<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Mengetahui cara memblokir bot dengan robots txt sangat penting, tetapi ini bukan satu-satunya metode untuk mengontrol perilaku bot di situs web Anda. Ada juga <a href=\"https:\/\/seo.london\/id\/tag-judul-deskripsi-meta-h1-pada-halaman-kontak\/\">meta<\/a> robot dan tag x-robot, dua cara efektif lainnya untuk memberikan instruksi kepada bot online tentang situs Anda. Jika Anda bertanya-tanya mana yang harus digunakan atau apa yang membedakannya, izinkan saya menjelaskan.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-the-robots-txt-file\"><span class=\"ez-toc-section\" id=\"the-robotstxt-file\"><\/span>File Robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Seperti yang telah kita bahas sebelumnya, file robots.txt bertindak sebagai panduan utama webmaster dalam mengarahkan mesin pencari ke arah atau menjauhi bagian tertentu dari situs web. File teks kecil ini berada di tingkat direktori root dan biasanya memberikan arahan umum untuk semua bot agen pengguna kecuali jika ada yang spesifik.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pada dasarnya, file robots.txt mengatakan kepada bot: \"Area ini terlarang.\" Namun, ketahuilah bahwa tidak semua laba-laba akan menghormati aturan ini.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-what-are-meta-robots-tags\"><span class=\"ez-toc-section\" id=\"what-are-meta-robots-tags\"><\/span>Apa Itu Tag Meta Robot?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Tag Meta Robots menawarkan kontrol yang lebih terperinci dibandingkan dengan <a href=\"https:\/\/seo.london\/id\/seo-global\/\">luas<\/a> panduan yang disediakan oleh file robots.txt. Atribut HTML ini menginstruksikan bot mesin pencari untuk mengindeks halaman individual, bukan seluruh direktori atau situs. Atribut-atribut ini memberi tahu mesin pencari apakah akan mengindeks halaman (\"noindex\"), mengikuti tautannya (\"nofollow\"), \"tidak ada\" (yang menyiratkan tidak ada indeks dan <a href=\"https:\/\/seo.london\/id\/haruskah-saya-menggunakan-atribut-nofollow-untuk-tautan-internal\/\">nofollow<\/a>) di antara perintah-perintah lainnya. Tag robot meta berkomunikasi langsung dengan perayap mesin pencari berdasarkan halaman per halaman yang menawarkan keserbagunaan sejati dalam mengelola perilaku perayap.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-how-do-x-robots-tags-work\"><span class=\"ez-toc-section\" id=\"how-do-x-robots-tags-work\"><\/span>Bagaimana Cara Kerja Tag X-Robots?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Tag X-Robots memiliki beberapa kesamaan dengan tag meta robots karena tag ini juga memberikan instruksi terperinci pada tingkat halaman. Namun, tidak seperti rekan-rekan mereka yang muncul di dalam dokumen HTML, tag x-robots berada di <a href=\"https:\/\/seo.london\/id\/apa-itu-konten-campuran\/\">HTTP<\/a> header.  Khususnya, penempatan ini memungkinkan mereka untuk bekerja bahkan untuk file non-HTML seperti PDF atau gambar. Seperti tag meta robot, tindakan tag x-robot berkisar dari \"noindex\", \"nofollow\", atau bahkan \"nosnippet\".<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Jadi, meskipun mempelajari cara memblokir bot menggunakan robot txt memang merupakan pengetahuan yang berharga bagi webmaster mana pun, memahami kekuatan dan aplikasi meta robot dan x-robot memberikan perangkat yang lebih luas lagi ketika mengkurasi hubungan situs Anda dengan perayap web.<\/p>","protected":false},"excerpt":{"rendered":"<p>Bagi pengamat yang kurang informasi, robot yang berkeliaran di sekitar situs web Anda mungkin tampak seperti sesuatu yang ada di dalam film fiksi ilmiah. Percaya atau tidak, ini jauh dari fiksi dan lebih dekat dengan kenyataan daripada yang Anda bayangkan! Bagi siapa pun yang menavigasi medan untuk memiliki dan mengelola situs web, memahami bagaimana bot berinteraksi dengan ruang online kita sangatlah penting. [...]<\/p>","protected":false},"author":6,"featured_media":31181,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[14],"tags":[],"class_list":["post-31157","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v20.9 (Yoast SEO v26.4) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>How to Block Bots with Robots.txt? - SEO.London<\/title>\n<meta name=\"description\" content=\"A robots.txt file is essentially the gatekeeper of your website. It allows you to control which parts of your site are available for bot exploration\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/\" \/>\n<meta property=\"og:locale\" content=\"id_ID\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"How to Block Bots with Robots.txt?\" \/>\n<meta property=\"og:description\" content=\"For an uninformed observer, a robot wandering around your website might seem like something out of a sci-fi movie. Believe it or not, it&#039;s far from\" \/>\n<meta property=\"og:url\" content=\"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"SEO.London\" \/>\n<meta property=\"article:published_time\" content=\"2023-06-12T12:01:52+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-06-29T16:47:23+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png\" \/>\n\t<meta property=\"og:image:width\" content=\"800\" \/>\n\t<meta property=\"og:image:height\" content=\"449\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Lukasz Zelezny\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Ditulis oleh\" \/>\n\t<meta name=\"twitter:data1\" content=\"Lukasz Zelezny\" \/>\n\t<meta name=\"twitter:label2\" content=\"Estimasi waktu membaca\" \/>\n\t<meta name=\"twitter:data2\" content=\"11 menit\" \/>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Bagaimana Cara Memblokir Bot dengan Robots.txt? - SEO.London","description":"File robots.txt pada dasarnya adalah penjaga gerbang situs web Anda. File ini memungkinkan Anda untuk mengontrol bagian mana dari situs Anda yang tersedia untuk eksplorasi bot","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/","og_locale":"id_ID","og_type":"article","og_title":"How to Block Bots with Robots.txt?","og_description":"For an uninformed observer, a robot wandering around your website might seem like something out of a sci-fi movie. Believe it or not, it's far from","og_url":"https:\/\/seo.london\/id\/cara-memblokir-bot-dengan-robot-txt\/","og_site_name":"SEO.London","article_published_time":"2023-06-12T12:01:52+00:00","article_modified_time":"2023-06-29T16:47:23+00:00","og_image":[{"width":800,"height":449,"url":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","type":"image\/png"}],"author":"Lukasz Zelezny","twitter_card":"summary_large_image","twitter_misc":{"Ditulis oleh":"Lukasz Zelezny","Estimasi waktu membaca":"11 menit"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/seo.london\/fi\/how-to-block-bots-with-robots-txt\/","url":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/","name":"Bagaimana Cara Memblokir Bot dengan Robots.txt? - SEO.London","isPartOf":{"@id":"https:\/\/seo.london\/fi\/#website"},"primaryImageOfPage":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","datePublished":"2023-06-12T12:01:52+00:00","dateModified":"2023-06-29T16:47:23+00:00","author":{"@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/a87f13cbf62c630a697ac094314f9e25"},"description":"File robots.txt pada dasarnya adalah penjaga gerbang situs web Anda. File ini memungkinkan Anda untuk mengontrol bagian mana dari situs Anda yang tersedia untuk eksplorasi bot","breadcrumb":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#breadcrumb"},"inLanguage":"id","potentialAction":[{"@type":"ReadAction","target":["https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"id","@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage","url":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","contentUrl":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","width":800,"height":449,"caption":"How to Block Bots with Robots.txt"},{"@type":"BreadcrumbList","@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/seo.london\/fr\/"},{"@type":"ListItem","position":2,"name":"How to Block Bots with Robots.txt?"}]},{"@type":"WebSite","@id":"https:\/\/seo.london\/fi\/#website","url":"https:\/\/seo.london\/fi\/","name":"SEO.London","description":"Konsultan dan Pakar SEO Perusahaan di London, Inggris - Lukasz Zelezny","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/seo.london\/fi\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"id"},{"@type":"Person","@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/a87f13cbf62c630a697ac094314f9e25","name":"Lukasz Zelezny","image":{"@type":"ImageObject","inLanguage":"id","@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/55d18e132c3d0d63f7cd047da2d2a7f805a3392a84a615be5d6dca867281758e?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/55d18e132c3d0d63f7cd047da2d2a7f805a3392a84a615be5d6dca867281758e?s=96&d=mm&r=g","caption":"Lukasz Zelezny"},"description":"#1 Konsultan SEO yang tinggal di London, yang bekerja dengan perusahaan-perusahaan seperti Zoopla, uSwitch, Mashable, Thomson Reuters, dan banyak lagi lainnya. Pekerjakan Lukasz Zelezny (MCIM, F IDM)","url":"https:\/\/seo.london\/id\/author\/lukasz-zelezny\/"}]}},"_links":{"self":[{"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/posts\/31157","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/comments?post=31157"}],"version-history":[{"count":0,"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/posts\/31157\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/media\/31181"}],"wp:attachment":[{"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/media?parent=31157"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/categories?post=31157"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/seo.london\/id\/wp-json\/wp\/v2\/tags?post=31157"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}