Comment utiliser Robots txt pour le référencement

Chaque fois que nous partons à la découverte d'un nouvel endroit, nous avons besoin de conseils pour plus de commodité et pour gagner du temps ! De la même manière, les les robots web comme ça de Tout moteur de recherche s'appuie sur le fichier Robots.txt pour savoir comment explorer les pages d'un site Web donné.

D'ailleurs, le comportement de ces crawlers qui se déplacent sur tout le site internetaccéder, indexer et servir le contenu aux utilisateurs ciblés. sont basé sur un groupe de normes web connu sous le nom de REP ou protocole d'exclusion des robots, qui comprend également le fichier robots.txt.

Sur De manière simple, on peut comprendre et retenir que robots.txt est un mélange des deux termes Robot et Txt. Il s'agit donc d'un fichier txt ou texte qui est destiné à être utilisé par les Robots du web possible que des moteurs de recherche.

Il peut également aider les webmestres si le site web permet de contrôler le comportement d'exploration d'un agent utilisateur, mais cela doit être fait avec précaution, car le fait d'interdire l'accès à des éléments importants ou à tous les éléments du site web peut avoir des conséquences négatives sur le comportement d'exploration. pages de votre site à partir d'un moteur de recherche comme Google peut être très dangereux.

Les webmestres d'un site web peuvent utiliser le fichier robots.txt pour demander aux logiciels d'exploration du web ou aux agents utilisateurs de ce que toutes les parties à crawler et ce qui ne l'est pas du site. Cela peut se faire en utilisant les instructions "allow" ou "disallow" dans le fichier robots.txt pour certains ou tous les agents utilisateurs des crawlers.

Un moteur de recherche est principalement responsable de deux tâches principales pour accomplir son travail. La première consiste à découvrir le contenu du web en l'explorant partout et en indexant les mises à jour. La tâche suivante consiste à rechercher les informations connexes dans son moteur de recherche. indexé pour servir le bon contenu en fonction d'une requête de recherche.

Alors, Robots txt, qu'est-ce que c'est ?

Les moteurs de recherche suivent le des liens et passer d'un site web à un autreLe processus est également appelé "spidering". Lorsque le robot ou le crawler atteint un nouveau site Web, avant de commencer à l'explorer, il recherche d'abord le fichier robots.txt. S'il en trouve un, il le lira pour obtenir des informations sur la façon d'explorer le site, en particulier sur ce à quoi il doit accéder et ce qu'il ne doit pas faire ! En cas d'absence du fichier robots.txt, l'agent utilisateur peut commencer à explorer les autres informations disponibles sur le site.

Le dossier doit comporter au moins les deux éléments suivants ;

Agent utilisateur : (Nom de l'agent utilisateur)

Disallow : (Chaîne d'URL qui ne doit pas être explorée)

Les deux lignes ci-dessus peuvent être considérées comme un ensemble discret de directives d'agent utilisateur et sont séparées des autres ensembles par un saut de ligne (/).

Si une règle unique est spécifiée dans le fichier pour plusieurs agents utilisateurs, le robot d'exploration lira et suivra d'abord les directives qui sont mentionnées dans un groupe d'instructions distinct.

N'importe qui peut consulter le contenu du fichier robots.txt présent sur un site web en utilisant simplement la méthode du navigateur.

Vous devez ajouter le fichier robots.txt après le fichier principal. URL comme https://demo.com/robots.txt ou son sous-domaine comme https://shop.demo.com/robots.txt.

Il est obligatoire que le fichier robots.txt soit disponible après le domaine racine. Vous pouvez donc le mentionner dans le navigateur.

Si vous ne trouvez pas de page .txt sur le résultat, cela signifie qu'il n'y a pas de page robots.txt (active) sur le site Web.

Il doit y avoir des fichiers robots.txt distincts pour le domaine racine (demo.com/robots.txt) et ses sous-domaines (blog.demo.com/robots.txt).

Toutes les instructions présentes dans le fichier doivent être lues de haut en bas par un humain ou un robot logiciel ! Il est possible qu'un robot ou un agent utilisateur ne lise pas le fichier robots.txt d'un site web. C'est généralement le cas des racleurs d'adresses électroniques ou des robots malveillants.

L'utilisation de robots.txt sur un site web présente de nombreux avantages. Par exemple ;

- Pour demander les moteurs de recherche pour faire ne pas indexer certains fichiers comme les PDF, les images, etc. sur votre site Web. Les directives Meta peuvent également être utilisées comme alternative à robots.txt pour éviter l'indexation des pages mais ne fonctionnent pas pour les fichiers de ressources.

- Un webmestre peut assurer l'efficacité de l'exploration d'un site web en fournissant des informations utiles. conseils à ses robots.

- Pour éviter que les moteurs de recherche n'affichent une recherche interne page de résultats sur la SERP publique.

- En bloquant certaines pages peu importantes ou inutiles du site Web, vous pouvez maximiser votre budget d'exploration sur les pages requises.

- À utiliser comme des méta-robots pour éviter que le contenu dupliqué ne s'affiche dans les SERPs.

- Vous pouvez profiter de son aide pour ne pas indexer les résultats de recherche internes ou les pages Web cassées de votre site Web.

- Pour éviter la surcharge des serveurs web qui est possible lorsque les crawlers charge plusieurs contenus à la fois en ajoutant un délai d'attente.

- Si vous ne voulez pas que les gens atterrissent sur une page qui n'est qu'à l'état d'ébauche, cela peut avoir un impact sur l'impression, surtout pour un premier visiteur d'un site Web.

- Afin d'aider les agents utilisateurs à accéder facilement à l'emplacement de l'interface utilisateur. plan de site(s).

Un webmestre peut protéger une section particulière d'un site Web (notamment les sites en construction ou incomplets) contre les robots d'exploration.

Il est nécessaire de créer le fichier robots.txt si le nombre d'URL indexées dépasse les attentes.

Il est meilleur d'utiliser n'importe quel éditeur de texte comme notepad ou wordpad pour créer un simple fichier texte compatible avec les règles pour faire un robots.txt.

Il suffit d'inclure les directives de base comme "User agent :" et "Disallow : /" pour créer un fichier de base pour le site Web.

Tout le monde peut inclure les règles en suivant la syntaxe compatible dans le fichier robots.txt.

Le meilleur moyen est de générer d'abord les sitemaps de votre site web et d'inclure ses URL en bas de page pour le rendre plus efficace.

Les termes courants utilisés dans un fichier robots.txt sont les suivants :

- Délai de rampement - Elle indique combien de temps un crawler donné doit attendre avant d'accéder au contenu d'une page. La commande ne fonctionnera pas pour le Googlebot, mais le crawl taux peut être défini à partir de la Google Search Console pour effectuer le même travail.

- User-agent - Il mentionne un crawler web spécifique ou l'agent utilisateur (généralement un moteur de recherche) auquel un webmaster veut donner des instructions de crawl. Il existe technique des noms pour les moteurs de recherche comme Googlebot pour Google et ainsi de suite.

- Autoriser (utilisé par Google) - Il s'agit d'une syntaxe utile pour indiquer au Googlebot d'explorer un sous-dossier ou une page qui est présent dans un sous-dossier parent ou une page qui pourrait être interdite.

- Disallow - Il s'agit d'ordonner à un robot web de ne pas accéder à une URL spécifique. La commande ne doit pas être autorisée deux fois pour une même URL.

-Sitemap - Tout agent utilisateur compatible comme Yahoo, Ask, Bing ou Google peut accéder à cette commande pour trouver l'emplacement des sitemaps XML mentionnés en fonction d'une URL.

Remarque : Les expressions régulières telles que le signe dollar ($) et l'astérisque (*) peuvent être utilisées par SEO pour aider les agents utilisateurs de Bing et Google à identifier les sous-dossiers ou les pages. Ici, * est la syntaxe du filtrage pour couvrir tous les types d'options de fin d'URL possibles et * représente une séquence différente de caractères, fonctionnant comme un simple caractère générique.

Il est possible de bloquer ou d'interdire l'accès aux robots Web en spécifiant des directives pour chacun d'entre eux ou pour tous afin qu'ils n'accèdent pas à une page ou à un sous-dossier d'un site Web.

Voici quelques directives couramment utilisées dans le fichier robots.txt pour donner des instructions aux agents utilisateurs ou aux robots d'exploration du Web ;

1) Permettre à tous les robots d'indexation de trouver tout le contenu.

Syntaxe : Agent utilisateur : * Disallow :

2) Interdire à un crawler particulier d'accéder à un dossier

Syntaxe : Agent utilisateur : Googlebot Disallow : /extra-subfolder/

(L'instruction ci-dessus demande au robot d'exploration de Google de ne pas accéder aux pages de l'emplacement www.site-name.com/extra-subfolder/).

3) Interdire à tous les crawlers web d'accéder à tout contenu.

Syntaxe : Agent utilisateur : * Disallow : /

(Vous pouvez utiliser cette instruction simple comme solution à Comment bloquer les bots Robots txt).

4) Interdire à un crawler particulier d'accéder à une page web spécifique

Syntaxe : Agent utilisateur : Googlebot Disallow : /extra-subfolder/useless-page.html

Le moteur de recherche populaire utilise plusieurs araignée logiciel qui tourne sur le web et scanne les sites web. Les plus connus sont Googlebot, Googlebot-images (utilisé pour les images), et Googlebot-news (pour indexer et servir les informations sur les actualités aux utilisateurs).

Utilisez un éditeur de texte capable de créer un fichier texte UTF-8 standard. Si vous créez le fichier à l'aide d'un traitement de texte, vous risquez d'ajouter des caractères inattendus, comme des guillemets, et de l'enregistrer dans un format propriétaire qui pourrait empêcher les robots d'indexation de comprendre les instructions. Des commentaires peuvent être ajoutés après avoir spécifié le caractère ou la marque #.

Voici quelques suggestions sur la création du fichier, notamment pour les agents utilisateurs de Google ;

1) Le dossier doit respecter la norme d'exclusion des robots.

2) Il peut inclure une ou plusieurs règles permettant d'autoriser ou de bloquer l'accès du crawler spécifié à un chemin particulier d'un site.

3) Un webmaster doit être familier avec presque toutes les syntaxes du fichier robots.txt pour comprendre le comportement subtil de chaque syntaxe.

4) Le site ne peut pas avoir plus d'un fichier robots.txt.

5) Le fichier prend en charge les deux sous-domaines (comme http://website.demo.com/robots.txt ou tout port non standard comme (http://demo:8181/robots.txt).

6) Si vous ne connaissez pas ou n'avez pas accès au dossier racine de votre site Web, il est préférable de contacter le fournisseur de services d'hébergement Web pour qu'il conserve le fichier robots.txt dans ce dossier. Si vous ne pouvez pas accéder à la racine du site, utilisez les balises méta comme méthode de blocage alternative.

7) Plusieurs directives ou règles de groupe (mentionnées une par ligne) peuvent être incluses dans le fichier robots.txt.

8) Il ne supporte que les caractères ASCII.

9) Un groupe fournit des informations sur les personnes auxquelles il s'applique (agent utilisateur) et sur tous les fichiers ou répertoires auxquels un agent ne peut pas/peut accéder. Les directives sont traitées de haut en bas. Un robot Web ne s'associe qu'à un seul ensemble de règles qui peut être spécifié séparément ou qui vient en premier.

10) Par défaut, un robot peut explorer n'importe quel répertoire ou page en utilisant la syntaxe "Disallow :".

11) Les directives utilisées dans le fichier sont sensibles à la casse, comme Disallow : /one.xml ne s'applique pas à ONE.xml.

12) Il s'applique à l'ensemble domaine d'un site web composé soit protocole https ou http.

En général, les agents utilisateurs de Bing et de Google utilisent un groupe spécifique de directives, mais par défaut, il est préférable d'utiliser des règles de correspondance en premier lieu, car les différents robots des moteurs de recherche interprètent les directives de manière différente.

Il est également suggéré aux webmasters d'éviter autant que possible d'utiliser la syntaxe crawl-delay dans leur fichier robots.txt afin de réduire le temps total d'exploration des robots des moteurs de recherche.

Vous pouvez prendre l'aide de l'outil robots.txt Tester disponible sur le site La console pour les webmasters de Google pour vérifier si le robot de Google est en mesure d'explorer l'URL que vous avez déjà bloquée dans sa recherche. Il peut également afficher les erreurs de logique et les avertissements de syntaxe s'il y en a dans votre fichier robots.txt. Vous pouvez le modifier et le tester à nouveau.

Une fois que tout est en ordre, vous pouvez faire face aux changements et mettre à jour votre fichier principal situé sur le serveur de votre site Web. De même, vous pouvez utiliser différents outils pour vérifier à l'avance le comportement d'exploration du moteur de recherche après avoir lu le fichier robots.txt de votre site Web.

Vous pouvez également vérifier les performances du fichier robots.txt de votre site web en utilisant la fonction "URLs bloquées" dans la section "Crawl" située à gauche de l'écran. Outils pour les webmasters de Google. Cependant, il se peut qu'il n'affiche pas la version actuelle ou mise à jour de robots.txt, mais il peut être utilisé à des fins de test.

Essayez de vérifier régulièrement votre fichier robots.txt à l'aide d'un outil quelconque pour savoir si tout est valide et si le fichier fonctionne comme prévu ! À propos, il peut s'écouler plusieurs jours, voire plusieurs semaines, avant qu'un moteur de recherche n'identifie une URL non autorisée en lisant le fichier robots.txt et n'en supprime l'indexation.

Après avoir inclus tous les ensembles de règles dans le fichier et lui avoir donné le nom de robots.txt, il doit être enregistré dans le dossier principal ou racine du site Web sur le serveur. Un dossier de niveau racine peut être un "www" ou un "htdocs", ce qui permet à robots.txt d'apparaître à côté de votre nom de domaine.

Il est toujours conseillé de conserver une taille raisonnable au fichier robots.txt en évitant de mentionner des directives indésirables dans le fichier. C'est parce que des années auparavant, John Mueller de Google a déjà clarifié le fait que Googlebot n'accédera qu'aux 500 premiers Ko d'un fichier robot.txt. Un fichier géant peut être tronqué de manière non souhaitée pour former une ligne qui pourrait être interprétée comme une règle incomplète.

Il est également connu sous le nom de protocole d'exclusion des robots ou de norme d'exclusion des robots qui est utilisé par les sites Web pour communiquer avec les robots Web ou les crawlers. Les moteurs de recherche utilisent leurs robots pour classer les sites web.

Les webmasters utilisent les fichiers robots.txt pour donner des instructions ou guider ces robots afin d'obtenir une meilleure indexation de leurs sites Web. Vous n'avez pas besoin d'un fichier robots.txt si vous ne souhaitez pas contrôler l'accès des agents utilisateurs à une zone quelconque de votre site Web. Vous trouverez plus de détails sur le fichier robots.txt dans n'importe quel sujet avancé tel que Comment créer un robot de moteur de recherche ?

Pour obtenir un meilleur classement dans les moteurs de recherche, il est préférable de permettre aux robots d'exploration d'atteindre et d'accéder facilement à votre site. Notre site Web se compose généralement de beaucoup de pages non désirées par rapport à nos attentes, et lorsque les robots des moteurs de recherche explorent chaque page de votre site, cela va sûrement consommer plus de temps et cela va sûrement avoir un effet négatif sur son classement. classement.

Google utilise le budget d'exploration (divisé en deux parties, la limite de vitesse d'exploration et la demande d'exploration) de chaque site Web pour décider du nombre d'URL qu'il souhaite ou peut analyser. Donc, si vous aidez ces robots ou agents utilisateurs à accéder et à indexer uniquement le contenu le plus précieux de votre site Web, le fichier robots.txt est indispensable !

Un référenceur ne veut jamais bloquer les sections ou le contenu d'un site Web qui doivent être explorés.

- Un moteur de recherche comme Google peut avoir plusieurs agents utilisateurs comme Googlebot-Image (pour rechercher des images) et Googlebot (pour la recherche organique). Plusieurs agents utilisateurs appartenant à un même moteur de recherche peuvent suivre les mêmes règles, si bien que de nombreux webmasters évitent de spécifier des directives pour chacun de ces crawlers. Un référenceur peut en tirer parti en mentionnant des instructions différentes pour chacun des crawlers, même s'ils appartiennent à un seul moteur de recherche, afin de mieux contrôler leur comportement d'exploration.

- Pour un meilleur référencement, il est nécessaire que les liens ou pages bloqués ne contiennent pas d'autres liens à suivre. Ainsi, la page bloquée ne doit pas transmettre d'équité de lien à la destination du lien ou il est préférable d'utiliser un autre mécanisme de blocage. Elles ne doivent pas non plus être liées à d'autres pages accessibles par les moteurs de recherche, c'est-à-dire des pages web qui ne sont pas interdites par les méta-robots, robots.txt, ou autre. Sinon, les ressources importantes liées ne seront pas accessibles et indexées par les moteurs de recherche.

- Il est préférable de soumettre l'URL de robots.url directement sur Google après toute mise à jour effectuée sur le fichier afin de garantir son accès rapide par l'agent utilisateur ciblé. En général, un moteur de recherche met à jour le contenu du fichier robots.txt en cache au moins une fois par jour.

Il est bon de mentionner l'emplacement de tous ou d'un seul sitemaps sur la base du domaine du site web dans la partie inférieure de son fichier robots.txt. À propos, les sitemaps sont des fichiers XML qui contiennent des informations détaillées sur les pages d'un site Web, comme leur URL et les métadonnées qui s'y rapportent, comme leur importance, leur intervalle de mise à jour et la dernière mise à jour.

Toutes ces informations peuvent être utilisées par les robots des moteurs de recherche pour explorer intelligemment un site web. Ainsi, de cette manière, les webmasters peuvent aider les agents utilisateurs qui supportent les sitemaps à connaître et à accéder à toutes les URL du sitemap et à en savoir plus sur elles dans leur processus de découverte des pages d'un lien à l'autre au sein d'un même site ou d'un autre site.

Par exemple ;

Adresse du navigateur : https://www.demo.com/robots.txt

Sortie :

Agent utilisateur : *

Disallow : *.dl.html

Autoriser : /*.html$

Plan du site : https://www.demo.com/en-au/sitemap.xml

Plan du site : https://www.demo.com/en-se/sitemap.xml

Plan du site : https://www.demo.com/en-us/sitemap.xml

(Les directives ci-dessus permettent d'appeler plusieurs sitemaps via le fichier robots.txt).

Il existe des risques pour la sécurité associés au fichier robots.txt, car de nombreux robots malveillants ne peuvent pas le suivre et une personne peut l'utiliser pour connaître tous les liens non autorisés et y accéder directement. La solution consiste donc à protéger par un mot de passe la zone de votre site Web qui contient du contenu privé, afin qu'un intrus ne puisse pas y accéder, même après avoir connu son emplacement.

Pour protéger les données sensibles de l'indexation ou pour qu'elles apparaissent dans les SERP (directement ou indirectement, c'est-à-dire par l'intermédiaire de pages appréciées), il est préférable d'utiliser une autre méthode que celle qui consiste à les interdire dans le fichier robots.txt pour bloquer la page. Il peut s'agir de la directive no index meta ou de méthodes de protection par mot de passe.

WordPress fait généralement un fichier robots.txt virtuel par défaut à la racine directement pour ses sites web qui ne peuvent pas être vus sur le répertoire. Ainsi, il est toujours préférable de créer un nouveau fichier qui se superpose à tous les paramètres par défaut, en particulier pour interdire la page de connexion ou d'inscription qui n'a pas d'importance pour un moteur de recherche !

Beaucoup de gens sont généralement confus sur la façon de supprimer Robots txt dans WordPress ou d'autres plates-formes. Cependant, le processus est le même pour tous ! Le fichier robots.txt doit être enregistré dans le répertoire de premier niveau du site Web, c'est-à-dire le domaine racine ou le répertoire principal, afin d'aider les robots à le trouver facilement. Il vous suffit donc de supprimer le fichier directement de ce dossier ou emplacement particulier.

Essayez de ne pas inclure les instructions visant à cacher les informations confidentielles des utilisateurs dans le fichier robots.txt. C'est parce que le fichier est un fichier accessible au public, on peut voir ses directives en ajoutant /robots.txt à la fin du domaine racine.

De cette manière, n'importe qui peut savoir quelles pages sont autorisées par le webmaster du site à être explorées ou non par tous ou certains robots web. Le fichier doit être enregistré avec le nom "robots.txt" uniquement car il est sensible à la casse et aucune autre combinaison ne sera acceptée par aucun agent utilisateur !

Enfin, vous pouvez être confus entre x-robots, meta robots et robots.txt qui sont des termes similaires. Parmi eux, x-robots et meta sont des directives méta mais robots.txt est un fichier texte et ils sont utilisés pour appliquer différentes fonctions.

Pour être plus précis, x-robots et meta servent à dicter le comportement d'indexation au niveau de l'élément de page (ou de la page individuelle), tandis que robots.txt sert à fournir des informations sur le comportement d'exploration du directeur ou du site.

Il y a plus de chances que les robots des moteurs de recherche puissent indexer et afficher le contenu de votre site web dans les SERPs de la meilleure façon et le rendre plus visible en dépensant bien son budget d'exploration tout en balayant le même site. En utilisant le fichier robots.txt, vous pouvez également bloquer l'exploration des pages de balises WordPress générées automatiquement et empêcher tout contenu dupliqué.

Globalement, vous devez faire très attention à ce que vous devez inclure dans le fichier robots.txt. Après tout, une petite erreur dans le fichier robots.txt peut entraîner la désindexation de l'ensemble de votre site Web.