Hoe Robots txt te gebruiken voor SEO

Wanneer we een nieuwe plaats gaan verkennen, hebben we begeleiding nodig voor het gemak en om tijd te besparen! Op dezelfde manier is de web robots zoals dat van Elke zoekmachine neemt de hulp van Robots.txt bestand om een idee te krijgen over hoe de pagina's van een bepaalde website te crawlen.

Trouwens, het gedrag van zulke crawlers om zich over de hele internetde inhoud te openen, te indexeren en aan de beoogde gebruikers aan te bieden zijn gebaseerd op een groep webnormen die bekend staan als REP of Robots exclusion protocol dat ook robots.txt omvat.

In een eenvoudige manier, kunnen we begrijpen en onthouden robots.txt als een mix van twee termen Robot en Txt. Het is dus een txt of tekstbestand dat bedoeld is om gebruikt te worden door de web Robots mogelijk die van de zoekmachines.

Het kan webmasters ook helpen als de website het crawlgedrag van een user agent wil controleren, maar dit moet zorgvuldig gebeuren, omdat het weigeren van belangrijke of alle pagina's van uw site van een zoekmachine zoals Google kan zeer gevaarlijk zijn.

De webmasters van een website kunnen robots.txt gebruiken om de webcrawling software of user agents te instrueren om wat alle onderdelen te crawlen en wat niet van de site. Dit kan worden gedaan door het gebruik van "allow" of "disallow" instructies in het robots.txt bestand voor sommige of alle crawler user agents

Een zoekmachine is hoofdzakelijk verantwoordelijk voor twee belangrijke taken om zijn werk gedaan te krijgen. De eerste is het ontdekken van de inhoud van het web door overal te kruipen en de updates te indexeren. De volgende taak is om te zoeken naar de gerelateerde informatie in zijn geïndexeerd directory om de juiste inhoud te leveren volgens een zoekopdracht.

Dus, Robots txt wat is het?

Zoekmachines volgen de links en ga van de ene website naar de andereDit proces wordt ook wel "spidering" genoemd. Wanneer de bot of web crawler een nieuwe website bereikt dan voor het begin spideren van dezelfde het eerst kijkt voor de robots.txt bestand. Als het een dan zal het lezen om informatie over hoe de website te crawlen te krijgen, met name wat te openen en wat niet! Als er geen robots.txt-bestand is, kunnen de gebruikers-agenten beginnen met het crawlen van de andere informatie die op de website beschikbaar is.

Het bestand moet ten minste uit de volgende twee elementen bestaan;

User-agent: (Naam van de user-agent)

Disallow: (URL-string die niet gecrawld mag worden)

De twee bovenstaande regels kunnen samen worden beschouwd als een afzonderlijke set user-agent directives en worden van andere sets gescheiden door een regeleinde (/).

Indien één enkele regel in het bestand voor meer dan één user-agents wordt gespecificeerd, zal de crawler eerst de richtlijnen lezen en volgen die in een afzonderlijke groep van instructies worden vermeld.

Iedereen kan de inhoud van de robots.txt bekijken die op een website aanwezig is door gewoon de browsermethode te gebruiken.

U moet robots.txt toevoegen na de hoofd URL zoals https://demo.com/robots.txt of zijn subdomein zoals https://shop.demo.com/robots.txt.

Het is verplicht dat het robots.txt bestand beschikbaar is na het root domein. Dus, kunt u hetzelfde vermelden op de browser.

Als u geen .txt-pagina vindt in de uitvoer, dan betekent dit dat er momenteel geen (live) robots.txt-pagina aanwezig is op de website.

Er moeten aparte robots.txt bestanden zijn voor het hoofddomein (demo.com/robots.txt) en elk subdomein(blog.demo.com/robots.txt).

Alle instructies in het bestand moeten van boven naar beneden worden gelezen, zowel door een mens als door een software bot! Het kan voorkomen dat een robot of een user agent het robots.txt bestand van een website niet leest. Dit is meestal het geval bij scrapers van e-mailadressen of malwarerobots van het type snode crawlers.

Er zijn veel voordelen verbonden aan het gebruik van robots.txt op een website. Zoals;

- Om te vragen zoekmachines om doe bepaalde bestanden zoals PDF's, afbeeldingen, enz. op uw website niet te indexeren. Meta directives kunnen ook gebruikt worden als alternatief voor robots.txt om indexering van de pagina's te voorkomen maar werken niet voor resource bestanden.

- Een webmaster kan zorgen voor efficiënt crawlen van een website door nuttige tips aan zijn bots.

- Om te vermijden dat zoekmachines een interne zoekopdracht tonen resultatenpagina op de openbare SERP.

- Door bepaalde onbelangrijke of overbodige pagina's van de website te blokkeren, kunt u uw crawlbudget maximaliseren op de vereiste pagina's.

- Te gebruiken als meta-robots om te voorkomen dat dubbele inhoud wordt weergegeven in de SERP's.

- U kunt zijn hulp gebruiken om de interne zoekresultaten of gebroken webpagina's van uw website niet te indexeren.

- Om overbelasting van de webservers te voorkomen, die mogelijk is wanneer crawlers laden meerdere inhouden tegelijk door wat kruipvertraging toe te voegen.

- Als u niet wilt dat mensen landen op een pagina die zich in de staging-versie bevindt, kan dat de indruk van vooral een eerste bezoeker van een website beïnvloeden.

- Om gebruikersagenten te helpen gemakkelijk toegang te krijgen tot de locatie van de sitemap(s).

Een webmaster kan een bepaald deel van een website (vooral in aanbouw of incompleet) volledig privé houden voor de crawling bots.

Het is noodzakelijk om het robots.txt bestand aan te maken als het aantal geïndexeerde URL's meer dan verwacht wordt.

Het is best om met een tekstverwerker zoals kladblok of wordpad een eenvoudig tekstbestand te maken dat compatibel is met de regels om een robots.txt te maken.

Voeg gewoon de basis directives toe zoals "User agent:" en "Disallow: /" om een basisbestand voor de website te maken.

Iedereen kan de regels opnemen door de compatibele syntaxis in het robots.txt bestand te volgen.

De beste manier is om eerst de sitemaps van uw website te genereren en de URL's onderaan op te nemen om het effectiever te maken.

De meest voorkomende termen die in een robots.txt bestand worden gebruikt zijn:

- Kruipvertraging - Het geeft aan hoeveel tijd een gespecificeerde crawler moet wachten voordat hij de inhoud van een pagina kan benaderen. Het commando werkt niet voor de Googlebot, maar de crawl tarief kan worden ingesteld vanuit de Google Search Console om dezelfde klus te klaren.

- User-agent - Het vermeldt een specifieke web crawler of de user agent (meestal een zoekmachine) waaraan een webmaster crawl instructies wil geven. Er zijn technisch namen voor zoekmachines, zoals Googlebot voor Google enzovoort.

- Toestaan (gebruikt door Google) - Het is een handige syntaxis om de Googlebot opdracht te geven een submap of een pagina te crawlen die aanwezig is binnen een bovenliggende submap of een pagina die mogelijk niet is toegestaan.

- Disallow - Het is om een web bot te instrueren om geen toegang te krijgen tot een specifieke URL. Het commando mag niet tweemaal worden toegestaan voor een URL.

-Sitemap - Elke compatibele user-agent zoals Yahoo, Ask, Bing of Google kan dit commando gebruiken om de locatie van de vermelde XML-sitemaps te vinden op basis van een URL.

Opmerking: De reguliere uitdrukkingen zoals een dollarteken ($) en een sterretje (*) kunnen worden gebruikt door SEO om gebruikersagenten van Bing en Google te helpen bij het identificeren van de submappen of pagina's. Hier is * de patroon-matching syntaxis om alle mogelijke URL-eindopties te dekken en * is om een andere opeenvolging van tekens weer te geven, werkend als een eenvoudig jokerteken.

Dit kan worden gedaan door de web bots te blokkeren of uit te sluiten door de richtlijnen voor elk of allen op te geven om geen toegang te krijgen tot een pagina of subfolder van een website.

Hier volgen enkele richtlijnen die vaak in het robots.txt-bestand worden gebruikt om hun gebruikers-agenten of webcrawlers instructies te geven;

1) Elke webcrawler kan alle inhoud vinden

Syntaxis: User-agent: * Disallow:

2) Een bepaalde webcrawler de toegang tot een map ontzeggen

Syntaxis: User-agent: Googlebot Disallow: /extra-submap/

(Bovenstaande instructie vraagt de crawler van Google om geen pagina's te openen van de locatie www.site-name.com/extra-subfolder/)

3) Alle webcrawlers de toegang tot alle inhoud ontzeggen

Syntaxis: User-agent: * Disallow: /

(U kunt de eenvoudige instructie gebruiken als oplossing voor Hoe blokkeer ik bots Robots txt?)

4) Een bepaalde webcrawler de toegang tot een specifieke webpagina ontzeggen

Syntaxis: User-agent: Googlebot Disallow: /extra-submap/gebruiksloze-pagina.html

De populaire zoekmachine gebruikt veel spin software die over het hele web ronddraait en de websites scant. De meest in het oog springende zijn Googlebot, Googlebot-images (gebruikt voor afbeeldingen), en Googlebot-news (om de informatie over het nieuws te indexeren en aan de gebruikers te serveren).

Gebruik een tekstverwerker die een standaard UTF-8 tekstbestand kan maken. Het aanmaken van het bestand met een tekstverwerker kan onverwachte tekens toevoegen zoals gekrulde aanhalingstekens en kan het opslaan in een proprietary formaat dat problemen kan opleveren voor crawlers om de instructies te begrijpen. Commentaar kan worden toegevoegd na het specificeren van # karakter of markering.

Hier zijn wat suggesties voor het maken van het bestand, speciaal voor Google user agents;

1) Het bestand moet voldoen aan de Robots Exclusion Standard.

2) Het kan een of meer regels bevatten voor het toestaan of blokkeren van de toegang van de gespecificeerde crawler tot een bepaald pad van een site.

3) Een webmaster moet bekend zijn met bijna alle syntaxis van het robots.txt bestand om de subtiele gedragingen van elke syntaxis te begrijpen.

4) De site kan niet meer dan één robots.txt-bestand hebben.

5) Het bestand ondersteunt zowel subdomeinen (zoals http://website.demo.com/robots.txt of een niet-standaard poort zoals (http://demo:8181/robots.txt).

6) Als u niet weet of het hebben van de toegang tot de root-map van uw website dan is het het beste om de web hosting service provider te bereiken om de robots.txt bestand te houden in het zelfde. In het geval u geen toegang tot de website root dan meta-tags gebruiken als alternatief blokkeren methode.

7) Er kunnen meer dan één groep directives of regels (vermeld één per regel) in het robots.txt bestand worden opgenomen.

8) Het ondersteunt alleen ASCII-tekens.

9) Een groep geeft informatie over op wie hij van toepassing is (user agent) en wat alle bestanden of directories zijn waartoe een agent geen toegang heeft/kan krijgen. De directives worden van boven naar beneden verwerkt. Een webbot associeert zichzelf met slechts één regelset die afzonderlijk kan worden gespecificeerd of eerst komt.

10) Volgens de standaard aanname kan een bot elke directory of pagina crawlen door een "Disallow:" syntax.

11) De in het bestand gebruikte directives zijn hoofdlettergevoelig, zoals Disallow: /one.xml is niet van toepassing op ONE.xml.

12) Het is van toepassing op de volledige domein van een website bestaande uit https of http protocol.

Meestal gaan de user agents van Bing en Google met een specifieke groep directives aan de slag, maar standaard wordt de voorkeur gegeven aan de eerste, overeenstemmende regels, omdat verschillende zoekmachine-webbots de directives op een verschillende manier interpreteren.

Webmasters wordt ook aangeraden de crawl-delay syntax zoveel mogelijk te vermijden in hun robots.txt bestand om zo de totale crawl tijd van de zoekmachine bots te verminderen.

U kunt de hulp van robots.txt Tester tool beschikbaar op de Google's webmaster console om te controleren of de bots van Google in staat zijn om de URL die u al had geblokkeerd van de zoekopdracht te crawlen. Het kan ook tonen de logische fouten en syntax waarschuwing als er in uw robots.txt. U kunt er bewerken en opnieuw te testen.

Zodra alles in orde is, kunt u omgaan met de wijzigingen en update uw belangrijkste bestand op uw website server. Op dezelfde manier kunt u gebruik maken van verschillende tools om vooraf te controleren het crawlen gedrag van zoekmachines na het lezen van de robots.txt van uw website.

U kunt ook controleren hoe de robots.txt in uw website presteert door de functie 'Geblokkeerde URL's' te gebruiken in de sectie 'Crawl' aan de linkerkant van het scherm Google Webmasterhulpprogramma's. Het is echter mogelijk dat de huidige of bijgewerkte versie van robots.txt niet wordt weergegeven, maar het kan worden gebruikt voor testdoeleinden.

Probeer regelmatig uw robots.txt bestand te controleren met behulp van een tool over de vraag of alles geldig is in het en het bestand werkt op de juiste manier zoals verwacht! By the way, kan het vele dagen of zelfs enkele weken voor een zoekmachine naar een afgekeurde URL te identificeren door het lezen van over hetzelfde uit de robots.txt en de indexering te verwijderen.

Nadat alle regelsets in het bestand zijn opgenomen en het de naam robots.txt heeft gekregen, moet het worden opgeslagen in de hoofd- of hoofdmap van de website op de server. Een hoofdmap kan een "www" of "htdocs" map zijn die helpt om robots.txt naast uw domeinnaam te laten verschijnen.

Het wordt altijd aangeraden om een redelijke grootte van robots.txt aan te houden door te voorkomen dat er ongewenste directieven in het bestand worden vermeld. Dat komt omdat John Mueller van Google al jaren geleden heeft verduidelijkt dat Googlebot alleen de eerste 500kB van een robot.txt bestand zal openen. Een reusachtig bestand kan op een ongewenste manier worden afgekapt tot een regel die als een onvolledige regel kan worden geïnterpreteerd.

Het is ook bekend als Robots exclusion protocol of robots exclusion standard dat door websites wordt gebruikt om te communiceren met webrobots of crawlers. Zoekmachines gebruiken hun robots om de websites te categoriseren.

Webmasters gebruiken robots.txt-bestanden om dergelijke robots instructies te geven of te sturen voor een betere indexering van hun websites. U hebt geen robots.txt-bestand nodig als u de toegang van gebruikersagenten tot een gedeelte van uw website niet wilt controleren. Meer informatie over robots.txt kunt u vinden in een geavanceerd onderwerp zoals Hoe maak ik een zoekmachine-bot?

Voor betere zoekmachine rankings, is het een beste SEO praktijk om de crawlers te laten bereiken en toegang tot uw site met gemak. Onze website bestaat over het algemeen uit veel ongewenste pagina's dan onze verwachtingen, en wanneer zoekmachine bots crawlen elke pagina van uw site dan zal het zeker meer tijd verbruiken en dit zal zeker gaan om negatief effect op haar ranking.

Google gebruikt het crawlbudget (opgesplitst in twee delen, crawlsnelheidslimiet en crawlbehoefte) voor elke website om te bepalen hoeveel URL's het wil of kan scannen. Dus, als je zulke bots of user agents helpt om alleen de meest waardevolle inhoud van je website te benaderen en te indexeren, is robots.txt een must!

Een SEO wil nooit dat delen of inhoud van een website worden geblokkeerd die nodig zijn om te worden gecrawld.

- Een zoekmachine zoals Google kan meerdere gebruikers-agenten hebben zoals Googlebot-Image (om de afbeeldingen te doorzoeken) en Googlebot (voor organisch zoeken). Vele user agents die tot dezelfde zoekmachine behoren kunnen dezelfde regels volgen zodat vele webmasters overslaan om richtlijnen voor elk van deze crawlers te specificeren. Een SEO kan hiervan profiteren door verschillende instructies te geven aan elk van de crawlers, zelfs als ze tot één zoekmachine behoren, om hun crawlgedrag beter te controleren.

- Voor een betere SEO is het noodzakelijk dat de geblokkeerde links of pagina's geen verdere links bevatten die gevolgd moeten worden. Dus, de geblokkeerde pagina mag geen link equity doorgeven aan de link bestemming of het is beter om een ander blokkeer mechanisme te gebruiken. Ze mogen ook niet gekoppeld zijn aan andere pagina's die toegankelijk zijn voor de zoekmachines, d.w.z. webpagina's die niet zijn afgekeurd door meta robots, robots.txt, of anderszins. Anders zullen de belangrijke gelinkte bronnen niet worden benaderd en geïndexeerd door de zoekmachines.

- Het is het beste om de robots.url URL direct naar Google te sturen nadat het bestand is bijgewerkt, zodat de doelgebruiker er snel bij kan. Over het algemeen, een zoekmachine updates van de cache robots.txt inhoud ten minste een keer per dag.

Het is goed om de locatie te vermelden van alle of een sitemaps gebaseerd op het domein van de website in het onderste gedeelte van zijn robots.txt-bestand. Sitemaps zijn overigens XML-bestanden die gedetailleerde informatie bevatten over de pagina's van een website, zoals hun URL met de bijbehorende metagegevens, zoals het belang ervan, de update-interval en de laatste update.

Al deze informatie kan gebruikt worden door zoekmachine bots om op een intelligente manier een website te crawlen. Dus, op deze manier kunnen webmasters de gebruikersagenten die Sitemaps ondersteunen helpen om alle URL's uit de sitemap te kennen en te benaderen en meer over hen te weten te komen in hun proces van het ontdekken van pagina's van de ene link naar de andere binnen een of van een andere site.

Bijvoorbeeld;

Browseradres: https://www.demo.com/robots.txt

Uitgang:

User-agent: *

Disallow: *.dl.html

Sta toe: /*.html$

Sitemap: https://www.demo.com/en-au/sitemap.xml

Sitemap: https://www.demo.com/en-se/sitemap.xml

Sitemap: https://www.demo.com/en-us/sitemap.xml

(De bovenstaande richtlijnen zijn om meer dan één sitemaps op te roepen via het robots.txt bestand).

Er zijn veiligheidsrisico's verbonden aan robots.txt omdat veel kwaadwillende bots het niet kunnen volgen en men kan het gebruiken om alle afgekeurde links te kennen en er rechtstreeks toegang toe te krijgen. Als oplossing kunt u het gedeelte van uw website dat privé-inhoud bevat beveiligen met een wachtwoord, zodat een indringer er niet bij kan, zelfs niet als hij de locatie kent.

Om gevoelige gegevens te presenteren van indexering of krijgen verscheen in de SERPs (hetzij direct of indirect, dat wil zeggen via geliked pagina's) is het het beste om een andere methode te gebruiken dan te weigeren hetzelfde van de robots.txt naar de pagina te blokkeren. Het kan ofwel geen index meta richtlijn of wachtwoordbeveiliging methoden.

WordPress maakt over het algemeen een virtuele standaard robots.txt bestand in de root direct voor zijn websites die niet kan worden gezien op de map. Het is dus altijd het beste om een nieuw bestand te maken dat overlapt met de standaardinstellingen, vooral om de aanmeldings- of inschrijfpagina te blokkeren die er voor een zoekmachine niet toe doet!

Veel mensen zijn meestal verward over Hoe Robots txt te verwijderen in WordPress of andere platforms. Echter, het proces is hetzelfde voor alle! De robots.txt bestand moet worden opgeslagen op het hoogste niveau directory van de website dat wil zeggen de root domein of hoofddirectory, zodat de bots om het te vinden met gemak te helpen. Dus, alles wat je nodig hebt is om het bestand te verwijderen rechtstreeks uit die bepaalde map of locatie.

Probeer de instructies om vertrouwelijke gebruikersinformatie te verbergen niet in het robots.txt-bestand op te nemen. Het bestand is namelijk een openbaar toegankelijk bestand, men kan de richtlijnen ervan zien door /robots.txt toe te voegen aan het einde van het hoofddomein.

Op deze manier kan iedereen te weten komen welke pagina's wel of niet door de webmaster van de site mogen worden gecrawld door alle of specifieke web bots. Het bestand moet worden opgeslagen met alleen de naam "robots.txt", omdat deze hoofdlettergevoelig is en geen enkele andere combinatie zal worden geaccepteerd door een user agent!

Ten slotte bent u misschien in de war tussen x-robots, meta robots en robots.txt, termen die op elkaar lijken. Van hen, x-robots en meta zijn meta richtlijnen, maar robots.txt is een tekstbestand en ze worden gebruikt om verschillende functies toe te passen.

Om precies te zijn zijn x-robots en meta bedoeld om het indexeringsgedrag op het niveau van pagina-elementen (of individuele pagina's) te dicteren, terwijl robots.txt bedoeld is om informatie te verstrekken over het crawl-gedrag van de regisseur of de site.

Er is een grotere kans dat de zoekmachine bots de inhoud van uw website kunnen indexeren en weergeven op de SERPs op een betere manier en het meer zichtbaar te maken door het besteden van zijn crawl budget goed tijdens het scannen van dezelfde site. Door het gebruik van robots.txt kan ook het crawlen van automatisch gegenereerde WordPress tag pagina's worden geblokkeerd en kan duplicate content worden voorkomen.

Over het algemeen moet je veel zorg bij het omgaan met wat op te nemen in de robots.txt bestand. Immers, een klein foutje in de robots.txt bestand kan uw hele website krijgen gedeïndexeerd.