SEO Kruip Budget Optimalisatie

Crawl Budget: Maakt u het Google moeilijk om uw website te crawlen en te indexeren?

Hoe Google uw website crawlt, heeft invloed op de zoeken rangschikking. Als de spinnen van het Mountain View bedrijf zelden kruipen uw website of als ze niet alle pagina's van uw site crawlen, kunt u lagere zoekresultaten verwachten. Als Google uw website te vaak crawlt, kan dit leiden tot langere laadtijden voor bezoekers, die kan ook de zoekresultaten van uw site negatief beïnvloeden. Door het begrijpen van crawl budget, kunt u uw website optimaliseren zodat Google deze efficiënter kan crawlen.

Wat is Crawl Budget?

Crawlbudget verwijst naar het totale aantal webpagina's op uw website dat Google op een bepaald moment wil en kan crawlen. Het bestaat uit twee belangrijke elementen: crawlsnelheidslimiet en crawlbehoefte.

Wat is de Crawl Rate Limit?

De crawl rate limit is het aantal webpagina's dat Google gelijktijdig op uw website kan crawlen, gecombineerd met de frequentie waarmee Google die webpagina's kan ophalen. Als uw website een hoge crawl rate limiet heeft, zal Google meer van de pagina's tegelijk crawlen en ze vaker ophalen. Heeft uw website daarentegen een lage crawl rate-limiet, dan zal Google minder pagina's tegelijk crawlen en ze minder vaak ophalen.

Google kent een crawl rate limiet toe aan elke website zodat deze niet onbedoeld vertraagd wordt terwijl kruipend het. Zonder een crawl rate limiet, zou Google uw website kunnen overspoelen server met een buitensporig aantal verzoeken. Als uw server verzadigd raakt met verzoeken, duurt het langer voordat bezoekers uw website laden. Met een crawl rate limiet kan Google uw website crawlen zonder de prestaties ervan te beïnvloeden.

Wat is Crawl Demand?

Crawlbehoefte, het andere element van crawlbudget, is de frequentie waarmee Google de pagina's van uw website wil crawlen. Met andere woorden, het is een meting van hoeveel Google uw website wil crawlen.

Webpagina's die veel verkeer genereren, maar ook een sterke betrokkenheid signalenhebben doorgaans een hogere crawlbehoefte dan die welke weinig of geen verkeer genereren. Verkeer geeft de populariteit van een webpagina aan. En als een webpagina populair is, zal Google deze vaker crawlen dan een impopulaire webpagina.

Op bijna alle websites zal de homepage vaker moeten worden gecrawld dan de subpagina's. Aangezien de homepage het eerste is wat de meeste bezoekers zien wanneer ze uw website bezoeken, zal Google deze vaker crawlen dan de andere pagina's van uw site. Crawlbehoefte geeft aan hoe graag Google de verschillende pagina's van uw website wil crawlen.

Hoe de Crawl Rate Limit van uw website te verbeteren

Hoewel het automatisch door Google wordt toegewezen, kunt u uw website optimaliseren om een hogere crawl rate limiet te bereiken. In Google Zoek Console (GSC) kunt u bijvoorbeeld de frequentie opgeven waarmee u wilt dat Google uw website crawlt. Terwijl u bent aangemeld bij SGR, klikt u op de knop in de zijbalk met het label "Ga naar de oud versie." Nadat de oude versie van GSC is geladen, klikt u op het tandwielpictogram en kiest u "Site-instellingen". Selecteer vervolgens de optie om de crawlsnelheid van Google te beperken, waarna u een gewenste crawlsnelheid voor uw website kunt opgeven.

De laagste crawlsnelheid die in GSC wordt ondersteund is 0,002 verzoeken per seconde, terwijl de hoogste crawlsnelheid die in GSC wordt ondersteund twee verzoeken per seconde is. Houd er rekening mee dat zelfs als u de crawlsnelheid van uw website op het hoogste niveau instelt, Google deze mogelijk minder vaak crawlt. Dit gebeurt als Google denkt dat uw opgegeven crawlsnelheid prestatieproblemen zal veroorzaken, zoals lange laadtijden. In plaats van een buitensporig beslag te leggen op de bronnen van uw server, zal Google de website gewoon minder vaak crawlen.

Omdat snelheid een rol speelt bij het beperken van de crawlsnelheid, moet u uw website zo optimaliseren dat deze meer gelijktijdige verzoeken kan verwerken zonder onder de druk uit te komen. Als u gebruik maakt van een gedeelde web hosting service, overweeg dan een upgrade naar een virtual private server (VPS) of dedicated web hosting plan.

Hoewel ze goedkoop en eenvoudig te configureren zijn, hebben shared webhostingdiensten niet de middelen van hun VPS en dedicated tegenhangers. Zoals de naam al doet vermoeden, dwingt een gedeelde webhostingdienst u een server te delen met andere websites. Het is niet ongewoon voor een gedeelde server om honderden, soms duizenden websites te hosten. Met zo veel websites gehost op dezelfde server, zal Google hen een lage crawl rate limiet toewijzen. Een VPS of dedicated web hosting plan zal uw website voorzien van meer middelen om Google's crawling verzoeken te verwerken.

Hoe de Crawlbehoefte van uw website te verbeteren

Er zijn ook manieren om je website te optimaliseren voor een hogere crawlbehoefte. Specifiek moet u verhogen de populariteit van je hele website en de bijbehorende webpagina's door het maken en publiceren van hoogwaardige inhoud. Als uw website inhoud van hoge kwaliteit bevat, zullen bezoekers er meer tijd op doorbrengen. Google zal deze langere bezoeksduur herkennen als een teken van populariteit, wat Google ertoe moet aanzetten uw website vaker te crawlen.

Het promoten van uw website op sociale media kan u helpen een hogere crawlvraag te bereiken. Wanneer u een link naar uw website deelt op Facebook of Twitter, kunnen gebruikers van het desbetreffende social media-netwerk uw site bezoeken. Naarmate het verkeer op uw website toeneemt, zal Google uw website als populair beschouwen.

Het regelmatig bijwerken van de inhoud van uw website bevordert een hogere crawlbehoefte. Als een webpagina voor langere tijd ongewijzigd blijft, zal Google deze niet vaak crawlen. Het heeft immers geen zin een webpagina te crawlen als Google al weet wat er op staat. Daarom moet u er een gewoonte van maken de pagina's van uw site regelmatig bij te werken. Door nieuwe inhoud toe te voegen of bestaande inhoud te wijzigen, laat u Google zien dat uw website fris is, zodat Google deze vaker zal willen crawlen.

Laat crawlbudget niet verhinderen dat uw website hoog scoort in de zoekresultaten. Door uw website te optimaliseren voor een hogere crawl rate limiet en crawl vraag, zal Google uw website efficiënter crawlen. En naarmate het crawlbudget van uw website toeneemt, stijgen ook de posities in 's werelds populairste zoekmachine.