Om jouw plaats in de zoekresultaten te bepalen, zal Google jouw website bekijken. Dat doen ze door Googlebots te sturen naar jouw website die alle webpagina’s gaan crawlen, indexeren en ranken. Googlebots crawlen natuurlijk niet alleen jouw website, dus hebben ze ook maar een beperkte kracht om je website onder handen te nemen. Dat is het crawl budget: de aandacht die de Googlebots aan jouw website zullen besteden.
Wat is het crawl budget?
Googlebots gaan je website dus crawlen en doorlopen op zoek naar trefwoorden en om de inhoud en kwaliteit van je website te bepalen. Hoeveel tijd en moeite ze daarvoor nemen, hangt af van de Domein Autoriteit van je website. Hoe beter jouw SEO, hoe belangrijker je website, en hoe meer pagina’s Google zal crawlen. Dat wordt je crawl demand genoemd: welke URLs zijn het waard om meerdere keren gecrawled te worden, gebaseerd op populariteit en hoe vaak de pagina geüpdatet wordt. Google houdt ook rekening met de crawl limiet: hoeveel Googlebots je website en server kunnen verdragen zonder negatieve invloed. De website eigenaar kan daar ook een limiet instellen van een maximum aantal crawls. Die twee factoren samen bepalen je crawl budget: het aantal pagina’s dat de Googlebots elke dag zullen crawlen. Dat wordt in grote mate dus bepaald door je SEO. Als je aan jouw SEO wil werken om zo je crawl budget uit te breiden, raden we je aan onze SEO Cursus voor bedrijven te raadplegen!
Waar vind je jouw crawl budget terug?
In Google Search Console kan je jouw crawl budget terugvinden. In onze Google Search Console handleiding hebben we de crawlstatistieken al kort besproken. Je vindt er een overzicht van het aantal pagina’s dat Google elke dag bezoekt. Het gemiddelde dat Google daar toont, dat is jouw crawl budget.
Is jouw crawl budget voldoende?
Maar hoe weet je nu of jouw crawl budget voldoende is voor jouw volledige website? Wel, als je crawl budget even groot is als het aantal pagina’s op jouw website, dan is het voldoende! Weet jij niet hoeveel pagina’s je website precies heeft? Dan kan je daar achter komen door te gaan controleren hoeveel geïndexeerde pagina’s jij hebt. Dat doe je door naar Google te surfen en deze zoekopdracht in te geven: “site:smartdata.agency”. Je krijgt dan het totaal aantal geïndexeerde pagina’s te zien. Als dat aantal erg verschilt van je crawl budget, dan wil dat zeggen dat niet al jouw pagina’s dagelijks gecrawled geworden. En dat betekent dus dat jouw crawl budget nog geoptimaliseerd kan worden!
Je crawl budget verbeteren
Je crawl budget is van veel verschillende factoren afhankelijk, en hangt nauw samen met de algemene zoekmachine optimalisatie van je website. Hieronder geven we een aantal tips mee die het meeste invloed zullen hebben op je crawl budget.
Robots.txt
Eén van de eerste oplossingen om de Googlebots te helpen om je website beter te crawlen, was door een robots.txt bestand toe te voegen aan de code van je website. Daarin werden dan een hele hoop URLs gezet die de bots dan zouden overslaan. Dit werkt echter niet altijd helemaal zoals het verwacht. Zo detecteren de bots duplicate content, bijvoorbeeld, nog steeds. Een betere oplossing om URLs over te slaan is om te werken met canonical URLs of een 301 redirect (zie verder).
Snellere laadtijden
Hoe sneller je pagina’s laden, hoe minder tijd de Googlebots zullen nodig hebben om je pagina’s te bezoeken en te crawlen. Zorg er dus voor dat je websitepagina’s snel genoeg laden. Hoe je dat doet, lees je hier: Snelheid website testen en verbeteren.
Inkomende links
Binnenkomende links tonen aan Google dat andere websites vertrouwen hebben in jouw content. Daardoor gaat jouw website autoriteit erop vooruit en dat komt je crawl budget ten goede. Dit is zowel een direct als een indirect effect. Het heeft rechtstreekse invloed op je crawl budget aangezien dat mede bepaald wordt door de autoriteit van je website. Maar ook onrechtstreeks aangezien Googlebots jouw website ook zullen komen crawlen vanuit de websites waarop er naar jou gelinkt wordt. Als je graag wil weten hoe je jouw linkbuilding kan verbeteren, lees dan hier alles over linkbuilding. Let wel op dat je dit op de juiste manier aanpakt, en vermijdt linkfarms.
Duplicate content
We hebben het op onze blog al eerder over duplicate content gehad, en wat voor negatieve effecten dit heeft op je SEO. Duplicate content zal de kostbare tijd van de Googlebots verspillen wanneer ze meerdere keren dezelfde inhoud gaan crawlen. Werkt jouw e-commerce site bijvoorbeeld met verschillende categorieën of filters die verschillende URLs creëren met dezelfde content? Wees je hier dan van bewust en laat Google weten welke URLs de originele content bevatten aan de hand van canonical URLs.
Ook een zoekfunctie op je website kan een hele hoop URLs gaan genereren met quasi dezelfde content. Om dat probleem te ontwijken, ga je best de zoekfilters uitsluiten van de Google indexatie. Dat kan je doen door dit toe te voegen in de robots.txt: [disallow: ?search]. Om ervoor te zorgen dat die resultaten ook niet in de Google zoekresultaten zullen verschijnen, voeg je best ook eerst een [noindex] toe voor de [disallow]. Zo weten de Googlebots dat ze deze URLs niet moeten volgen, en zullen ze dus ook niet gecrawled en geïndexeerd worden.
404 errors
404 HTTP errors komen voor wanneer je linkt naar een pagina binnen je website die niet meer bestaat. Het zijn dus links die nergens naartoe wijzen. Dit is slecht voor je crawl budget, want zo zullen de Googlebots tijd verspillen op onbestaande pagina’s. Gelukkig vind je een handig overzicht van deze interne 404s in Google Search Console onder crawlfouten. Hoe los je een interne 404 error op? Door de link aan te passen en door te verwijzen naar de juiste pagina, of door de broken link met behulp van een 301 redirect door te verwijzen naar de juiste pagina. Opgelet: de eerste optie is de beste, want met een 301 redirect hebben de Googlebots meer tijd nodig om op de juiste link terecht te komen.
XML sitemap
In een eerder artikel over de XML sitemap, hebben we al uitgelegd hoe belangrijk die sitemap is voor de indexatie van je website. Het is namelijk een letterlijke inhoudsopgave van je website waar de belangrijkste URLs in staan. Controleer deze URLs dus regelmatig. Kunnen ze goed gecrawled worden? Werken alle links nog? Staan hier geen links in die via een 301 redirect doorverwijzen naar een andere pagina?
Conclusie
Pas onze tips toe om ervoor te zorgen dat je crawl budget de hoogte in gaat. Dat zal ervoor zorgen dat Google je website vaker en uitgebreider zal bezoeken. Zo wordt je website beter geïndexeerd en kan de zoekmachine veel beter inschatten aan welke zoekopdrachten je pagina’s allemaal kunnen beantwoorden. Een direct gevolg daarvan is dat je website meer getoond zal worden in die zoekresultaten. Daardoor gaat je vindbaarheid omhoog en zal je op hogere bezoekersaantallen kunnen rekenen!
