Crawlbudget uitgelegd: hoe Googlebot je site crawlt en hoe je dit optimaliseert

Wat is crawlbudget?

Crawlbudget is het aantal pagina’s dat Googlebot binnen een bepaalde tijd op jouw website wil en kan crawlen. Het wordt bepaald door twee factoren: crawl rate limit (hoeveel je server aankan zonder traag te worden) en crawl demand (hoe belangrijk Google jouw content vindt). Voor kleine sites (onder de 5000 pagina) is crawlbudget zelden een probleem. Voor grotere sites is het cruciaal om Googlebot naar de juiste pagina’s te sturen.

Sinds 2022 publiceert Google geen crawl-budget cijfers meer publiek, maar je kunt ze via Search Console Crawl Stats inzien.

Wanneer crawlbudget belangrijk wordt

Hoe Google crawlbudget berekent

• Server response tijd: snelle server = meer crawl-capaciteit
• Crawl errors: veel 5xx errors = lager budget
• Site populariteit: meer backlinks = hogere crawl demand
• Update frequentie: vaak vernieuwde content = vaker gecrawld
• Sitemap-kwaliteit: geupdate sitemap met alleen indexeerbare URLs

Crawlbudget verspilling identificeren

Googlebot kan tijd verspillen aan pagina die niet hoeven worden geindexeerd. Dit kost van je totale crawlbudget. Veelvoorkomende verspillers:

• Duplicate content via URL-parameters (?sort=, ?ref=, ?utm_)
• Pagineringspagina’s die geen unieke waarde hebben
• Tag-archieven met dunne content
• Search-resultaten in interne site-search
• Filter-combinaties in webshops
• Test- of staging-pagina’s die per ongeluk publiek staan
• Verlopen redirect-chains (301 naar 301 naar 200)
• Soft 404’s: pagina die “niet bestaat” tonen maar status 200 geven

Crawl Stats in Search Console gebruiken

Search Console -> Instellingen -> Crawl stats. Toont:

• Aantal crawl-requests per dag
• Totale download-grootte
• Gemiddelde response-tijd
• HTTP-status codes (2xx, 3xx, 4xx, 5xx)
• Crawl-purpose (discovery vs refresh)
• Googlebot type (mobile vs desktop)

Indicatoren voor problemen: stijgende 5xx errors, dalende response-tijd, veel 4xx URLs.

Crawlbudget optimaliseren in 7 stappen

1. Audit Search Console Crawl Stats: identificeer verspilling
2. robots.txt strakker maken: blokkeer search-pages, filter-pages, dynamische parameters
3. XML sitemap schoon houden: alleen indexeerbare URLs in sitemap
4. Canonical tags correct: voor dubbele content pagina
5. 404 / 410 voor verwijderde content: niet 200 met “niet gevonden” tekst
6. Redirect chains minimaliseren: max 1 hop (301)
7. Server response tijd verbeteren: TTFB onder 200ms

Praktijkvoorbeeld: e-commerce site optimaliseert crawlbudget

Webshop met 25.000 producten + 18.000 filter-combinaties. Search Console toonde dat Googlebot 60 procent van crawl-tijd besteedde aan filter-URLs. Nieuwe producten werden pas na 3-4 weken geindexeerd.

Aanpak:

• robots.txt: blokkeer alle filter-parameters (sorteer, kleur, prijs)
• XML sitemap split: 5 sitemaps van 5000 URLs elk
• Canonical tags op alle filter-pagina richting hoofdcategorie
• Server response van 800ms naar 180ms (LiteSpeed + CDN)
• Verwijderde producten: 410 in plaats van 404

Resultaat: nieuwe producten binnen 24 uur geindexeerd, organic traffic plus 67 procent in 3 maanden.

Veelgemaakte fouten met crawlbudget

1. noindex maar wel in sitemap: Googlebot verspilt tijd om vervolgens niet te indexeren
2. Blocked via robots.txt maar links erheen: Google crawlt link maar kan pagina niet bekijken
3. Redirect chains (301 -> 301 -> 301): elke hop kost crawl-budget
4. Soft 404: pagina geeft 200 OK terwijl content “niet gevonden” toont
5. Duplicate content via tracking-parameters: ?utm_source maakt nieuwe URLs
6. Trage server: response boven 500ms verlaagt crawl-rate
7. Onnodige paginering: page=1, page=2 enz zonder canonical
8. Sitemap met dode links: 404s in sitemap = lagere trust

Crawl-rate forceren (alleen voor noodgevallen)

In Search Console kun je tijdelijk Googlebot crawl-rate beperken via Instellingen -> Crawl rate. Alleen gebruiken als je server-problemen hebt door te veel crawl-load. Normaal beslist Google zelf de optimale rate.

Het tegenovergestelde (rate opvoeren) kan niet meer sinds 2023. Het systeem regelt zichzelf.

Veelgestelde vragen over crawlbudget

Wat is crawlbudget?

Het aantal pagina dat Googlebot binnen een tijdspan op jouw site wil en kan crawlen. Bepaald door crawl rate limit (server-capaciteit) en crawl demand (content-belang).

Heb ik een crawlbudget probleem?

Onder 5000 pagina vrijwel nooit. Tussen 5000 en 100.000 mogelijk. Boven 100.000 vrijwel zeker. Check Search Console Crawl Stats.

Hoe zie ik mijn crawlbudget?

Search Console -> Instellingen -> Crawl stats. Geen exacte cijfer maar wel trend en problemen zichtbaar.

Helpt robots.txt voor crawlbudget?

Ja, sterk. Blokkeer dynamische parameters, search-pages, en andere thin content om Googlebot naar belangrijke pagina te sturen.

Wat is een goede TTFB voor crawlbudget?

Onder 200ms voor optimale crawl-rate. Boven 500ms = Google verlaagt actief het tempo.

Helpt een XML sitemap?

Ja, het stuurt Googlebot direct naar belangrijke URLs. Zorg dat alleen indexeerbare URLs in sitemap staan.

Wat is het verschil tussen crawlen en indexeren?

Crawlen = Googlebot leest de pagina. Indexeren = Google neemt de pagina op in de search-index. Niet alle gecrawlde pagina worden geindexeerd.

Hoe vaak wordt mijn site gecrawld?

Search Console Crawl Stats toont dit. Gemiddeld voor MKB-site: 50-500 requests per dag. Voor grote sites: tienduizenden.

Aan de slag met crawlbudget

Voor sites onder de 5000 pagina is crawlbudget zelden een issue. Voor grotere sites: start met Search Console Crawl Stats audit, daarna robots.txt en sitemap optimaliseren.

Plan een vrijblijvend strategiegesprek voor een technische SEO audit inclusief crawlbudget-check.

Gerelateerde artikelen:

• XML Sitemap uitgelegd
• Robots.txt uitgelegd
• Canonical tags
• Core Web Vitals
• Structured Data