Robots.txt uitgelegd: gids voor MKB in 2026

Robots.txt uitgelegd: wat is het en waarom is het belangrijk?

Robots.txt is een tekstbestand in de root van je website dat zoekmachines vertelt welke pagina ze wel en niet mogen crawlen. Het is je eerste verdedigingslinie tegen verkeerde indexering en de manier om crawl-budget te sturen naar je belangrijkste content.

Een verkeerd geconfigureerde robots.txt kan je hele site uit Google laten verdwijnen. Een goed geconfigureerde robots.txt versnelt indexering en voorkomt dat zoekmachines tijd verspillen aan admin-pagina. Deze gids legt uit hoe robots.txt werkt, welke regels essentieel zijn, en welke fouten je MOET vermijden.

Hoe werkt robots.txt?

Zoekmachine-crawlers (Googlebot, Bingbot, GPTBot, etc.) vragen ALTIJD eerst /robots.txt op voordat ze de rest van je site bezoeken. Het bestand vertelt ze:

• Welke pagina ze NIET mogen crawlen (Disallow)
• Welke pagina ze WEL mogen crawlen ondanks bredere Disallow (Allow)
• Waar de XML sitemap staat
• Hoe snel ze mogen crawlen (Crawl-delay, niet door Google gebruikt)

Belangrijk om te begrijpen: robots.txt voorkomt CRAWLING, maar niet INDEXERING. Een pagina die je via robots.txt blokkeert kan nog steeds in Google verschijnen als andere sites ernaar linken. Voor echte uitsluiting gebruik je noindex meta-tag.

Basis-syntax van robots.txt

Robots.txt heeft een eenvoudige syntax. Voorbeeld:

User-agent: *
Disallow: /wp-admin/
Disallow: /private/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://jouwsite.nl/sitemap_index.xml

Uitleg per regel:

Wat moet wel en niet in robots.txt?

Blokkeren (Disallow):

• WordPress admin: /wp-admin/
• Login/registratie URLs
• Bedankt- en checkout-pagina (voor de orderdata)
• Interne zoekresultaten: /?s=
• Filter-parameters die oneindige variaties geven
• Print-versies van pagina
• Test- en staging-URLs (al ben je beter af met IP-whitelist)

NIET blokkeren:

• CSS- en JS-bestanden (Google heeft deze nodig om je site goed te renderen)
• Images die je in zoekresultaten wilt zien
• Pagina die je via noindex al uitsluit (robots.txt blokkeert dan Google’s lezen van die noindex)
• Hele subdomeinen of mappen tenzij echt nodig

Voorbeeld robots.txt voor MKB WordPress-site

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /?p=
Disallow: /cgi-bin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /comments/
Disallow: /xmlrpc.php
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

Sitemap: https://jouwsite.nl/sitemap_index.xml

User-agents voor specifieke crawlers

Je kunt verschillende regels voor verschillende crawlers maken. Voorbeelden:

AI-bots blokkeren of toestaan

In 2026 is een belangrijke keuze: laat je AI-zoekmachines je content crawlen voor zowel zoek-resultaten ALS model-training? Drie opties:

1. Alles toestaan (default, aanbevolen voor MKB)

Geen extra regels. AI-zoekmachines kunnen jouw content gebruiken en jou aanbevelen.

2. Training blokkeren, search toestaan

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ChatGPT-User
Allow: /

Hiermee voorkom je dat OpenAI en Google jouw content gebruiken om AI-modellen te trainen, maar laat je hun zoek-bots wel toe om jouw content te tonen.

3. Alles blokkeren

Niet aanbevolen voor MKB. Je verliest alle AI-zoekverkeer.

Robots.txt testen

Drie manieren om te valideren:

1. Google Search Console robots.txt Tester: search.google.com/search-console/settings/robots-txt-tester
2. Direct bezoek: ga naar jouwsite.nl/robots.txt en check of het bestand bestaat en de regels klopt
3. URL inspection tool in Search Console: laat zien of een specifieke URL geblokkeerd is door robots.txt

Robots.txt in WordPress

WordPress genereert standaard een virtuele robots.txt op /robots.txt. Drie wegen om aanpassingen te doen:

1. SEO-plugin (Rank Math of Yoast)

Beide hebben een UI voor robots.txt-aanpassingen. Yoast: SEO -> Tools -> File editor. Rank Math: WordPress dashboard -> Rank Math -> General Settings -> Edit robots.txt. Aanbevolen voor 95 procent van MKB.

2. Fysieke robots.txt in root

Upload via FTP een echt robots.txt-bestand naar de root van je site. Overschrijft de virtuele versie. Voor meer geavanceerde configuraties.

3. Functions.php robots_txt filter

Custom code: add_filter('robots_txt', 'mijn_robots_aanvulling', 10, 2);. Voor developers.

Veelgemaakte fouten met robots.txt

1. Disallow: / per ongeluk. Blokkeert je hele site voor Google. Catastrofe.
2. CSS/JS blokkeren. Google kan je site niet renderen, ranking daalt.
3. Disallow + noindex combineren op zelfde pagina. Google kan de noindex niet lezen omdat robots.txt het blokkeert.
4. HTTPS-mix: sitemap in robots.txt verwijst naar http terwijl site https is.
5. Wildcards verkeerd gebruiken. Disallow: /*? blokkeert ALLE URLs met query-parameters.
6. Verschillende rules voor staging en productie niet beheren. Migratie zonder robots.txt update.
7. AI-bots blokkeren zonder begrip van impact. Verlies van AI-verkeer.
8. Sitemap-URL ontbreekt. Klein detail dat AI-crawlers misslagen.

Praktijkvoorbeeld: robots.txt redt MKB-site

Een webshop in tuinmeubelen had organisch verkeer zien dalen 60 procent in een week. Onderzoek: tijdens een redesign was per ongeluk “Disallow: /” in productie-robots.txt gekomen. Google had binnen 3 dagen 2/3 van de pagina ge-deindexeerd.

Fix: robots.txt corrigeren + Search Console URL Inspection per belangrijkste pagina om herindexering te forceren. Resultaat: 80 procent van het verkeer terug binnen 2 weken, volledig herstel binnen 6 weken. Cruciaal verlies: 1 maand omzet.

Les: check robots.txt elke maand. En na elke deploy.

Veelgestelde vragen over robots.txt

Heb ik robots.txt echt nodig?

Voor de meeste sites: ja. WordPress genereert standaard al een basis robots.txt. Aanvullingen voor MKB-sites zijn aanbevolen.

Blokkeert robots.txt indexering?

Nee. Robots.txt blokkeert CRAWLING, niet indexering. Voor echte uitsluiting gebruik noindex meta-tag.

Mag ik AI-bots blokkeren?

Mag, maar overweeg de impact. Voor MKB die AI-verkeer wil binnenhalen: niet aanbevolen.

Wat is het verschil tussen robots.txt en noindex?

Robots.txt zegt “crawl niet”. Noindex zegt “indexeer niet”. Voor echte uitsluiting: noindex (zonder robots.txt blokkering, zodat Google de noindex kan lezen).

Hoe vaak moet ik robots.txt aanpassen?

Zelden. Na initiele setup alleen aanpassen bij grote site-structuur wijzigingen of nieuwe AI-bot-keuzes.

Mag ik commentaar in robots.txt zetten?

Ja. Regels die beginnen met # zijn commentaar en worden door crawlers genegeerd.

Wat is crawl-delay?

Een directive die crawlers vraagt om sneller of langzamer te crawlen. Google negeert dit. Bing en Yandex respecteren het wel.

Hoe groot mag robots.txt zijn?

Google leest maximaal 500KB. Voor 99 procent van sites ruim voldoende. Houd het bondig.

Aan de slag met robots.txt

Robots.txt is een klein bestand met grote impact. Check eerst je huidige robots.txt op jouwsite.nl/robots.txt, valideer in Search Console, en optimaliseer voor zowel klassieke als AI-crawlers.

Wij bij Clickstrategie helpen MKB-ondernemers met technische SEO en robots.txt audits. Plan een vrijblijvend strategiegesprek en we doen een gratis robots.txt-check van jouw site.

Gerelateerde artikelen:

• XML Sitemap uitgelegd
• Structured Data en Schema Markup
• Canonical tags en duplicate content
• Core Web Vitals verbeteren
• Wat is zoekwoordenonderzoek