Wat is een robots.txt?

Geplaatst op 3 september 2016
robots
Wat is een robots.txt bestand? Waar is het goed voor en hoe maak je het?

Wat is een robots.txt bestand?

Een robots.txt is een tekstbestand wat je in de bovenste map (root folder) van je FTP server plaatst. In dit tekstbestand plaats je links naar pagina's die de zoekmachines niet hoeven te indexeren.

Waar is een robots.txt bestand goed voor?

Een robots.txt gebruik je dus om zoekmachines aan te geven dat ze de links naar de pagina's die in dat bestand staan niet hoeven te indexeren. Dit bestand is geen beveiligingsoplossing trouwens. Want het bestand kan door iedereen bekeken worden als ze www.domeinnaam.nl/robots.txt intypen in hun browser. Pagina's die bijvoorbeeld niet interessant zijn voor zoekmachines zijn semi-persoonlijke pagina's, pagina's met uitgaande links, noem maar op. Hiermee houdt je je website 'schoon' voor zoekmachines.  Een voordeel is ook dat je kunt aangeven waar de zoekmachine je sitemap moet vinden, waardoor zoekmachines die gemakkelijk kunnen vinden en je website kunnen indexeren.

Hoe maak je een robots.txt bestand?

Een robots.txt bestand kent eigenlijk een standaard opbouw. Het werkt met een aantal regels/termen, waarachter je de mappen of pagina’s aan kunt geven waarop de regel van toepassing is. User-agent: Met deze regel kun je aangeven voor welke zoekmachines / robots de daarop volgende details gelden. Zo kun je de te indexeren pagina’s laten variëren voor bijvoorbeeld Google en/of Yahoo! Daarbij kun je ook specifieker zijn. Zo kun je bepaalde delen van je website wel toegankelijk maken voor indexeren in Google terwijl je Google Images uitsluit. Omdat dit nogal ver gaat, laten we dat even buiten beschouwing en beperken we ons tot de hoofdlijnen. Bij User-agents kun je door het gebruik van het detail * zorgen dat regels voor alle User-agents gelden. Disallow: Met deze regel sluit je bepaalde bestanden of mappen – dat hangt af van je opgegeven detail – uit voor indexeren. Bij ‘Disallow’ zijn vele details mogelijk. Door als detail / in te voeren, worden alle pagina’s uitgesloten en wordt je website niet geïndexeerd. Wanneer je wilt dat een bepaalde map niet wordt geïndexeerd, kun je de uiting: /mapnaam/ gebruiken. Voor het niet indexeren van een bepaald bestand kun je de uiting /mapnaam/bestand.php gebruiken. Sitemap: Met deze regel kun de robot van een zoekmachine vertellen waar de sitemap van je website zich bevind. Geef hier altijd het volledige pad op van het bestand. #: Wil je ergens een opmerking (commentaarregel) toevoegen om voor jezelf te kunnen onthouden waarvoor de regel is ingesteld? Gebruik dan het # gevolgd door de opmerking.
Voorbeeld robots.txt bestand
------------------------------------------------------------------ # Hier begint het bestand, dit is een commentaarregel User-agent: * # De regels gelden voor alle robots Disallow: /contact/ # De map contact mag niet worden geïndexeerd Disallow: /about/algemene-voorwaarden.php # Het bestand met algemene voorwaarden mag niet worden geïndexeerd Sitemap: http://www.website.nl/sitemap.xml # De locatie van de sitemap wordt aangegeven

Onze voordelen

  • Professioneel & persoonlijk
  • Binnen 4 uur reactie
  • Vrijblijvend en kosteloos advies
  • Meer dan 10 jaar ervaring
  • Honderden klanten
  • Klantoordeel: 8,5