Wat moet je doen met een robots.txt bestand

Met een sitemap geef je aan Google door wat de structuur van je site is en welke pagina’s proriteit hebben. Dit is heel belangrijk voor je seo. Maar de Google robots zoeken ook altijd naar een robots.txt bestand. In dit bestand kan je aangeven welke pagina’s Google niet moet indexeren en hier kan je ook aangeven wat de url is van de sitemap. Google zal dan je site sneller indexeren en senller crawlen en dit is goed voor je seo. Plaats daarom altijd een robots.txt bestand op je site. Ik zal een aantal handvatten geven om je robots.txt bestand maken.

Wat moet er in de robots.txt bestand staan

In een robots bestand staat welke pagina’s Google niet moet crawlen. Bijvoorbeeld in mijn robots.txt bestand staat dat de pagina /wp-admin niet moeten crawlen. In de robots.txt bestand kan je ook aangeven op welke pagina je sitemap moet staan. Hieronder staat hoe je de robots.txt bestand moet maken.

Je begint eerst met een User-agent: *. Het sterretje geeft aan dat iedere robot je site kan crawlen. Als je geen pagina’s wilt uitsluiten dan zet je hieronder Disallow: . Er komt niks achter disallow, omdat je niets wilt uitsluiten. Je robots.txt bestand komt er dan zo uit te zien:

User-agent: *
Disallow:

Als je wel pagina’s wilt uitsluiten dan kan je dit achter de disallow zetten. Je moet niet heel de url te vermelden alleen maar wat achter de slash komt. Je robots.txt bestand kan er dan zo uit zien:

User-agent: *
Disallow: /wp-admin
Disallow: /contact

In de robots.txt bestand kan je ook aangeven waar je sitemap te vinden is. Je vermeld dan sitemap: url. Een robots.txt bestand ziet er dan zo uit:

User-agent: *
Disallow: /wp-admin
Disallow: /contact
Sitemap: http://www.bartvandecasteel.nl/sitemap.xml

Hoe kan ik een robots.txt bestand maken

Als je WordPress gebruikt dat zijn er verschillende plugins waar je een robotos.txt bestand kan maken. Ik gebruik de seo plugin van Yoast. In de plugin van Yoast kan je ook aangeven dat de descriptions worden weergeven die jij hebt ingevoerd en dat de directory snippets worden genegeerd. Als je bijvoorbeeld in de directory van dmoz staat kan dit in de serp staan. Om dit te negeren kan je NOODP en NOYDIR toevoegen. De NOODP is voor Google en Yahoo en de NODIR is voor DMOZ. De code zal er dan als volgt uitzien:

Als je geen WordPress hebt kan je dit tekstbedtand ook zelf toevoegen of je vraagt dit aan je webmaster. Matt Cuts had in 2007 al over snippets die in Google komen.

Waar moet ik robots.txt plaatsen

De robots.txt bestand moet op de hoofdomein staan. Mijn robots.txt bestand is te raadplegen op http://www.bartvandecasteel.nl/robots.txt. Je moet dus je robots.txt bestand niet op een andere pagina zetten bijvoorbeeld http://www.bartvandecasteel.nl/contact/robots.txt. De robots kijken namelijk alleen op de homepagina.