Wat is het robots.txt-bestand?

Inleiding

Het robots.txt bestand is een eenvoudig tekstbestand dat deel uitmaakt van het Robots Exclusion Protocol (REP). Het bevat instructies voor zoekmachines over hoe ze de site kunnen benaderen en indexeren. Om effectief te zijn, moet het robots.txt bestand in de hoofdmap van de site worden geplaatst (bijvoorbeeld https://domeniu.ro/robots.txt).

Het Belang van het robots.txt Bestand

Het robots.txt-bestand is cruciaal voor het beheren van de interactie van bots met de site. Er zijn veel bots die de site agressief kunnen indexeren, wat de prestaties kan beïnvloeden. Door dit bestand te gebruiken, kunt u:

• Beheer de toegang van zoekmachines tot de inhoud van de site.
• Staat alleen indexeren toe door gewenste bots (bijv. Google, Bing).
• Beperk de toegang tot gevoelige mappen of bestanden.

Gebruik voorbeelden

1. Een specifieke zoekmachine blokkeren

Om de toegang voor de Bing-zoekmachine (bingbot) te blokkeren, voeg de volgende regels toe aan het robots.txt-bestand:

User-agent: bingbotVerboden: /

Uitleg:
User-agent: Geeft de zoekmachine aan waarvoor de instellingen van toepassing zijn.
Disallow: Definieert de secties van de site waartoe de robot geen toegang heeft. Het symbool / blokkeert de toegang tot de gehele site.

2. Alle zoekmachines blokkeren

Om te voorkomen dat alle zoekmachines toegang hebben tot de site, gebruik:

User-agent: *Verboden: /

Uitleg: Het symbool * (wildcard) in het User-agent veld geldt voor alle zoekmachines, en / blokkeert toegang tot de hele site.

3. Toegang tot bepaalde mappen of bestanden beperken

Om toegang tot een map en een specifiek bestand te blokkeren, configureer:

User-agent: *Disallow: /blog/Disallowed: /newsletter.php

Uitleg: Alle zoekmachines zullen worden geblokkeerd om de map /blog/ en het bestand newsletter.php te indexeren.

Het maken van het robots.txt-bestand

Om een robots.txt bestand te maken, kun je een online generator gebruiken die je helpt om de regels snel en foutloos aan te passen. Voorbeelden van online generators kun je vinden via een zoekopdracht: Robots.txt Generator.

Nadat u het bestand hebt aangemaakt, upload het naar de hoofdmap van de site met behulp van een bestandsbeheerder of een FTP-client.