Les moteurs de recherche explorent votre site en permanence, suivent les liens et indexent les pages. Mais toutes les pages ne méritent pas d'être indexées. Vous avez des pages privées, des zones d'administration, des pages de test et des pages en double qui gaspillent le budget d'exploration. Le robots.txt est un simple fichier texte qui indique aux moteurs de recherche quelles pages ils peuvent explorer ou non. C'est le portier entre votre site et les robots des moteurs de recherche.
Le robots.txt est un fichier en texte brut placé à la racine de votre site (votresite.com/robots.txt). Il contient des instructions pour les robots d'exploration : quelles pages et quelles sections de votre site ils ont le droit d'explorer. Il n'y a pas besoin de connexion pour y accéder. Il est public. N'importe qui peut aller sur votresite.com/robots.txt et voir vos instructions.
Les moteurs de recherche sont censés suivre les règles du robots.txt. La plupart le font. Certains ne le font pas. Les robots bien élevés (Google et les moteurs de recherche sérieux) respectent le robots.txt. Les acteurs malveillants et les robots malintentionnés l'ignorent souvent.
À quoi ressemble un robots.txt ?
Un fichier robots.txt simple ressemble à ceci :
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Cela indique à tous les robots (User-agent: *) qu'ils ne peuvent pas explorer les sections /admin/ et /private/. Cela autorise explicitement /blog/ (utile si un dossier parent est bloqué). Cela renvoie aussi les robots vers votre sitemap.
Voici un autre exemple avec des règles plus précises :
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Cela bloque uniquement le robot de Google sur /temp/. Tous les autres robots sont bloqués sur /test/ et sur tous les fichiers PDF. Le crawl-delay demande aux robots d'attendre 5 secondes entre deux requêtes.
Comment le robots.txt aide le SEO
Le robots.txt aide le SEO d'une façon principale : il préserve le budget d'exploration. Les moteurs de recherche allouent un budget d'exploration limité à chaque site. Pour les petits sites, le budget d'exploration est rarement un problème. Pour les grands sites de milliers de pages, il compte.
Si votre site a 10 000 pages mais que seulement 500 sont importantes, vous voulez que les robots explorent plusieurs fois les 500 pages importantes plutôt que de répartir leur budget d'exploration sur les 10 000 pages. Le robots.txt empêche les robots de perdre du temps sur des pages sans importance.
Pages courantes à bloquer : zones d'administration, pages de connexion, pages de remerciement, pages de test, contenu en double, pages de session et contenu temporaire. Bloquer ces pages dit aux robots de se concentrer sur le contenu qui compte.
Ce qu'il ne faut pas bloquer dans le robots.txt
Ne bloquez pas les pages que vous voulez classer. Ne bloquez pas votre section de blog ni vos principales zones de contenu. Ne bloquez pas les fichiers CSS, JavaScript ou d'images nécessaires à l'affichage correct des pages (sauf si vous voulez précisément empêcher l'indexation).
Google recommande de ne pas bloquer les fichiers CSS, JavaScript et d'images, même si vous ne voulez pas qu'ils soient indexés. Bloquer ces ressources peut empêcher Google d'afficher et de comprendre correctement vos pages.
N'utilisez pas le robots.txt pour cacher des informations sensibles. Le robots.txt est public. N'importe qui peut lire votresite.com/robots.txt. Si vous voulez vraiment cacher quelque chose, utilisez une protection par mot de passe ou une authentification du serveur, pas le robots.txt.
Comment créer un fichier robots.txt
Créer un robots.txt est simple. C'est un fichier en texte brut. La plupart des créateurs de sites et des plateformes de gestion de contenu en génèrent un automatiquement.
Si votre CMS n'en a pas créé, créez-le à la main. Ouvrez un éditeur de texte. Écrivez vos règles. Enregistrez-le sous le nom « robots.txt » (pas « robots.txt.txt »). Mettez-le en ligne dans le répertoire racine de votre site (votresite.com/robots.txt).
Testez votre fichier robots.txt. Allez dans Google Search Console, sélectionnez votre propriété, ouvrez l'outil de test du robots.txt et collez vos règles. Google vous montrera ce que le fichier bloque et autorise. Cela confirme que vos règles fonctionnent comme prévu.
Règles courantes du robots.txt et exemples
Voici la règle la plus courante : bloquer tous les robots sur un répertoire précis.
User-agent: *
Disallow: /admin/
Voici comment bloquer un type de fichier précis (comme les PDF) :
User-agent: *
Disallow: /*.pdf
Voici comment bloquer tous les robots sauf Google :
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Voici comment ajouter un délai d'exploration (attendre X secondes entre deux requêtes) :
User-agent: *
Crawl-delay: 10
Voici comment renvoyer les robots vers votre sitemap :
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Limites importantes du robots.txt
Le robots.txt n'est pas un outil de sécurité. C'est un système de courtoisie. Les mauvais robots, les pirates et les robots malveillants ignorent complètement le robots.txt. Ne l'utilisez pas pour cacher des données sensibles ou protéger des pages importantes. Utilisez une protection par mot de passe pour cela.
Le robots.txt ne garantit pas l'exclusion des résultats de recherche. Google indexe parfois des pages listées dans le robots.txt si elles sont liées depuis d'autres pages indexées. Le blocage empêche l'exploration, mais pas l'indexation si la page est liée ailleurs.
Le robots.txt n'est pas un noindex. Si vous voulez empêcher totalement l'indexation, utilisez une balise meta robots ou un en-tête X-Robots-Tag, pas le robots.txt. Le robots.txt ne contrôle que l'exploration, pas l'indexation.
Questions fréquentes
Le robots.txt influence-t-il le classement SEO ?
Indirectement. Le robots.txt n'influence pas directement le classement. Cependant, en dirigeant le budget d'exploration vers les pages importantes, vous aidez les moteurs de recherche à explorer et à indexer plus souvent votre meilleur contenu. Une meilleure exploration mène à une meilleure indexation, qui mène à un meilleur potentiel de classement. Le robots.txt aide donc le classement de façon indirecte, par la gestion du budget d'exploration. Avec le créateur de site web WEMASY, vous pouvez le mettre en place directement sur votre site.
Puis-je empêcher Google d'explorer mon site ?
Oui, mais vous ne devriez pas. Vous pouvez interdire Googlebot dans le robots.txt, mais cela empêche Google d'indexer votre site. Votre site disparaîtra de la recherche Google. La seule raison de le faire est de mettre votre site hors ligne ou de le déplacer en ne voulant pas que l'ancienne version soit indexée. Dans presque tous les cas, vous devez laisser Google explorer.
Le robots.txt est-il sensible à la casse ?
En partie. Les commandes User-agent et Disallow ne sont pas sensibles à la casse. Les chemins que vous interdisez le sont sur la plupart des serveurs. /Admin/ et /admin/ sont deux chemins différents. Testez vos règles dans Google Search Console pour vous assurer qu'elles fonctionnent comme prévu.
Dois-je bloquer les pages en double avec le robots.txt ?
Cela dépend. Le robots.txt bloque l'exploration, pas l'indexation. Si vous voulez empêcher l'indexation de pages en double, utilisez plutôt la balise canonical ou la balise meta robots noindex. Utilisez le robots.txt pour bloquer l'exploration de doublons sans importance que vous ne vous souciez pas de voir trouver par Google.
Dois-je prévenir Google quand je modifie le robots.txt ?
Non. Google explore le robots.txt fréquemment. Les changements prennent effet en général en quelques heures. Vous n'avez pas besoin de soumettre à nouveau votre site ni de prévenir qui que ce soit. Mettez simplement à jour le robots.txt et attendez la prochaine exploration.
Quelle est la différence entre le robots.txt et les balises meta robots ?
Le robots.txt bloque l'exploration au niveau du fichier. Les balises meta robots contrôlent l'indexation au niveau de la page. Le robots.txt dit qu'une page ne peut pas être explorée. Les balises meta robots (comme noindex) disent qu'une page peut être explorée mais ne doit pas être indexée. Utilisez le robots.txt pour de grandes sections à bloquer. Utilisez les balises meta robots pour des pages individuelles que vous voulez explorées mais pas indexées.