Votre fichier robots.txt est un fichier texte placé à la racine de votre site. Il indique aux crawlers quelles pages ils peuvent consulter et lesquelles leur sont interdites. Pour les moteurs de recherche classiques, robots.txt est facultatif. Pour les crawlers IA, c'est l'outil principal pour décider si votre contenu est indexé ou bloqué.
La différence compte. Google respecte robots.txt, mais explore aussi des pages que vous bloquez si d'autres sites y font un lien. Les crawlers IA respectent robots.txt plus strictement. Bloquez GPTBot dans votre robots.txt et ChatGPT ne citera pas votre contenu. Autorisez-le et votre contenu devient disponible pour les citations de l'IA. Ce chapitre présente le nom de chaque grand crawler IA, la façon de bloquer des bots précis et la stratégie qui a du sens pour votre marque.
Comment robots.txt fonctionne pour les crawlers IA
Quand un crawler visite votre site, la toute première chose qu'il fait est de chercher un fichier robots.txt. Il le lit ligne par ligne pour trouver les règles qui le concernent. Si votre robots.txt dit « disallow: / », aucun crawler ne peut accéder à aucune page. S'il dit « disallow: /admin/ », les crawlers peuvent tout consulter sauf le dossier admin.
Les crawlers IA suivent ces règles plus systématiquement que Googlebot. Si vous bloquez ClaudeBot dans robots.txt, Claude n'indexera pas votre contenu. Point final. Googlebot peut encore explorer des pages que vous bloquez si le contenu est lié depuis d'autres sites, mais les crawlers IA s'arrêtent à la directive de robots.txt.
Le format est simple. Vous écrivez des règles qui précisent quels user agents (noms de crawlers) sont concernés, puis vous listez ce que ces crawlers peuvent ou non consulter. Le fichier est en texte brut. Pas de balisage. Pas de mise en forme particulière. Juste des règles.
Les grands crawlers IA et le nom de leur user agent
Chaque crawler a un nom de user agent. Quand il visite votre site, il s'identifie par ce nom. Vous utilisez ce nom dans votre fichier robots.txt pour créer des règles propres à ce crawler.
Voici les principaux crawlers IA à connaître :
GPTBot (OpenAI)
GPTBot est le crawler d'OpenAI. Il indexe du contenu pour ChatGPT. Quand un utilisateur active la recherche web dans ChatGPT, le système puise dans les pages que GPTBot a indexées. GPTBot explore intensément, mais respecte les règles de robots.txt.
Pour autoriser GPTBot, ne faites rien. Il explore par défaut. Pour le bloquer, ajoutez ces lignes à votre robots.txt :
User-agent: GPTBot
Disallow: /
Cette règle dit « GPTBot, vous ne pouvez accéder à aucune page de ce site ». Si vous voulez seulement bloquer certaines sections, vous pouvez être plus précis. Bloquer le dossier /admin/ mais autoriser le reste :
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot est le crawler d'Anthropic. Il indexe du contenu pour la recherche web de Claude. ClaudeBot est plus intensif que GPTBot. Il fait plus de requêtes et explore plus souvent. Si vous autorisez ClaudeBot, surveillez les ressources de votre serveur.
ClaudeBot s'identifie avec ce nom de user agent. Utilisez-le dans votre robots.txt de la même façon que pour GPTBot :
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot parcourt le web pour Perplexity. C'est l'un des crawlers les plus fréquents. Il met à jour le contenu plusieurs fois par jour, car Perplexity privilégie la fraîcheur. Si vous bloquez PerplexityBot, votre contenu n'apparaîtra pas dans les réponses de Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Google a deux crawlers. Googlebot explore pour la recherche classique. Googlebot-Extended explore pour les systèmes d'IA de Google comme AI Overviews et Gemini. Vous pouvez bloquer Googlebot-Extended tout en autorisant Googlebot.
User-agent: Googlebot-Extended
Disallow: /
Autres crawlers
D'autres moteurs de recherche ont aussi leurs crawlers. Le principe est le même. Repérez le nom du user agent et créez une règle.
La stratégie : autoriser ou bloquer ?
La plupart des marques devraient autoriser les crawlers IA à accéder à leur contenu. Les citations de l'IA amènent du trafic de qualité. Les utilisateurs qui trouvent votre contenu via ChatGPT ou Perplexity ont déjà jugé votre réponse utile. Ils cliquent et convertissent à des taux plus élevés que les visiteurs de la recherche classique.
Il y a des exceptions. Si vous avez des informations propriétaires, des secrets de fabrication ou un contenu que vous voulez garder exclusif, bloquer les crawlers IA a du sens. Si vous avez un contenu payant, vous pouvez bloquer certains crawlers pour éviter un accès gratuit via les résumés de l'IA. Si vous avez un contenu gênant ou périmé, vous pouvez bloquer les crawlers IA jusqu'à sa mise à jour.
Mais pour la plupart des contenus, le calcul est simple. La visibilité dans l'IA crée plus d'opportunités que de risques. Autorisez les crawlers. Faites-vous citer. Générez du trafic.
Bloquer certains crawlers et en autoriser d'autres
Vous n'avez pas à choisir tout ou rien. Vous pouvez autoriser certains crawlers IA et en bloquer d'autres.
Autoriser Perplexity et GPTBot mais bloquer ClaudeBot parce que sa fréquence d'exploration met votre serveur à rude épreuve :
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Le « Disallow: » vide signifie aucune restriction. Ce crawler peut tout consulter.
Vous pouvez aussi bloquer les crawlers IA sur certaines sections. Autoriser GPTBot partout sauf dans votre panneau d'administration :
User-agent: GPTBot
Disallow: /admin/
L'autoriser à explorer votre blog mais pas vos produits :
User-agent: GPTBot
Disallow: /products/
La règle générique et le comportement par défaut
Vous pouvez créer des règles pour des crawlers précis et une règle par défaut pour tous les autres. L'astérisque (*) est le joker qui s'applique à tous les crawlers non mentionnés explicitement.
Cette règle bloque tous les crawlers sur /private/ mais autorise tout le reste :
User-agent: *
Disallow: /private/
Cette règle interdit à tous les crawlers d'accéder à quoi que ce soit :
User-agent: *
Disallow: /
La directive crawl-delay
Vous pouvez demander aux crawlers de ralentir. La directive Crawl-delay indique à un crawler d'attendre un certain nombre de secondes entre deux requêtes. Si votre serveur peine avec l'exploration intensive de ClaudeBot, vous pouvez lui demander de ralentir :
User-agent: ClaudeBot
Crawl-delay: 5
Cela signifie que ClaudeBot doit attendre 5 secondes entre chaque requête. L'exploration est plus lente, mais la charge du serveur diminue.
Le lien entre robots.txt et votre sitemap
Votre fichier robots.txt peut référencer votre sitemap. Ajoutez cette ligne à la fin de votre fichier robots.txt :
Sitemap: https://yoursite.com/sitemap.xml
Les crawlers consultent votre robots.txt et voient la référence au sitemap. Ils savent où trouver le plan de votre contenu. Cela accélère la découverte. Cela ne change pas ce que les crawlers peuvent consulter. Cela leur indique juste où regarder.
Tester votre robots.txt
Vous pouvez tester votre fichier robots.txt avant de le mettre en ligne. Google Search Console inclut un testeur de robots.txt. Vous saisissez une URL et un nom de user agent, et il vous dit si ce crawler peut accéder à cette page selon les règles de votre robots.txt.
La plupart des plateformes de contenu, dont WEMASY, génèrent un fichier robots.txt automatiquement. Vérifiez les réglages de votre site. Si vous pouvez le modifier, vous pouvez ajouter des règles personnalisées. Sinon, contactez votre hébergeur.
Questions fréquentes
Si je bloque tous les crawlers IA, mon site sera-t-il toujours classé dans Google ?
Oui. Bloquer les crawlers IA (GPTBot, ClaudeBot, etc.) n'affecte pas le classement dans Google. Google utilise Googlebot pour la recherche classique et Googlebot-Extended pour ses fonctions d'IA. Si vous voulez bloquer uniquement les crawlers IA tout en gardant l'accès à Google, bloquez précisément les noms des crawlers IA et laissez Googlebot et Googlebot-Extended débloqués. Avec le créateur de site web de WEMASY, vous pouvez le mettre en place directement sur votre site.
Puis-je bloquer les crawlers d'entraînement de l'IA tout en autorisant les crawlers de recherche IA ?
La frontière entre crawlers d'entraînement et de recherche est floue. La plupart des grandes entreprises d'IA utilisent désormais les mêmes crawlers pour les deux usages. Si vous bloquez complètement un crawler IA, vous bloquez à la fois son accès pour l'entraînement et son accès pour la recherche. Avec robots.txt, vous ne pouvez pas bloquer seulement l'entraînement ou seulement la recherche. Vous bloquez le crawler en entier ou vous l'autorisez.
Que se passe-t-il si je n'ai pas de fichier robots.txt ?
Sans fichier robots.txt, les crawlers supposent qu'ils peuvent tout consulter. Tous les crawlers (Google, GPTBot, ClaudeBot, tous) indexeront l'ensemble de votre site. Pour la plupart des sites, c'est le comportement souhaité. Si vous voulez bloquer des crawlers ou des sections précis, il vous faut un fichier robots.txt.
Les crawlers IA peuvent-ils contourner mon fichier robots.txt ?
En théorie oui, mais ils ne le font pas. Les crawlers IA respectent robots.txt plus strictement que Googlebot. Si vous dites à un crawler IA de rester dehors, il reste dehors. Les développeurs de crawlers savent que ne pas respecter robots.txt abîme leurs relations avec les éditeurs. Ils suivent les règles.
À quelle fréquence dois-je mettre à jour mon fichier robots.txt ?
Vous n'avez à le mettre à jour que si vos règles de blocage changent. Si vous décidez de bloquer un nouveau crawler ou d'ouvrir l'accès à une section bloquée, mettez-le à jour. Sinon, une fois en place, vous pouvez le laisser tel quel. Les crawlers le consultent à chaque visite, donc les changements prennent effet immédiatement.
Dois-je bloquer l'accès des crawlers IA à mon analyse de la concurrence ou à mes recherches privées ?
Oui. Si certaines pages contiennent des recherches propriétaires, une analyse concurrentielle ou un contenu que vous ne voulez pas rendre public, bloquez tous les crawlers sur ces sections. Ajoutez une règle disallow pour ce dossier ou ces pages. Les crawlers ne les indexeront pas, et les systèmes d'IA n'y auront pas accès pour les citer.