Décider si ChatGPT peut trouver et citer votre contenu fait intervenir trois mécanismes distincts : robots.txt, les balises meta et les en-têtes HTTP. La plupart des gens n'en connaissent qu'un. Comprendre les trois vous permet de choisir en connaissance de cause votre stratégie de visibilité.
Il ne s'agit pas seulement de bloquer ou d'autoriser. Il s'agit d'être délibéré. Chaque directive produit un résultat différent. Une mauvaise combinaison peut se retourner contre vous.
Les trois niveaux de contrôle
Vous avez trois moyens de dire aux robots de ChatGPT ce qu'ils peuvent faire de votre contenu.
Niveau 1 : robots.txt
Ce fichier, à la racine de votre domaine, indique aux robots ce qu'ils peuvent ou non consulter sur l'ensemble de votre site ou dans certaines sections. Il contrôle la découverte et l'exploration.
Niveau 2 : les balises meta robots
Ces balises meta HTML, placées sur chaque page, indiquent aux robots quoi faire une fois la page trouvée et lue. Elles contrôlent l'indexation et l'usage de cette page précise.
Niveau 3 : les en-têtes HTTP X-Robots-Tag
Cet en-tête, dans la réponse HTTP de votre serveur, joue le même rôle que les balises meta robots, mais il peut s'appliquer à tout le site ou à certains types de contenu. C'est utile pour les contenus qui ne sont pas du HTML, comme les PDF.
La plupart des gens se concentrent sur robots.txt et oublient les deux autres. Les trois fonctionnent ensemble.
Niveau 1 : comprendre robots.txt et OAI-SearchBot
Votre fichier robots.txt dialogue avec OAI-SearchBot (le robot de recherche de ChatGPT). ChatGPT respecte les directives robots.txt standard.
Pour autoriser OAI-SearchBot à accéder à votre contenu
User-agent: OAI-SearchBot
Allow: /
C'est le comportement par défaut. OAI-SearchBot explorera tout votre site et votre contenu deviendra visible dans la recherche ChatGPT.
Pour bloquer entièrement OAI-SearchBot
User-agent: OAI-SearchBot
Disallow: /
Cela empêche la recherche ChatGPT de trouver votre contenu. Vos pages n'apparaîtront pas dans les réponses de ChatGPT.
Pour autoriser OAI-SearchBot tout en limitant sa cadence d'exploration
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
La directive Crawl-delay demande au robot d'attendre 1 seconde entre deux requêtes. Cela aide à gérer la charge de votre serveur si le robot de ChatGPT le sollicite trop souvent.
Pour bloquer certaines sections
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Cela bloque l'exploration de vos dossiers /admin/ et /private/ tout en autorisant l'accès au reste.
Le principe clé : robots.txt contrôle la découverte et l'exploration. Si vous bloquez un robot ici, il ne peut pas accéder à la page du tout, et ne peut donc lire aucune balise meta de cette page.
Niveau 2 : les balises meta robots, un contrôle après la découverte
Une fois que OAI-SearchBot a exploré votre page (donc qu'elle n'était pas bloquée dans robots.txt), les balises meta robots lui disent quoi faire du contenu.
La structure de la balise meta robots
<meta name="robots" content="directive1, directive2">
Les directives clés pour les robots d'IA
noindex : n'indexez pas cette page et ne l'incluez pas dans les résumés. Le robot voit la page mais ne l'utilise pas.
nofollow : ne suivez pas les liens de cette page. Le robot peut voir la page mais n'explorera pas les liens qu'elle contient.
noai : n'utilisez pas ce contenu pour entraîner des modèles d'IA. La page peut apparaître dans les résultats de recherche, mais OpenAI ne peut pas s'en servir pour entraîner ses modèles de langage.
noimageai : n'utilisez pas les images de cette page pour entraîner des modèles de génération d'images.
Exemple
<meta name="robots" content="noindex">
Cela dit à tous les robots (Google, Bing, ChatGPT, etc.) de ne pas indexer cette page. ChatGPT ne la citera pas, Google ne l'affichera pas et Bing ne l'inclura pas.
Spécifique à OAI-SearchBot
<meta name="robots" content="noai">
Cela dit spécifiquement à OAI-SearchBot de ne pas utiliser le contenu pour l'entraînement. La page peut toujours être citée dans les résultats de la recherche ChatGPT, mais OpenAI ne peut pas s'en servir pour entraîner ses modèles.
Règle essentielle : ne combinez pas robots.txt et noindex
C'est la règle technique la plus importante. Ne faites jamais ceci :
User-agent: OAI-SearchBot
Disallow: /article/
Et ne placez pas en plus ceci sur la page de l'article :
<meta name="robots" content="noindex">
Pourquoi : si vous bloquez OAI-SearchBot via robots.txt pour /article/, le robot ne récupère jamais cette page. Il ne lit jamais la balise meta. La directive noindex n'a aucun effet, car le robot ne la voit pas. De plus, si votre page reçoit des liens de sites externes, certains robots peuvent l'indexer quand même, parce qu'ils l'ont découverte par ces liens, même si votre fichier robots.txt disait non.
La règle : utilisez robots.txt OU les balises meta, pas les deux pour la même directive.
Bonne pratique : utilisez robots.txt pour contrôler l'exploration à l'échelle du site (autoriser ou interdire des sections entières). Utilisez les balises meta pour le contrôle page par page (les pages individuelles qui ont des règles particulières).
Niveau 3 : les en-têtes HTTP X-Robots-Tag
Si vous voulez contrôler le comportement des robots pour des contenus qui ne sont pas du HTML (PDF, images, etc.), ou appliquer des règles à plusieurs pages sans modifier chacune d'elles, utilisez l'en-tête HTTP X-Robots-Tag.
Exemple :
X-Robots-Tag: noindex, nofollow
Il s'applique au niveau du serveur et dit à tous les robots de ne pas indexer et de ne pas suivre les liens de toute page servie avec cet en-tête.
Vous pouvez l'appliquer de façon ciblée :
X-Robots-Tag: OAI-SearchBot: noai
Cela dit uniquement à OAI-SearchBot de ne pas utiliser votre contenu pour l'entraînement, tout en l'autorisant dans la recherche.
Les choix stratégiques : que voulez-vous vraiment ?
Votre choix dépend de votre objectif.
Objectif 1 : obtenir un maximum de citations dans ChatGPT
Autorisez dans robots.txt, aucune balise meta noindex. Laissez OAI-SearchBot vous trouver et vous citer.
User-agent: OAI-SearchBot
Allow: /
Aucune balise meta restrictive.
Objectif 2 : apparaître dans la recherche ChatGPT sans servir à l'entraînement du modèle
Autorisez dans robots.txt, utilisez la balise meta noai.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Objectif 3 : se cacher de ChatGPT mais rester visible dans les autres moteurs de recherche
Bloquez OAI-SearchBot, autorisez les autres.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Objectif 4 : se cacher de tous les robots d'IA
Bloquez plusieurs robots.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Le problème du respect des règles : tous les robots d'IA ne les suivent pas
Voici une vérité qui dérange : les robots d'IA ne respectent pas tous les règles au même degré.
Les tests montrent que ChatGPT respecte robots.txt et certaines balises meta. Perplexity respecte les deux de façon constante. D'autres systèmes d'IA sont plus ou moins fiables. Certains anciens robots de collecte ne respectent pas du tout robots.txt.
Vous pouvez contrôler efficacement les robots d'OpenAI. Vous ne pouvez pas contrôler entièrement tous les systèmes d'IA qui pourraient collecter votre contenu.
Comment WEMASY vous aide à gérer l'accès des robots
Le créateur de site web de WEMASY comprend un éditeur robots.txt qui vous permet de régler les autorisations d'OAI-SearchBot sans modifier de fichiers bruts. Vous pouvez ajouter des balises meta robots à chaque page depuis le panneau des réglages SEO. Le créateur préconfigure les bonnes pratiques : il autorise OAI-SearchBot pour la visibilité dans la recherche, et vous laisse ajouter noai si vous ne voulez pas d'entraînement de modèle. Consultez les journaux d'exploration pour voir quels robots accèdent à votre site et ajustez les autorisations en conséquence. Découvrez les outils de gestion des robots de WEMASY.
Questions fréquentes
Si je bloque OAI-SearchBot dans robots.txt, mon contenu peut-il quand même apparaître dans ChatGPT via des liens ?
C'est peu probable. OAI-SearchBot est le principal robot de recherche de ChatGPT. S'il est bloqué, vous n'avez aucune présence dans la recherche ChatGPT. Toutefois, si un autre système renvoie vers votre contenu, un autre robot pourrait le récupérer. C'est imprévisible. Avec le créateur de site web de WEMASY, vous pouvez le configurer directement sur votre site.
Que fait réellement la balise meta noai ?
Elle dit à OpenAI de ne pas utiliser votre contenu pour entraîner ses modèles de langage. Votre contenu peut toujours apparaître dans les résultats de la recherche ChatGPT, avec des citations. Sans cette balise, OpenAI peut utiliser votre contenu pour entraîner ChatGPT et d'autres modèles.
Dois-je utiliser noindex si je ne veux pas apparaître dans ChatGPT ?
Oui, mais comprenez bien ce que cela fait : noindex dit à tous les robots (Google, Bing, ChatGPT, etc.) de ne pas indexer la page. Utilisez-le si vous voulez disparaître de tous les résultats de recherche. Si vous voulez vous cacher uniquement de ChatGPT tout en restant visible sur Google, n'utilisez pas noindex. Bloquez plutôt OAI-SearchBot dans robots.txt.
Combien de temps faut-il pour que les changements de robots.txt ou des balises meta soient pris en compte ?
Les changements de robots.txt sont en général pris en compte en 24 heures. Ceux des balises meta le sont à la prochaine visite du robot sur la page. Pour tester tout de suite, vous pouvez utiliser l'outil de test des robots d'OpenAI ou les outils pour webmasters de Bing.
Puis-je bloquer tous les robots d'IA tout en autorisant Google ?
Oui. Dans votre fichier robots.txt, interdisez GPTBot, OAI-SearchBot, ChatGPT-User et les autres robots d'IA, tout en autorisant Googlebot et Bingbot. Cela n'empêche pas, en revanche, les systèmes d'IA qui ne respectent pas robots.txt d'accéder à votre contenu.
Que se passe-t-il si X-Robots-Tag et robots.txt se contredisent ?
robots.txt est évalué en premier. Si robots.txt bloque un robot, celui-ci ne récupère pas la page, donc il ne voit jamais X-Robots-Tag. Si robots.txt l'autorise, les directives X-Robots-Tag s'appliquent. Veillez à ce qu'elles soient cohérentes.