Parler à l’agence03 84 69 46 68Audit gratuit

IA & GEO · Guide pratique

OAI-SearchBot ou GPTBot : quel accès autoriser sur votre site ?

Distinguez la recherche ChatGPT de l’entraînement des modèles. Vérifiez robots.txt et les blocages techniques sans promettre de citation.

Une entreprise peut souhaiter que ses pages soient trouvées dans la recherche ChatGPT tout en exprimant un refus de leur utilisation pour l’entraînement des modèles OpenAI. La documentation distingue ces deux usages. Avant de modifier votre site, identifiez donc votre objectif plutôt que de bloquer tous les robots contenant « GPT » dans leur nom.

Trois agents, trois rôles

OAI-SearchBot sert à faire apparaître des sites dans les fonctionnalités de recherche de ChatGPT. GPTBot explore des contenus susceptibles d’être utilisés pour entraîner les modèles fondamentaux génératifs d’OpenAI. Leurs réglages sont indépendants.

ChatGPT-User correspond à certaines visites déclenchées par un utilisateur. Ce n’est pas le robot d’exploration automatique destiné à la recherche. OpenAI précise que les règles robots.txt peuvent ne pas s’appliquer à ces actions.

Un site qui refuse OAI-SearchBot peut encore apparaître sous forme de lien de navigation. Il ne faut donc pas présenter ce réglage comme un mécanisme de disparition absolue de ChatGPT. Source : documentation officielle des robots OpenAI.

Décidez d’abord ce qui doit être public

Notre recommandation : séparez les pages commerciales publiques des documents réservés. Les prestations, coordonnées professionnelles et réalisations autorisées peuvent être destinées à la découverte. Les devis nominatifs, espaces clients et documents internes doivent être protégés par des contrôles d’accès adaptés.

Un fichier robots.txt est un ensemble de consignes d’exploration, pas une serrure. Google rappelle notamment qu’une URL bloquée à l’exploration peut encore être indexée sans son contenu. Les documents confidentiels nécessitent une véritable restriction d’accès. Source : Google, présentation de robots.txt.

Un exemple à adapter, pas un fichier à remplacer

Exemple pédagogique pour autoriser la recherche OpenAI tout en refusant GPTBot :

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Ce fragment ne doit pas écraser le fichier existant. Il faut conserver les restrictions nécessaires, les autres groupes de robots et les éventuelles déclarations de sitemap. L’autorisation générale montrée ici ne convient pas à tous les sites : faites examiner les chemins exclus avant de l’intégrer.

Ce choix n’accorde aucune garantie de visibilité. Il ne vaut pas non plus règlement général de toutes les questions de droits sur les contenus. Conservez une trace de la décision du responsable du site et de sa date.

Vérifiez aussi l’hébergement et les protections

Un robots.txt favorable ne suffit pas si un pare-feu renvoie une page de blocage. Demandez au prestataire de vérifier :

  • que le fichier est accessible sur le bon domaine ;
  • que les pages publiques répondent normalement ;
  • que les protections anti-robots n’imposent pas systématiquement un défi ;
  • que les accès sont contrôlés à partir des informations officielles, et pas seulement d’un nom d’agent facile à imiter ;
  • que les zones privées restent protégées après modification.

OpenAI publie les plages IP de ses robots dans sa documentation. Utilisez ces références actuelles plutôt qu’une liste copiée dans un ancien tutoriel. Source : robots et plages IP OpenAI.

Comment savoir si le réglage fonctionne ?

Procédez en deux temps. Vérifiez techniquement la réponse du site et les journaux d’accès. Observez ensuite les visites référentes et leur qualité, lorsque votre mesure permet de les distinguer. Une visite de robot n’est ni une citation ni un prospect. L’absence de visite immédiatement après un changement ne suffit pas à prouver une erreur.

Dans votre registre de contrôle, notez l’URL testée, la règle appliquée, le résultat et les blocages éventuels. Cette base est plus utile qu’une recherche ponctuelle dans ChatGPT, dont les réponses peuvent varier.

Pour compléter la démarche éditoriale, lisez être cité par ChatGPT ou Perplexity : ce qui est contrôlable.

La prochaine action : faire relire le fichier actuel et les règles du pare-feu avant toute modification. Aucun changement d’accès ne doit être effectué uniquement pour « plaire à l’IA » sans décision du responsable du site.

Parlons de votre visibilité

Faisons le point sur votre visibilité locale

Choisissez un créneau pour échanger avec StrategiWeb sur votre présence sur Google et dans les réponses des IA.

WhatsApp