GPTBot, OAI-SearchBot, ClaudeBot : gérer les crawlers IA dans son robots.txt
Chaque grand acteur de l'IA opère plusieurs robots d'exploration aux fonctions distinctes : collecter des données d'entraînement, alimenter la recherche en temps réel, ou visiter une page à la demande d'un utilisateur. Confondre ces fonctions mène aux deux erreurs symétriques qui coûtent le plus cher : bloquer sa propre visibilité sans le vouloir, ou nourrir l'entraînement des modèles sans l'avoir décidé. Voici la cartographie complète et les configurations selon votre stratégie.
La distinction qui change tout : entraînement vs recherche vs action utilisateur
| Fonction | Ce que fait le robot | Impact de le bloquer |
|---|---|---|
| Entraînement | Collecte du contenu pour les futurs modèles | Votre marque s'ancre moins dans la « mémoire » des IA de demain |
| Recherche | Indexe pour les réponses en temps réel avec citations | Vous disparaissez des réponses sourcées — perte de visibilité directe |
| Action utilisateur | Visite une page quand un utilisateur le demande | L'utilisateur ne peut pas faire lire votre page à son assistant |
La cartographie des principaux crawlers IA
| Robot | Éditeur | Fonction |
|---|---|---|
| GPTBot | OpenAI | Entraînement des modèles |
| OAI-SearchBot | OpenAI | ChatGPT Search (réponses sourcées en temps réel) |
| ChatGPT-User | OpenAI | Visite à la demande d'un utilisateur |
| Google-Extended | Contrôle l'usage pour l'entraînement Gemini — n'affecte ni l'indexation classique ni l'affichage dans la recherche | |
| Googlebot | Indexation classique — dont dépendent aussi les AI Overviews | |
| ClaudeBot | Anthropic | Collecte pour Claude |
| Claude-User / Claude-SearchBot | Anthropic | Action utilisateur / recherche |
| PerplexityBot | Perplexity | Index du moteur de réponses |
| Perplexity-User | Perplexity | Visite à la demande d'un utilisateur |
| Bingbot | Microsoft | Index Bing — qui alimente aussi Copilot |
Point de vigilance : cette liste évolue en permanence. Les éditeurs documentent leurs user-agents et leurs plages d'IP sur leurs pages officielles — vérifiez-les avant toute décision définitive, et méfiez-vous des robots qui usurpent ces noms (la vérification par IP fait foi).
Trois configurations types selon votre stratégie
Configuration « visibilité maximale » (la bonne par défaut pour la plupart des entreprises)
Vous voulez être trouvé, cité et recommandé — le pari de la stratégie GEO :
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /(Google-Extended autorisé par défaut en n'ajoutant aucune règle le concernant.)
Configuration « visibilité oui, entraînement non »
Le compromis fréquent chez les éditeurs de contenus : rester présent dans les réponses sourcées (qui citent et renvoient), sans alimenter les futurs modèles :
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /À savoir avant de choisir cette voie : bloquer l'entraînement aujourd'hui, c'est réduire la connaissance que les modèles de demain auront de votre marque. Pour un média vivant de son contenu, le calcul se défend ; pour une entreprise qui veut être recommandée, il joue contre vous.
Configuration « fermeture »
Tout bloquer se conçoit pour des contenus strictement propriétaires — en sachant que le robots.txt est une convention respectée par les acteurs sérieux, pas une barrière technique. Pour une protection réelle, ajoutez des règles serveur (WAF) sur les user-agents et IP officiels.
Les 4 vérifications indispensables (là où tout le monde se trompe)
- Vérifiez les blocages involontaires. C'est le problème n°1 constaté sur le terrain : pare-feu, CDN, règles anti-bot ou protections anti-scraping bloquent les crawlers IA sans que personne ne l'ait décidé. Le site « existe », mais les IA ne le lisent pas.
- Lisez vos logs serveur. La preuve n'est pas dans le robots.txt mais dans les passages effectifs : filtrez vos logs sur les user-agents ci-dessus et vérifiez fréquence et codes de réponse.
- Testez le rendu. Un crawler autorisé qui ne reçoit qu'une coquille JavaScript vide n'emporte rien : vos contenus clés doivent être lisibles dans le HTML initial.
- Alignez robots.txt et stratégie. Le paradoxe classique : investir dans le GEO tout en bloquant GPTBot depuis deux ans par une règle héritée. Un audit de visibilité détecte cette incohérence en 30 secondes.
FAQ — Crawlers IA et robots.txt
Faut-il bloquer GPTBot ?
Cela dépend de ce que vous vendez. Si votre valeur est le contenu lui-même (média, éditeur), le blocage de l'entraînement est un choix défendable de protection. Si votre valeur est votre offre et que vous voulez être recommandé par les IA, bloquer GPTBot revient à effacer votre marque des modèles de demain.
Bloquer Google-Extended fait-il disparaître mes AI Overviews ?
Non. Google-Extended concerne l'entraînement des modèles ; les AI Overviews s'appuient sur l'indexation classique par Googlebot. Ce sont deux circuits distincts — et c'est la confusion la plus répandue du sujet.
Le fichier llms.txt remplace-t-il ces règles ?
Non : le robots.txt gère les autorisations d'accès, le llms.txt donne du contexte sur vos contenus. Ils se complètent — et le second n'a aucun pouvoir de blocage.
Comment savoir si les IA lisent réellement mon site ?
Deux preuves : vos logs serveur (passages effectifs des user-agents) et le test d'usage — demandez à ChatGPT Search ou Perplexity d'analyser une de vos pages. Notre check de visibilité IA vérifie l'accessibilité de votre site aux principaux crawlers.
Votre robots.txt travaille-t-il pour ou contre votre visibilité IA ? La réponse en 30 secondes, avec le reste de vos signaux : check de visibilité IA gratuit.