[{"data":1,"prerenderedAt":231},["ShallowReactive",2],{"learn-geo-/learn/geo/ai-bot-access-fr":3},{"id":4,"title":5,"body":6,"description":189,"extension":190,"meta":191,"navigation":224,"path":225,"seo":226,"stem":229,"__hash__":230},"content_fr/5.learn/geo/ai-bot-access.md","Accès aux bots IA via robots.txt",{"type":7,"value":8,"toc":182},"minimark",[9,22,27,33,42,45,85,89,100,110,113,117,153,157],[10,11,12,16,17,21],"p",{},[13,14,15],"strong",{},"TL;DR"," — Une page bloquée dans ",[18,19,20],"code",{},"robots.txt"," ne peut jamais être citée par les moteurs IA, peu importe la qualité du contenu. Plusieurs grands sites ont bloqué les bots IA par réaction en 2023–24 sans réaliser la conséquence : ils sont devenus invisibles aux réponses générées par IA.",[23,24,26],"h2",{"id":25},"pourquoi-laccès-aux-bots-ia-est-important","Pourquoi l'accès aux bots IA est important",[10,28,29,30,32],{},"Une page bloquée dans ",[18,31,20],{}," pour les crawlers IA ne peut pas être citée dans les réponses générées par IA — point final. Aucun balisage schema, aucun bloc FAQ ni aucune référence autoritaire n'aidera si le crawler ne peut pas accéder à la page en premier lieu. L'accès aux bots est la condition zéro dont tous les autres signaux GEO dépendent.",[10,34,35,36,38,39,41],{},"En 2023–24, de nombreux éditeurs et sites web ont ajouté des blocages spécifiques aux IA dans leur ",[18,37,20],{}," par réaction — souvent en réponse à des préoccupations concernant l'utilisation des données d'entraînement. La conséquence, que beaucoup n'ont pas anticipée, a été une exclusion immédiate des pools de citation des moteurs IA. Perplexity, le mode de navigation de ChatGPT et les Google AI Overviews respectent tous les directives ",[18,40,20],{}," et ne citeront pas les pages qui interdisent leurs crawlers.",[10,43,44],{},"Les principaux agents utilisateurs de crawlers IA à connaître :",[46,47,48,55,61,67,73,79],"ul",{},[49,50,51,54],"li",{},[18,52,53],{},"GPTBot"," — crawler d'OpenAI (utilisé pour l'entraînement et la navigation en temps réel)",[49,56,57,60],{},[18,58,59],{},"ClaudeBot"," — crawler d'Anthropic",[49,62,63,66],{},[18,64,65],{},"anthropic-ai"," — agent utilisateur alternatif d'Anthropic",[49,68,69,72],{},[18,70,71],{},"PerplexityBot"," — crawler de Perplexity",[49,74,75,78],{},[18,76,77],{},"Amazonbot"," — crawler d'Amazon (Alexa/Rufus)",[49,80,81,84],{},[18,82,83],{},"Google-Extended"," — crawler de Google pour les données d'entraînement de Gemini et AI Overviews",[23,86,88],{"id":87},"comment-implémenter","Comment implémenter",[10,90,91,92,95,96,99],{},"Vérifiez votre ",[18,93,94],{},"/robots.txt"," pour toute règle ",[18,97,98],{},"Disallow"," ciblant ces agents. Pour autoriser explicitement les crawlers IA :",[101,102,107],"pre",{"className":103,"code":105,"language":106},[104],"language-text","User-agent: GPTBot\nAllow: /\n\nUser-agent: ClaudeBot\nAllow: /\n\nUser-agent: anthropic-ai\nAllow: /\n\nUser-agent: PerplexityBot\nAllow: /\n\nUser-agent: Amazonbot\nAllow: /\n\nUser-agent: Google-Extended\nAllow: /\n","text",[18,108,105],{"__ignoreMap":109},"",[10,111,112],{},"Si vous voulez autoriser le crawling mais vous désinscrire de l'utilisation des données d'entraînement, consultez le mécanisme de désinscription spécifique de chaque fournisseur.",[23,114,116],{"id":115},"erreurs-courantes","Erreurs courantes",[46,118,119,135,144],{},[49,120,121,127,128,131,132,134],{},[13,122,123,126],{},[18,124,125],{},"Disallow: /"," général appliqué à tous les bots"," — un blocage générique (",[18,129,130],{},"User-agent: *"," avec ",[18,133,125],{},") bloque les crawlers IA avec tous les autres bots",[49,136,137,140,141,143],{},[13,138,139],{},"Blocage au niveau CDN/WAF"," — Cloudflare et AWS WAF peuvent bloquer les crawlers IA indépendamment de ",[18,142,20],{}," ; vérifiez vos règles de pare-feu",[49,145,146,152],{},[13,147,148,149],{},"Vérifier uniquement ",[18,150,151],{},"Googlebot"," — vérifier l'accès Googlebot ne signifie pas que les crawlers spécifiques aux IA sont autorisés ; vérifiez chaque agent séparément",[23,154,156],{"id":155},"sources","Sources",[46,158,159,168,175],{},[49,160,161],{},[162,163,167],"a",{"href":164,"rel":165},"https://platform.openai.com/docs/gptbot",[166],"nofollow","Documentation OpenAI GPTBot",[49,169,170],{},[162,171,174],{"href":172,"rel":173},"https://www.anthropic.com/research/crawling-policy",[166],"Politique de crawling Anthropic",[49,176,177],{},[162,178,181],{"href":179,"rel":180},"https://developers.google.com/search/docs/crawling-indexing/robots/intro",[166],"Spécification robots.txt Google",{"title":109,"searchDepth":183,"depth":183,"links":184},2,[185,186,187,188],{"id":25,"depth":183,"text":26},{"id":87,"depth":183,"text":88},{"id":115,"depth":183,"text":116},{"id":155,"depth":183,"text":156},"Autoriser les crawlers IA (GPTBot, ClaudeBot, PerplexityBot) à indexer et citer votre contenu.","md",{"publishedAt":192,"badge":193,"type":195,"faq":196,"related":206,"cta":219},"2026-03-31",{"label":194},"Authority","guide",[197,200,203],{"question":198,"answer":199},"Si je bloque les bots IA pour les données d'entraînement, citeront-ils quand même mes pages ?","Cela dépend du crawler. Le GPTBot d'OpenAI est utilisé à la fois pour l'entraînement ET la navigation en temps réel dans ChatGPT. Bloquer GPTBot empêche les deux. Certains fournisseurs séparent les crawlers d'entraînement des crawlers d'inférence — consultez la documentation de chaque fournisseur pour leurs chemins de désactivation spécifiques.",{"question":201,"answer":202},"Comment vérifier quels bots sont actuellement bloqués sur mon site ?","Accédez à votre robots.txt directement à votresite.com/robots.txt. Recherchez les règles Disallow sur User-agent: * (qui s'applique à tous les bots) et sur les agents spécifiques aux crawlers IA. Vérifiez aussi les paramètres de votre CDN/WAF — le Bot Fight Mode de Cloudflare et des outils similaires peuvent bloquer les crawlers IA au niveau réseau.",{"question":204,"answer":205},"Dois-je autoriser tous les crawlers IA ou seulement des spécifiques ?","Autorisez tous les principaux crawlers IA sauf si vous avez une raison spécifique d'en bloquer un particulier. Le blocage sélectif (ex : autoriser Perplexity mais bloquer GPTBot) est possible mais complexe à maintenir à mesure que de nouveaux moteurs IA émergent. La recommandation par défaut est de tout autoriser et de surveiller séparément les utilisations abusives du contenu.",[207,211,215],{"title":208,"url":209,"description":210},"llms.txt","/learn/geo/llms-txt","Le fichier complémentaire à robots.txt qui dit aux moteurs IA de quoi parle votre site.",{"title":212,"url":213,"description":214},"Fraîcheur du contenu","/learn/geo/content-freshness","Après avoir activé l'accès des bots IA, les signaux de fraîcheur déterminent la priorité de citation.",{"title":216,"url":217,"description":218},"Balisage Schema pour les moteurs IA","/learn/geo/schema-markup","Les données structurées que les crawlers IA lisent une fois qu'ils ont accès à vos pages.",{"title":220,"description":221,"label":222,"url":223},"Les crawlers IA sont-ils bloqués sur votre site ?","TrustData vérifie votre robots.txt et la configuration de votre CDN pour les blocages de crawlers IA qui rendent votre contenu invisible.","Auditer mes pages","https://app.trustdata.tech",true,"/learn/geo/ai-bot-access",{"title":227,"description":228},"Accès aux bots IA via robots.txt — Guide d'optimisation GEO","Une page bloquée dans robots.txt ne peut jamais être citée par les moteurs IA. GPTBot, ClaudeBot et PerplexityBot respectent tous robots.txt. Vérifiez que votre site n'est pas accidentellement invisible.","5.learn/geo/ai-bot-access","jQsNPFzL3xP1uOP3dZsaRAuGqdVxZ0iYWzLNk_-dNTI",1777026677314]