À retenir
Quand une citation arrive sans crawl correspondant, elle vient des données d'entraînement, pas de la récupération. Réécrire la page n'y changera rien. Bloquer l'entraînement en autorisant la récupération est une position cohérente ; tout bloquer avec un wildcard hérité est ce qui arrive le plus souvent.
La détection se fait server-side dans la couche de tracking first-party, donc c'est du trafic observé et non une estimation tierce.
Nommez le moteur derrière chaque visite. Chaque user-agent de crawler IA connu est rattaché à ce qu'il alimente, OpenAI, Claude, Gemini, Perplexity, Mistral, DeepSeek, Meta AI et les autres, et une visite non attribuable est étiquetée non taggée plutôt que discrètement écartée.
Décidez ce que vous bloquez à dessein plutôt que par accident. Chaque bot porte une finalité, corpus d'entraînement, index de recherche, récupération à la demande ou mixte, et bloquer l'entraînement en autorisant la récupération est une stratégie cohérente que presque personne ne fait tourner.
Voyez quelles pages stratégiques votre propre robots.txt refuse. La moitié ou plus bloquant les bots IA plafonne l'échelon Get Found à faible quel que soit le crawl du reste du site, parce qu'une page bloquée ne peut pas être citée.
Cessez de deviner combien de temps attendre. Par page et par moteur, vous obtenez l'écart entre premier crawl et première citation sur 90 jours, donc vous savez si un changement de publication a eu le temps d'atterrir.
Les enregistrements de crawl et de citation sont joints en full outer join, pour que les cas où un côté manque survivent au lieu de disparaître. Chacun est un problème différent.
Les deux côtés sont présents, donc la latence entre eux est mesurable. C'est le cas nominal, et la distribution de cette latence par moteur vous dit à quelle vitesse votre catégorie bouge.
Le moteur a récupéré la page et ne l'a pas citée en 90 jours. La récupération n'est pas le problème. C'est un problème d'extractibilité ou d'autorité, donc les échelons 3 et 4, et l'audit de page est l'étape suivante.
Le moteur cite la page sans l'avoir jamais récupérée dans votre historique. Cela signifie en général que la citation vient des données d'entraînement plutôt que d'une récupération en direct, ce qui est un actif très différent : il ne se met pas à jour quand vous éditez la page.
Moins de 14 jours depuis le premier événement, donc aucune conclusion n'est tirée. La ligne affiche historique insuffisant plutôt qu'un zéro, parce qu'une page crawlée hier n'a pas échoué à être citée.
Première vue, dernière vue et nombre de visites par bot et par page sur 90 jours, pour qu'un crawler qui a cessé de venir apparaisse comme un changement plutôt qu'une absence à remarquer.
Volume de crawl par moteur dans le temps, pour voir un moteur devenir silencieux pendant que les autres tiennent, ce qui relève en général d'un robots ou d'une limite de débit plutôt que du contenu.
Les données de crawl ne servent que si elles changent une décision. Voici les trois qu'elles changent le plus souvent.
Transformez le débat robots en liste. La plupart des blocages de bots IA sont hérités plutôt que choisis, un wildcard écrit pour les scrapers ou un défaut de plugin, et voir quels bots nommés sont refusés sur quelles pages met fin à la discussion.
Sachez laquelle de trois semaines de travail différentes vous vivez. Crawlé mais non cité est un problème de contenu, jamais crawlé un problème d'accès, et cité sans trace de crawl un actif d'entraînement dans lequel vous ne pouvez ni entrer ni sortir en éditant.
Sachez quand un changement a vraiment échoué. La latence crawl-vers-citation observée sur vos propres pages et moteurs vous dit combien de temps l'absence doit durer avant de signifier quelque chose, mesurée et non supposée.
La plupart des équipes lisent les logs à la main ou supposent que tout va bien.
Visites de crawlers IA identifiées server-side
TrustData
GA4
Autres outils
Outils de logs, non classésBot rattaché au moteur qu'il alimente
TrustData
GA4
Autres outils
Entraînement contre récupération contre à la demande
TrustData
GA4
Autres outils
robots.txt confronté à vos pages stratégiques
TrustData
GA4
Autres outils
ManuelLatence crawl vers citation
TrustData
GA4
Autres outils
| Fonctionnalité | TrustData | Google Analytics 4 | Autres outils |
|---|---|---|---|
| Visites de crawlers IA identifiées server-side | Outils de logs, non classés | ||
| Bot rattaché au moteur qu'il alimente | |||
| Entraînement contre récupération contre à la demande | |||
| robots.txt confronté à vos pages stratégiques | Manuel | ||
| Latence crawl vers citation |
Questions fréquentes
La détection se fait server-side dans la couche de tracking first-party, qui inspecte le user-agent de chaque requête avant toute exécution JavaScript. Les crawlers IA n'exécutent pas de JavaScript, donc un outil d'analytics client-side ne peut pas les voir du tout. C'est pourquoi l'activité des crawlers est absente de la plupart des dashboards plutôt qu'affichée à zéro : la mesure n'a jamais eu lieu.
Parce que les décisions sont différentes. Un crawler d'entraînement construit un corpus qui sera figé dans un modèle futur. Un crawler d'index maintient un index qui répond aux questions aujourd'hui. Une récupération à la demande a lieu parce qu'un utilisateur vient de demander quelque chose et que le moteur est allé lire votre page pour cette réponse. Bloquer l'entraînement en laissant passer la récupération est une position défendable sur vos droits de contenu. Bloquer les trois parce qu'une règle wildcard les a attrapés est ce qui arrive d'ordinaire, et cela vous coûte des citations sans décision réfléchie.
En général que la citation vient des données d'entraînement du modèle plutôt que d'une récupération en direct. C'est utile à savoir parce que le comportement diffère : éditer la page ne changera pas ce que dit le modèle, et la citation peut disparaître lors d'un rafraîchissement de modèle que vous ne contrôlez pas. C'est aussi pourquoi les sondes tournent dans deux modes, avec et sans recherche web. Une marque forte sans recherche et faible avec existe dans le modèle mais n'est pas récupérée ; l'inverse signifie le contraire.
Les événements de crawl et les enregistrements de citation sont joints par page et par moteur sur 90 jours d'historique, en full outer join pour conserver les pages où un seul côté existe au lieu de les écarter. Quand les deux côtés existent, l'écart entre le premier crawl et la première citation est la latence. Quand un seul existe, la ligne est classée : crawlée mais non citée, ou citée sans trace de crawl. En dessous de 14 jours depuis le premier événement, rien n'est conclu et la ligne affiche historique insuffisant.
Côté récupération, directement et totalement : un moteur qui ne peut pas récupérer une page ne peut pas la citer, ce qui explique que l'échelon Get Found plafonne à faible quand la moitié ou plus de vos pages stratégiques auditées bloquent les bots IA. Côté entraînement, c'est un véritable arbitrage plutôt qu'une erreur, et certaines marques le font délibérément. Le rôle de TrustData est de s'assurer que c'en est un. Le cas courant que nous voyons n'est ni l'un ni l'autre : une règle écrite il y a des années pour un autre problème, qui refuse encore discrètement les crawlers qui comptent maintenant.
Essai gratuit 14 jours
Essai gratuit 14 jours. Le suivi des crawlers fait partie de la Visibilité IA, incluse dans chaque formule.