llms.txt

TL;DR — llms.txt est un standard émergent (llmstxt.org, 2024) analogue à robots.txt mais spécifiquement pour les crawlers IA. Il fournit un résumé de votre site formaté en Markdown, adapté aux LLM. Perplexity le supporte déjà. C'est une implémentation de 30 minutes avec un bénéfice de découvrabilité IA à long terme.

Pourquoi llms.txt est important pour les moteurs IA

La spécification llms.txt (introduite sur llmstxt.org en 2024) aborde un problème fondamental : les moteurs IA qui crawlent le web pour répondre aux requêtes reçoivent tout le contenu de manière égale, sans savoir quelles pages sont les plus importantes ou autorisées pour un site donné. Le fichier llms.txt résout cela en fournissant un index curé, lisible par LLM, du contenu le plus important de votre site.

Contrairement à robots.txt, qui dit aux crawlers ce à quoi ne pas accéder, llms.txt dit aux moteurs IA ce qui est le plus important et comment comprendre votre site. C'est un résumé structuré en format Markdown — nom du site, description, et une liste des pages clés avec de brèves descriptions.

La spec définit également llms-full.txt — un fichier compagnon contenant le contenu complet de vos pages clés dans un seul document consommable par LLM. C'est particulièrement précieux pour les moteurs IA qui construisent des graphes de connaissance des sites : plutôt que de crawler 500 pages, ils peuvent lire un seul fichier contenant tout ce qui est important.

Perplexity a annoncé le support de llms.txt début 2025. À mesure que la spec gagne en adoption, les moteurs IA qui la supportent auront une compréhension plus précise et curée de votre site comparé aux moteurs IA qui doivent inférer la structure par crawling.

Comment implémenter

Créez /llms.txt à la racine de votre site, accessible à https://votredomaine.com/llms.txt :

# Nom de Votre Entreprise

> Un paragraphe de description de votre site : ce qu'il fait, pour qui il est, et ce qui le rend autoritaire.

## Pages clés

- [Accueil](https://votredomaine.com/): Page principale — aperçu de ce que nous faisons
- [Produit](https://votredomaine.com/product): Description et fonctionnalités du produit
- [Blog](https://votredomaine.com/blog): Articles et guides sur [votre sujet]
- [À propos](https://votredomaine.com/about): Équipe, mission et contexte de l'entreprise

Créez optionnellement /llms-full.txt avec le contenu textuel complet de vos pages les plus importantes.

Erreurs courantes

• Utiliser du HTML au lieu de Markdown — la spec exige explicitement du Markdown simple ; les balises HTML perturberont les analyseurs LLM
• Ne pas mettre à jour quand des pages importantes sont ajoutées — llms.txt doit refléter la structure actuelle de votre site ; traitez-le comme un sitemap
• Inclure des pages que vous ne voulez pas que les crawlers IA utilisent — llms.txt est un outil de curation positive ; n'incluez que les pages que vous voulez activement que les moteurs IA lisent et citent

Sources

• Spécification llmstxt.org
• Politique de crawling Anthropic
• Documentation OpenAI GPTBot