SEO
robots.txt
Aussi : robots txt
En clair
Le fichier robots.txt est une consigne à l’entrée du site : « robots, vous pouvez aller ici, pas là ». Il oriente le crawl (exploration), il ne verrouille pas l’accès comme un mot de passe. Une URL interdite au crawl peut quand même être découverte autrement ; ce n’est pas un coffre-fort. Mal configuré, il peut bloquer tout un site aux moteurs.
Concrètement
Disallow: /wp-admin/ évite que Googlebot perde du temps dans le tableau de bord, sans protéger vraiment les fichiers sensibles.
Pourquoi ça compte
On l’utilise pour épargner le crawl sur des zones inutiles (admin, filtres infinis), pas pour cacher des secrets. Confondre robots.txt et sécurité expose des données. Une erreur d’interdiction peut faire disparaître des sections entières de l’index.
Définition technique
Fichier qui indique aux robots ce qu’ils peuvent crawler ; ce n’est pas un mécanisme de sécurité.
À ne pas confondre avec
- Sitemap XML — robots.txt restreint le crawl ; le sitemap suggère des URLs à découvrir.
Termes liés
Vu dans ces articles
- Le coût caché de la visibilité dans les moteurs IA16 septembre 2026
- llms.txt : beaucoup de sites l’utilisent encore mal14 septembre 2026
- SEO, IA, agents : ce qu’un site doit vraiment montrer aux machines en 202624 août 2026
- Cannibalisation SEO : détecter et corriger sans perdre de visibilité22 août 2026
- llms.txt v2 : inutile en SEO, utile aux agents IA ?17 août 2026