Préréglages
Tester une adresse
floobits.com
floobits.com
🌐 Web et technique
Composez un robots.txt par groupe de robots, ajoutez vos sitemaps, puis testez si une adresse est autorisée ou bloquée.
Par Jimenez Julien, éditeur de Floobits.com · mis à jour le
Le fichier robots.txt, placé à la racine d'un site, indique aux robots d'exploration quelles zones ils peuvent parcourir. Il est organisé en groupes : une ou plusieurs lignes User-agent désignent les robots concernés, suivies de règles Disallow (chemins interdits) et Allow (exceptions autorisées). Une ligne Sitemap peut aussi y signaler l'adresse du plan du site. Les jokers * (n'importe quelle suite de caractères) et $ (fin d'adresse) sont reconnus par les grands moteurs.
Pour un robot donné, le groupe dont le nom est le plus précis s'applique, sinon le groupe *. Quand plusieurs règles correspondent à une adresse, la plus longue l'emporte, et Allow gagne en cas d'égalité : c'est la logique utilisée par le testeur intégré. Rappelons que ce fichier est public et purement indicatif : il ne protège aucune donnée confidentielle et ne garantit pas la désindexation d'une page.
Pas nécessairement. Une page bloquée peut rester indexée, sans description, si d'autres sites pointent vers elle. Pour exclure une page de l'index, laissez-la explorable et ajoutez une balise meta robots noindex.
À la racine du domaine, à l'adresse /robots.txt, en texte brut encodé en UTF-8. Chaque sous-domaine nécessite son propre fichier.
Ajoutez un groupe par robot (GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot) avec Disallow: /. Le préréglage prévu dans l'outil le fait en une fois, mais seuls les robots respectueux obéissent.