Guide et bonnes pratiques
robots.txt est un petit fichier aux conséquences importantes sur la visibilité. gene.re aide à rédiger les directives dans le navigateur, donc chemins de staging, motifs privés et futures structures de site ne partent pas vers un générateur externe.
Utilisez-le pour préparer allow, disallow, références de sitemap et règles par crawler. Testez toujours le comportement final avec les outils des moteurs, car robots.txt guide les robots mais ne protège pas un contenu privé.
Cas d'usage
- Rédiger des règles de crawl pour un nouveau site ou une migration.
- Ajouter des références de sitemap pour une passation SEO.
- Préparer des exclusions de staging sans exposer les chemins internes.
FAQ
robots.txt bloque-t-il l’accès ?
Non. Il demande aux robots conformes de ne pas parcourir des chemins, mais ce n’est pas une authentification.
Mes chemins sont-ils téléversés ?
Non. La rédaction se fait localement dans le navigateur.
Où placer le fichier ?
Il se place généralement à la racine du site, par exemple /robots.txt.