Publier le fichier à la racine
Dans un frontend Astro, public/robots.txt est servi à /robots.txt. Ajoutez les règles User-agent, les chemins Disallow souhaités et l’URL absolue du sitemap. Vérifiez ces consignes par rapport à vos routes avant déploiement.
Comprendre ses limites
Robots.txt contrôle l’exploration des robots qui le respectent. Il ne protège pas les contenus sensibles et ne supprime pas forcément une URL des résultats. Utilisez l’authentification pour les contenus privés et noindex pour les pages publiques à exclure.