[.htaccess] Empêcher l'indexation des fichiers robots.txt et sitemap.xml
Il m’est déjà arrivée sur des petits sites de voir mes fichiers robots.txt et sitemap.xml indexés par Google ; sans doute parce qu’il n’y avait pas grand chose à indexer, il a indexé tout ce qu’il pouvait. C’est un peu ridicule et inutile. Aussi, j’ai trouvé un moyen pour qu’il arrête ça : donner un en-tête « noindex » à ces fichiers.
Langage du code ci-dessous : Apache
# Prevent robots.txt and sitemap.xml from being referencing in search engine
<Files ~ "robots\.txt$">
Header set X-Robots-Tag "noindex"
</Files>
<Files ~ "sitemap\.xml$">
Header set X-Robots-Tag "noindex"
</Files>