Robots.txt : Définition
Définition : Robots.txt
Il s’agit du nom d’un fichier positionné à la racine d’un site web et qui fournit certaines consignes au robot de moteur de recherche lorsque celui-ci explore le site.
Autoriser et limiter l’indexation du contenu
Grâce au fichier robots.txt il est possible d’autoriser ou non l’indexation de certains contenus du site en terme de SEO. Par exemple, si on ne veut pas que telle page ou tel contenu d’un site soit pris en compte par le robot de moteur de recherche, on peut l’indiquer dans le fichier robots.txt. A l’inverse, il est possible d’autoriser certains autres éléments du contenu.
Comment se présente le fichier robots.txt
Ce fichier est relativement facile à comprendre. Dans un premier temps, on indique à qui s’adresse l’instruction, c’est-à-dire à quel robot de moteur de recherche. L’astérisque indique tous les robots, sinon il faut préciser le ou les noms du robot. La formule utilisée est la suivante :User-agent : *ouUser-agent : nom du robotEnsuite il faut indiquer la consigne. Le terme disallow interdit l’indexation, et allow autorise l’indexation. Il faut indiquer le chemin d’accès jusqu’au dossier ou jusqu’à la page :Disallow : /dossier/sous-dossier/Allow : /page.html
- Nos solutions de webinars
- Notre savoir-faire en développement web
Pour aller plus loin, nous vous invitons à découvrir notre agence SEO et à télécharger notre livre blanc « Placez le Search Engine Marketing au cœur de votre Stratégie d’Acquisition »