1min30 > Définitions Marketing > Robots.txt : Définition
2016
28/Fév

Robots.txt : Définition

Définition : Robots.txt

Il s’agit du nom d’un fichier positionné à la racine d’un site web et qui fournit certaines consignes au robot de moteur de recherche lorsque celui-ci explore le site. 

Autoriser et limiter l’indexation du contenu

Grâce au fichier robots.txt il est possible d’autoriser ou non l’indexation de certains contenus du site. Par exemple, si on ne veut pas que telle page ou tel contenu d’un site soit pris en compte par le robot de moteur de recherche, on peut l’indiquer dans le fichier robots.txt. A l’inverse, il est possible d’autoriser certains autres éléments du contenu. 

Comment se présente le fichier robots.txt

Ce fichier est relativement facile à comprendre. Dans un premier temps, on indique à qui s’adresse l’instruction, c’est-à-dire à quel robot de moteur de recherche. L’astérisque indique tous les robots, sinon il faut préciser le ou les noms du robot. La formule utilisée est la suivante :User-agent : *ouUser-agent : nom du robotEnsuite il faut indiquer la consigne. Le terme disallow interdit l’indexation, et allow autorise l’indexation. Il faut indiquer le chemin d’accès jusqu’au dossier ou jusqu’à la page :Disallow : /dossier/sous-dossier/Allow : /page.html

Gabriel Dabi-Schwebel

Posté par

Ingénieur de formation, j'ai accompagné notamment pour Alcatel, TF1, SFR et Lagardère Active le lanc





Commenter

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.

Abonnez-vous à notre excellente newsletter

Hey ne partez pas si vite !

Contactez-nous
Do NOT follow this link or you will be banned from the site!