2016
28/Fév

Robots.txt : Définition

Définition : Robots.txt

Il s’agit du nom d’un fichier positionné à la racine d’un site web et qui fournit certaines consignes au robot de moteur de recherche lorsque celui-ci explore le site.

Autoriser et limiter l’indexation du contenu

Grâce au fichier robots.txt il est possible d’autoriser ou non l’indexation de certains contenus du site en terme de SEO. Par exemple, si on ne veut pas que telle page ou tel contenu d’un site soit pris en compte par le robot de moteur de recherche, on peut l’indiquer dans le fichier robots.txt. A l’inverse, il est possible d’autoriser certains autres éléments du contenu.

Comment se présente le fichier robots.txt

Ce fichier est relativement facile à comprendre. Dans un premier temps, on indique à qui s’adresse l’instruction, c’est-à-dire à quel robot de moteur de recherche. L’astérisque indique tous les robots, sinon il faut préciser le ou les noms du robot. La formule utilisée est la suivante :User-agent : *ouUser-agent : nom du robotEnsuite il faut indiquer la consigne. Le terme disallow interdit l’indexation, et allow autorise l’indexation. Il faut indiquer le chemin d’accès jusqu’au dossier ou jusqu’à la page :Disallow : /dossier/sous-dossier/Allow : /page.html

Pour aller plus loin, nous vous invitons à découvrir notre agence SEO et à télécharger notre livre blanc “Placez le Search Engine Marketing au cœur de votre Stratégie d’Acquisition”

Gabriel Dabi-Schwebel

Posté par

Ingénieur de formation, j'ai accompagné notamment pour Alcatel, TF1, SFR et Lagardère Active le lanc

Gabriel Dabi-Schwebel

Contact SEO :

Gabriel Dabi-Schwebel

gds@1min30.com
06 73 55 17 36





Commenter

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.

Apprenez de notre stratégie en vous inscrivant à notre newsletter

Agence 1min30