Définition Robots.txt

    Le Robots.txt est un fichier au format txt (texte) situé à la racine d’un site internet et qui indique aux robots d’indexation des moteurs de recherche les pages à explorer et celles à ignorer.

    Le fichier robots.txt est spécialement destiné aux spiders ou crawlers, autrement dit aux programmes dont la mission est d’explorer le web et de permettre aux moteurs de recherche d’indexer les bonnes pages d’un site.

    Au sein du robots.txt, l’utilisateur peut préciser à quel « robot », sous-entendu à quel moteur de recherche il donne l’accès en l’indiquant après le terme « User-Agent: ». Il a également la possibilité d’indiquer les répertoires à ignorer avec la commande « Disallow: ».

    Définition Robots.txt
    Voter cet article
    Retour aux définitions