Définition Robots.txt

    Le Robots.txt est un fichier au format txt (texte) situé à la racine d’un site internet et qui indique aux robots d’indexation des moteurs de recherche les pages à explorer et celles à ignorer.

    Le fichier robots.txt est spécialement destiné aux spiders ou crawlers, autrement dit aux programmes dont la mission est d’explorer le web et de permettre aux moteurs de recherche d’indexer les bonnes pages d’un site.

    Au sein du robots.txt, l’utilisateur peut préciser à quel « robot », sous-entendu à quel moteur de recherche il donne l’accès en l’indiquant après le terme « User-Agent: ». Il a également la possibilité d’indiquer les répertoires à ignorer avec la commande « Disallow: ».

    Définition Robots.txt
    Voter cet article
    Retour aux définitions
    PARTAGER
    Article précédentDéfinition Rotation de proxys
    Article suivantDéfinition Robot
    D'un côté fondateur de Digitude, de l'autre consultant SEM et responsable e-marketing, je voue une véritable passion pour l'univers du web ! Mon quotidien se résume à vous faire partager cette passion et mon expérience sur des sujets d'acquisition et fidélisation 3.0 !

    LAISSER UN COMMENTAIRE

    Please enter your comment!
    Please enter your name here