Robots.txt est un fichier texte qui indique aux robots d'indexation les pages à indexer ou non. Il est également connu pour être le gardien de tout votre site. La première tâche d'un robot d'indexation est de trouver et de lire le fichier robots.txt, avant d'accéder à votre sitemap ou n'importe quelle autre page ou dossier.
Créez un fichier robots.txt avec un utilitaire, plugin Wordpress, ou le processus de création de robots.txt de votre CMS. Suivez nos guides ci-dessous.