Dossier : Référencer son site WordPress (Partie 3) : Créer et ajouter un fichier robots.txt à Google

Si vous n’avez pas (encore) lu les deux premières parties du dossier, je vous recommande de le faire afin de mieux comprendre certaines étapes de l’article.

Plan du dossier

• Partie 1 : Ajouter son site à Google
• Partie 2 : Créer et ajouter un sitemap
• Partie 3 : Créer et ajouter un fichier robots.txt à Google
• Partie 4 : Ajouter Google Analytics : statistiques avancées pour votre site
• Partie 5 : S’inscrire dans des annuaires
• Partie 6 : Optimiser le référencement de vos articles (plugin WordPress)
• Partie 7 : Promouvoir ses articles

Générer un fichier robots.txt

Là encore, nous allons utiliser Google : outils pour les webmasters pour générer notre fichier robots.txt.

1. Dans le tableau de bord, cliquez sur votre NDD.
2. Sous l’onglet Outils, cliquez sur Générer un fichier robots.txt.
3. Cochez la case Autoriser tous les robots (recommandé, vous pouvez affiner cette règle à l’étape suivante) sous Choisissez l’accès par défaut pour tous les robots.
   

   Modules pour générer votre fichier robots.txt

4. Utilisez ensuite les différentes listes déroulantes pour Autoriser ou Bloquer le/les différents robots Google et indiquez l’adresse en question (lisez les instructions situées juste en dessous du champ). Puis cliquez sur Ajouter.
5. Vous pouvez à tout moment Modifier/Supprimer/Ajouter les règles du fichier robots.txt.
6. Une fois terminée, cliquez sur le bouton Télécharger.
7. Uploadez ce fichier à la racine de votre site (dans le même dossier que wp-config.php, wp-login.php etc…).
8. Si tout c’est bien passé, sous l’onglet Outils, cliquez sur Analyser le fichier robots.txt, et vérifiez l’État de ce dernier.
   

   Etat de votre fichier robots.txt

Remarques importantes : Certains moteurs ne respectent pas le principe du robots.txt. Enfin, si vous indiquez à Google de ne pas indexer un dossier, cela signifie que, le dossier et tout ce qu’il contient n’apparaîtra pas dans les résultats de recherche, mais il sera tout de même plus ou moins indexé. Donc, en clair, tout ce qui est sur votre hébergeur web est accessible par tout le monde : n’y stockez pas des données sensibles ! Ne l’oubliez pas, ce n’est qu’un simple fichier texte !

Pour avoir des explications plus approfondies sur le principe du robots.txt, je vous conseille vivement de consulter ces deux liens du site Infowebmaster :

• Robots.txt : explications
• Utilisation du robots.txt

Et, comme d’habitude, n’hésitez pas à postez des commentaires (critiques, remarques, problèmes…) sur l’article !

9 commentaires pour “Dossier : Référencer son site WordPress (Partie 3) : Créer et ajouter un fichier robots.txt à Google”

1. www.fuzz.fr dit :

   24 janvier 2009 à 10 h 22 min

   Dossier : Référencer son site WordPress (Partie 3) : Créer et ajouter un fichier robots.txt à Google | Geek…

   Dans cette troisième partie, nous allons voir comment mettre en place un fichier robots.txt sur son site afin de bloquer l’accès à certaines parties de votre site. Dans le cas de WordPress, j’ai, par exemple, bloquer les dossiers wp-includes et wp…

   Répondre
2. Aratta dit :

   30 janvier 2009 à 16 h 49 min

   Merci pour la partie 2 et 3 de ton dossier, que je viens de mettre en oeuvre j’attends avec impatience les suites!

   Répondre
3. Aratta dit :

   30 janvier 2009 à 18 h 36 min

   J’ai vu, mais ça je l’avais déjà fait depuis le début

   Répondre
4. Arnoras dit :

   12 juillet 2009 à 13 h 18 min

   Bonjour, et merci pour ces tutos ! Seulement, je ne vois pas comment supprimer les dossier wp-admins et wp-includes dans l’indexation ? il faut rajouter quoi dans le texte du robots.txt ?

   Répondre
5. Dossier : Référencer son site WordPress (Partie 4) : Ajouter Google Analytics : statistiques avancées pour votre site | Protuts v4 dit :

   29 décembre 2009 à 22 h 00 min

   [...] Partie 3 : Créer et ajouter un fichier robots.txt à Google [...]

   Répondre
6. Dossier : Référencer son site WordPress (Partie 1) : Ajouter son site à Google | Protuts v4 dit :

   30 décembre 2009 à 20 h 29 min

   [...] Partie 3 : Créer et ajouter un fichier robots.txt à Google [...]

   Répondre
7. Dossier : Référencer son site WordPress (Partie 6) : Optimiser le référencement de vos articles | Protuts dit :

   7 mars 2010 à 16 h 22 min

   [...] Partie 3 : Créer et ajouter un fichier robots.txt à Google [...]

   Répondre
8. Dossier : Référencer son site WordPress (Partie 5) : S'inscrire dans des annuaires | Protuts dit :

   7 mars 2010 à 16 h 23 min

   [...] Partie 3 : Créer et ajouter un fichier robots.txt à Google [...]

   Répondre
9. Rainbow dit :

   30 janvier 2009 à 18 h 04 min

   et bien la 4 est dispo

   Répondre