Vous publiez un article, vous attendez son apparition dans Google, et rien ne vient. Le coupable se cache souvent dans un fichier que vous n’avez pas ouvert depuis des mois : le robots.txt. Une page peut être bloquée sans qu’aucune alerte ne s’affiche à l’écran, et vous continuez à travailler en croyant que tout roule. Le pire, c’est que la cause est rarement celle qu’on imagine, et que le diagnostic tient dans une ligne de la Search Console que peu de gens pensent à lire.

Le mauvais emplacement du fichier

Un robots.txt n’est valable qu’à un seul endroit : la racine du domaine, à l’adresse /robots.txt. Si vous le déposez dans un sous-dossier, par exemple /blog/robots.txt ou /wp-content/robots.txt, les robots passent à côté sans prévenir et le fichier est purement ignoré.

Beaucoup de débutants se disent que Google va bien le trouver quelque part, mais non. Le protocole est strict sur ce point, et c’est expliqué en détail sur chbcrea-studio.fr. L’erreur est fréquente chez ceux qui gèrent un site depuis un espace d’hébergement mal compris : ils croient publier à la racine, alors qu’ils déposent tout un niveau trop bas.

Le second piège est plus silencieux encore. Chaque sous-domaine a besoin de son propre fichier, indépendamment des autres. blog.exemple.fr et boutique.exemple.fr ne partagent pas le robots.txt de exemple.fr, même si l’interface d’administration les affiche côte à côte.

Vous pouvez donc bloquer votre blog par erreur sans jamais toucher au site principal, et chercher la cause pendant des jours du mauvais côté. Franchement, ça arrive plus souvent qu’on ne le croit sur les sites qui cumulent plusieurs adresses.

Ces raisons qui empêchent une page d’apparaître

Avant d’accuser votre fichier, il faut avoir en tête les autres explications possibles. Une page peut ne pas être indexée parce qu’elle est trop récente, parce qu’aucun lien interne ne pointe vers elle, parce qu’elle est en doublon avec une autre, ou parce qu’une balise noindex traîne dans le code.

Les robots d’indexation sont ces programmes automatisés qui parcourent le web, suivent les liens et ramènent les pages vers les serveurs de Google. Si rien ne leur indique votre adresse, ils ne la trouveront pas, et votre page restera dans l’ombre aussi longtemps que vous ne ferez pas le premier pas.

Un troisième cas de figure mérite votre attention : l’instruction Disallow. Celle-ci empêche l’exploration du site, mais elle n’empêche pas l’indexation des répertoires et des pages du domaine. Autrement dit, même avec un Disallow total, Google peut toujours potentiellement indexer certaines pages, notamment s’il trouve des liens externes vers elles. C’est un point que la plupart des tutoriels passent sous silence, et il change complètement la façon de lire ce que renvoie la Search Console.

Que signifie « Détectée actuellement non indexée » ?

Ce statut apparaît dans la section Indexation des pages, et il n’est pas synonyme de blocage. Il dit simplement que Google connaît l’URL mais ne l’a pas encore intégrée à ses résultats, pour une raison ou une autre. Vous ne saurez donc pas, avec ce seul message, si votre fichier en est responsable.

Pour bloquer totalement l’accès à un site à tous les robots, il faut deux lignes précises dans le fichier : « User-agent: * » et « Disallow: / ». Si vous voyez ces deux lignes dans un fichier que vous croyez neutre, coupez tout de suite. Sur ce point, voir aussi notre article sur migrer sous domaine seo.

La distinction entre les deux statuts est essentielle à comprendre pour ne pas s’épuiser en fausses pistes. Un message « Bloquée par le fichier robots.txt » vous pointe vers la cause exacte, tandis que « Détectée actuellement non indexée » reste vague et demande d’autres vérifications. Le premier est donc à consulter en priorité, et c’est celui qui vous fera gagner le plus de temps si vous soupçonnez un blocage involontaire.

Où trouver le fichier et comment le lire

L’outil d’inspection d’URL de la Search Console vous dit en une phrase ce qui se passe pour une adresse donnée. Tapez votre URL dans le champ, lancez l’inspection, puis cherchez le message « Bloquée par le fichier robots.txt » dans la section Indexation des pages.

S’il apparaît, la règle responsable est quelque part dans votre fichier, et il ne reste plus qu’à la repérer et à la corriger. Gardez en tête que le fichier ne dépasse jamais 500 kibioctets : au-delà, la fin du contenu est ignorée, ce qui peut produire des blocages inattendus.

Les vérifications à faire quand vous doutez

Reprenez votre fichier ligne par ligne, puis comparez avec ce que vous attendez. Le plus souvent, une règle trop large traîne depuis une ancienne configuration.

• Vérifiez l’emplacement exact : /robots.txt à la racine, rien d’autre.
• Le sous-domaine a-t-il bien son propre fichier, séparé du domaine principal ?
• Une ligne « Disallow: / » est-elle restée par accident dans le fichier ?
• Est-ce que des balises noindex traînent dans le code de la page, en plus du fichier ?
• Le fichier fait-il moins de 500 kibioctets, pour que tout soit lu ?

Le test en direct reste la méthode la plus fiable pour confirmer un doute. Ouvrez l’URL de la page dans l’outil d’inspection, comparez le statut avec celui d’une page voisine qui fonctionne, et vous verrez très vite si le problème vient du fichier ou d’ailleurs. Il m’arrive de tomber sur des cas où le fichier était parfaitement correct, mais fiché dans un répertoire oublié depuis une refonte du site, et c’est ce détail qui faisait tout basculer.

Ce que presque personne ne vérifie

La taille du fichier est rarement contrôlée, et pourtant. Si votre robots.txt dépasse 500 kibioctets, tout ce qui suit cette limite est purement ignoré par les robots, ce qui peut avoir des conséquences inattendues sur les règles de la fin du fichier.

Un autre point mérite votre attention : les règles s’appliquent parfois de manière cumulative, et deux instructions apparemment anodines peuvent se combiner pour bloquer une partie du site. Le message précis de la Search Console reste votre meilleur indicateur dans ces cas-là.

Enfin, un robots.txt mal placé ne produit aucune erreur visible dans le navigateur. Le site continue de s’afficher normalement pour les visiteurs, et c’est précisément ce qui rend le problème si difficile à repérer quand on ne sait pas où regarder. Une page publiée peut donc rester bloquée des semaines sans que personne ne s’en aperçoive.

Ce qu’il faut retenir pour ne plus publier dans le vide

Une page qui n’apparaît pas dans les résultats n’est pas forcément une page mal écrite ou sans intérêt. Le fichier robots.txt, sa place, ses règles et l’absence de fichier sur un sous-domaine expliquent une bonne partie des blocages involontaires.

Prenez l’habitude d’inspecter vos URL dans la Search Console dès la publication, et comparez le statut obtenu avec ce que vous attendez. Une vérification qui prend deux minutes vous évitera des semaines d’incompréhension. Combien de vos anciennes pages n’ont jamais été vues par personne, faute d’un simple fichier mal rangé ?