Budget de crawl, pourquoi ce n’est pas votre problème

Le budget de crawl est la quantité de pages qu’un moteur accepte d’explorer chez vous dans un temps donné.

Elle dépend de 2 choses. Ce que votre serveur encaisse sans ralentir, et l’intérêt que le moteur porte à votre site.

Le sujet devient réel à partir de plusieurs centaines de milliers d’adresses. Un catalogue avec des filtres qui se combinent, un site d’annonces, un média avec 20 ans d’archives.

En dessous, il ne se pose pas. Un site de 50, 200 ou 2 000 pages est exploré sans difficulté par une machine qui traite des milliards d’adresses par jour.

Donc si on vous vend une optimisation du budget de crawl et que votre site tient sur 3 écrans de sitemap, on vous soigne d’une maladie que vous n’avez pas.

Dans la Search Console, une ligne fait paniquer plus que toutes les autres. Exploré, actuellement non indexé.

Lisez-la mot à mot, elle dit exactement ce qui s’est passé.

Exploré. Google a trouvé la page. Il l’a demandée à votre serveur. Il l’a reçue. Il l’a lue.

Non indexé. Il a décidé de ne pas la garder dans son index.

Ce n’est donc pas un problème d’exploration, puisque l’exploration a parfaitement réussi. C’est un jugement de valeur sur ce qu’il a trouvé.

Et c’est là que le raisonnement de la plupart des gens déraille. Ils lisent non indexé, en concluent que le robot n’a pas pu faire son travail, et se mettent à chercher un obstacle technique qui n’existe pas.

Il n’y a aucun obstacle. Il y a un refus.

⚠ Le mot actuellement compte, d’ailleurs. La décision n’est pas définitive, elle se révise quand la page change vraiment.

Posez la question dans n’importe quel forum et vous obtiendrez la même réponse dans le tiers des cas. Est-ce que tu as un sitemap.

Cette réponse est presque toujours à côté.

Un sitemap sert à faire DÉCOUVRIR des adresses. C’est une liste, il dit voici mes pages. Il est utile quand un moteur ne trouve pas vos pages, typiquement parce que rien ne pointe vers elles.

Il ne sert pas à faire GARDER une page. Il ne contient aucun argument. Une page jugée sans intérêt reste jugée sans intérêt, qu’elle figure ou non dans une liste.

Il existe un cas, un seul, où ce conseil est excellent. Un gros site dont le sitemap est cassé depuis des années, avec des adresses fausses ou obsolètes. On le répare, le moteur repart explorer, tout s’améliore d’un coup.

Ce cas est réel, et c’est probablement pour ça que le conseil circule autant. Mais il concerne les sites de plusieurs milliers de pages avec une équipe technique, pas le vôtre.

Le contrôle prend 30 secondes et évite de traiter un faux problème.

# 1. Le sitemap repond-il, et combien d'adresses porte-t-il ?
curl -s https://votre-site.fr/sitemap.xml | grep -c "<loc>"

# 2. Le robots.txt bloque-t-il quelque chose sans le vouloir ?
curl -s https://votre-site.fr/robots.txt

# 3. Une page qui vous inquiete repond-elle bien 200 au robot de Google ?
curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  https://votre-site.fr/la-page-qui-vous-inquiete/

Si le sitemap répond, que le robots.txt ne bloque rien, et que la page renvoie 200, votre problème n’est pas technique. Arrêtez de chercher de ce côté.

Une fois la piste technique écartée, il reste 2 causes, et elles sont moins agréables à entendre.

La première, la page n’apporte rien que 40 autres ne disent déjà. Un moteur qui indexe une page engage du stockage et du calcul. Il le fait quand la page ajoute quelque chose. Une fiche de plus sur un sujet traité mille fois n’ajoute rien.

La seconde, le site n’a pas assez d’autorité pour que ses pages soient gardées par défaut. Un site très reconnu voit ses pages indexées presque automatiquement. Un site jeune doit mériter chaque page. C’est injuste et c’est ainsi.

Cette seconde cause renvoie directement à la circulation de l’autorité par les liens, cf ce que vaut vraiment un lien.

La bonne question n’est donc pas comment forcer l’indexation. C’est qu’est-ce que cette page apporte que les autres n’apportent pas. Si vous n’avez pas de réponse, aucun réglage technique n’en fabriquera une.

Quand le budget de crawl ne suffit plus à justifier une facture, on vous proposera l’étage au-dessus. Voici ce qui circule, et ce que chaque technique vaut réellement.

L’API d’indexation de Google. Elle existe, elle est gratuite, et elle est réservée à 2 types de contenus, les offres d’emploi et les diffusions en direct. Pour tout le reste, elle n’est pas prévue. Un prestataire qui vous propose d’indexer vos pages de service par cette voie fait donc l’une de 2 choses. Soit il ne l’utilise pas et il vous vend du vent. Soit il déclare vos pages comme des offres d’emploi qu’elles ne sont pas, en montrant au moteur un balisage que vos visiteurs ne voient jamais.

⚠ Cette seconde option porte un nom, c’est du cloaking, et elle figure explicitement dans les règles anti-spam. Ceux qui l’enseignent le disent eux-mêmes sans détour, en avertissant que le compte Search Console peut sauter. Le vôtre, pas le leur.

Le sitemap déclaré depuis un autre domaine. Le principe est réel. Un fichier robots.txt peut désigner un sitemap, et ce sitemap peut en appeler d’autres. On s’en sert pour soumettre des adresses qu’on ne pourrait pas déclarer dans sa propre Search Console. Ça fonctionne au sens où le moteur lit le fichier. Ça ne fonctionne pas au sens où cela n’ajoute aucune raison d’indexer une page qui n’en méritait pas.

La balise canonique posée depuis un autre site. Celle-ci repose sur un contresens qu’il faut lever. La balise canonique n’attribue pas une propriété et ne transfère pas de valeur. C’est une indication, que le moteur suit ou ignore selon ce qu’il constate par ailleurs. Faire pointer un site de recopie vers le vôtre ne vous fait pas monter, cela demande simplement à ce que la recopie ne soit pas indexée.

Le trafic direct acheté pour déclencher l’indexation. Nous avons consacré un article entier à cette famille, parce qu’elle produit l’effet inverse de celui qu’on vous vend, cf trafic acheté et clics simulés.

👉 Le point commun de ces 4 techniques. Aucune ne répond à la question que le moteur se pose. Elles cherchent toutes à le forcer à regarder une page, alors que le problème est qu’il l’a regardée et n’a pas voulu la garder.

Ce qui marche vraiment, et qui ne coûte rien. Un flux de publication laissé actif. C’est le seul conseil de cette liste que nous reprenons à notre compte. Un flux est relevé par des agrégateurs et par des outils de veille, il signale vos parutions sans que vous fassiez quoi que ce soit, et beaucoup de sites le désactivent par crainte de se faire recopier. Le calcul est mauvais, cf publier votre propre flux.

Avant de payer qui que ce soit, faites ce contrôle. Dans la majorité des cas que nous voyons, une page absente de l’index l’est pour une raison mécanique et réparable, pas pour une raison mystérieuse.

Les 3 coupables, dans l’ordre de fréquence. Une balise qui interdit l’indexation, oubliée depuis la mise en ligne. Une balise canonique qui désigne une autre page, ce qui revient à demander poliment qu’on ignore celle-ci. Une adresse qui ne répond plus en 200 alors qu’elle figure encore au sitemap.

Ce script les trouve toutes les 3, sur l’ensemble du site, sans aucun outil payant.

#!/usr/bin/env bash
# Pourquoi vos pages ne s'indexent pas, les 3 causes mecaniques.
# On lit le sitemap et on controle chaque adresse annoncee.

SITEMAP="https://votre-site.fr/sitemap.xml"

curl -sL --max-time 30 "$SITEMAP" \
  | grep -oE '<loc>[^<]+' | sed 's/<loc>//' \
  | while read -r u; do
      h=$(curl -sL -o /tmp/p.html -w '%{http_code}' \
               --max-time 20 "$u")
      n=$(grep -ciE 'name="robots"[^>]*noindex' /tmp/p.html)
      # Les 2 ordres d'attributs existent, on teste les 2.
      c=$(grep -oE '<link[^>]*rel="canonical"[^>]*>' /tmp/p.html \
          | grep -oE 'href="[^"]+' | grep -oE 'https?://.*' \
          | head -1)

      [ "$h" != "200" ] && echo "HTTP $h    $u"
      [ "$n" != "0" ]   && echo "NOINDEX    $u"
      [ -n "$c" ] && [ "$c" != "$u" ] \
        && echo "CANONIQUE  $u -> $c"
    done

Une sortie vide est une bonne nouvelle. Elle veut dire que rien n’empêche techniquement l’indexation, et donc que la réponse est éditoriale. C’est moins agréable à entendre, et c’est beaucoup moins cher à corriger qu’une prestation d’indexation forcée.

Pour être juste, voici les cas où l’exploration mérite du travail. Ils existent.

Les combinaisons de filtres qui fabriquent des adresses à l’infini. Un catalogue avec 6 filtres qui se croisent produit des milliers d’adresses quasi identiques. Là, oui, il faut les empêcher d’être explorées.

Les archives profondes. Un site avec 15 ans de publications où les vieilles pages ne sont plus reliées à rien.

Un serveur lent. Un moteur ralentit son exploration quand le serveur peine. Ici la cause est la vitesse, pas le budget, et la corriger règle les 2.

Les très gros catalogues. À partir de plusieurs centaines de milliers de références, l’ordre d’exploration devient un vrai sujet d’architecture.

Si vous ne vous reconnaissez dans aucun de ces 4 cas, vous n’avez pas de problème de budget de crawl. Vous avez peut-être un problème de contenu, ou d’autorité, ou de vitesse. Ce sont 3 chantiers différents, et aucun ne se règle en retouchant un sitemap.

3 gestes, et le premier tranche.

1. Passez les 3 commandes plus haut. 5 minutes. Elles vous disent si votre problème est technique. Dans la grande majorité des cas, la réponse est non, et vous venez d’économiser un budget.

2. Prenez 5 pages non indexées et lisez-les en vous demandant ce qu’elles apportent. Pas ce qu’elles disent, ce qu’elles apportent que d’autres ne disent pas. Si vous séchez sur 4 sur 5, vous tenez votre réponse.

3. Vérifiez la profondeur, pas le budget. Une page importante à 5 clics de l’accueil est explorée rarement et jugée sévèrement. La remonter dans la navigation change davantage qu’une semaine de réglages d’exploration.

Une remarque pour finir, parce qu’elle vaut au-delà de ce sujet. Quand un diagnostic technique est plus confortable qu’un diagnostic éditorial, on choisit le technique. C’est humain, ça occupe, et ça ne règle rien. Le vrai travail est presque toujours dans ce que la page dit, cf notre prestation référencement.