Ce que vos serveurs savent, et que Search Console ne dira pas
Search Console vous montre un échantillon, en différé. Les journaux de vos serveurs, eux, gardent la trace de chaque requête réellement reçue. Nous les lisons, nous séparons les robots des visiteurs, et nous croisons le résultat avec le reste de l’audit, sans conserver une seule adresse IP.
Les accès s’ouvrent par vagues, nous prévenons par e-mail.
Nos chiffres, avec leur provenance
-
52 000lignes de logs par seconde mesuré
Les moteurs passent, mais où ?
Un crawl part de ce qui est lié, et Search Console rapporte ce qu’elle veut bien rapporter. Entre les deux, il reste une catégorie entière de constats que seule la trace des requêtes réelles produit.
-
01
Vos pages importantes ne sont pas explorées
Le budget d’exploration part dans des paramètres d’URL, des filtres à facettes et des redirections, pendant que vos pages de vente attendent leur tour, parfois pendant des semaines.
-
02
Des pages existent sans que personne ne les demande
Ni lien entrant, ni requête de moteur, ni visite. Elles n’apparaissent dans aucun crawl, précisément parce qu’un crawl suit les liens : il ne peut pas trouver ce qui n’en a pas.
-
03
Le service qui détient les journaux n’est pas celui qui en a besoin
La demande passe par l’infrastructure, revient sous forme d’archive de plusieurs gigaoctets, et le fichier reste fermé. La question SEO se pose ailleurs que là où vit la donnée.
Ce que nous mesurons
Ce que le parseur extrait
Un parseur écrit pour ce seul usage, qui lit le fichier en flux et n’en conserve que ce qui sert à une décision. Tout le reste est jeté à la lecture, y compris ce qui identifierait quelqu’un.
- Le trafic des moteurs, robot par robot (chaque requête est attribuée à l’agent qui l’a émise, et le trafic automatisé est séparé du trafic humain. Deux grandeurs distinctes, jamais additionnées en un total qui ne voudrait rien dire.)
- Les pages ignorées et les pages fantômes (ce que les moteurs demandent souvent, ce qu’ils ne demandent jamais, et ce qui répond alors que rien ne le lie. Un crawl seul ne peut produire aucun de ces trois constats.)
- Le croisement avec le reste de l’audit (journaux, Search Console, positions et structure du site se rejoignent sur la même URL normalisée. Une source manquante laisse la case vide et le dit : jamais un zéro, qui serait une mesure.)
- Un débit mesuré au banc (le parseur a un débit connu, publié avec sa preuve dans notre registre de chiffres. Une archive volumineuse s’analyse sans y passer la nuit, et sans charger le fichier en mémoire.)
Pour aller plus loin
Analyse de logs serveur : ce que vos serveurs savent et que Search Console ignore
Le tutoriel : récupérer vos journaux et les lire, format par format.
Lire ComparatifNessFlow vs Botify & Oncrawl
Ce qu’une plateforme d’entreprise apporte sur les journaux, et ce qu’elle demande en retour.
Lire GlossaireGlossaire
Budget d’exploration, page fantôme, page orpheline : les définitions.
LireLes autres modules
Questions fréquentes
Quels formats de journaux acceptez-vous ?
Les formats courants des serveurs web, y compris compressés. Le parseur lit le fichier en flux plutôt que de le charger en mémoire : une archive de plusieurs gigaoctets passe sans que la machine s’en aperçoive. Son débit est publié avec la mesure de banc qui l’établit, vous pouvez donc estimer la durée avant d’envoyer quoi que ce soit.
Que faites-vous des adresses IP ?
Elles servent au tri pendant la lecture, puis elles disparaissent : aucune n’est écrite en base, aucune ne part vers un modèle. Ce n’est pas un réglage désactivable, c’est la façon dont le parseur est construit, et c’est la seule raison pour laquelle une équipe peut nous confier ses journaux sans ouvrir un dossier de conformité de trois mois.
Pourquoi croiser les journaux et Search Console ?
Parce qu’ils ne disent pas la même chose. Search Console rapporte ce que Google veut bien rapporter, en différé et par échantillon ; le journal rapporte ce que votre serveur a effectivement reçu. Une page très demandée par les robots et absente des impressions (ou l’inverse) est un constat qu’aucune des deux sources ne produit seule.
Combien de temps conservez-vous les journaux ?
Le fichier importé est traité puis n’est pas conservé. Ce qui reste, ce sont les agrégats par URL et par agent, soumis à une rétention documentée. Notre page confidentialité publie les durées telles qu’elles sont écrites dans les commandes de purge, pas telles qu’on aimerait les annoncer.
Ce que deviennent vos journaux
Un journal serveur est une donnée personnelle avant d’être une donnée SEO. Le traitement a été écrit dans ce sens dès l’origine : ce n’est pas une option de configuration que quelqu’un pourrait désactiver.
Ce que nous couvrons
- Les formats de journaux courants des serveurs web, lus en flux
- La séparation robots/humains et l’attribution requête par requête
- Le croisement avec le crawl, Search Console et le suivi de positions
Limites assumées
- Aucune adresse IP conservée ni envoyée à un modèle : elle sert au tri, puis elle disparaît
- Aucun temps réel : un journal décrit ce qui a eu lieu, pas ce qui se passe
- Aucune explication : un journal dit qu’une page n’est pas demandée, la cause reste à chercher
- Aucune résolution inverse des adresses, donc aucune vérification d’identité de robot par DNS
Vos journaux, sans dossier de conformité
Aucune adresse IP conservée, aucune donnée envoyée à un modèle : c’est ce qui rend un premier import possible cette semaine plutôt qu’au prochain trimestre.
Les accès s’ouvrent par vagues, nous prévenons par e-mail.