Google-Extended
Robot opéré par Google. Ce n’est pas un robot mais un jeton que l’opérateur reconnaît dans robots.txt pour gouverner un usage donné. Aucune requête ne porte ce nom : le tester par user-agent ne prouve rien, seule la lecture de robots.txt compte.
- Opérateur
- Finalité
- Jeton de contrôle
- Applique robots.txt
- oui
- Chaîne d’agent utilisateur
- Non publiée par l’opérateur.
L’autoriser
À placer dans le robots.txt servi à la racine de votre domaine. Les groupes de robots.txt ne se cumulent pas : un robot n’applique que le groupe le plus spécifique qui le nomme, donc une règle générale plus permissive ne s’ajoutera pas à celle-ci.
L’autoriser laisse l’usage gouverné par ce jeton se poursuivre. Aucune requête ne portera ce nom : il ne se vérifie pas dans vos journaux serveur.
User-agent: Google-Extended Allow: /
Le refuser
Le refus est immédiat pour les robots qui appliquent robots.txt, et sans effet rétroactif : ce qui a déjà été collecté l’est.
Le refuser gouverne un usage, pas un robot. C’est la seule directive du répertoire dont l’effet ne s’observe pas dans vos journaux, seule la lecture de votre robots.txt le montre.
User-agent: Google-Extended Disallow: /
Comment vérifier son passage chez vous
L’opérateur ne publie aucune chaîne d’agent utilisateur officielle pour ce robot : son passage ne peut pas être identifié de façon fiable dans vos journaux. Une chaîne observée circule parfois, mais la vérifier reviendrait à filtrer sur une valeur que rien ne garantit.
Les autres robots de Google
Google ne publie qu’un seul robot. Une directive écrite pour lui ne concerne aucun autre jeton de cet opérateur.
Les autres robots de même finalité
Une décision prise ici se prend rarement seule : ces robots relèvent du même arbitrage.