Claude-SearchBot
Robot opéré par Anthropic. Ce robot alimente les réponses que le moteur affiche à ses utilisateurs, avec leurs sources. Le bloquer retire votre site des citations : c’est la décision qui coûte le plus cher, et souvent celle qui est prise par défaut.
- Opérateur
- Anthropic
- Finalité
- Recherche
- Applique robots.txt
- oui
- Chaîne d’agent utilisateur
- Non publiée par l’opérateur.
L’autoriser
À placer dans le robots.txt servi à la racine de votre domaine. Les groupes de robots.txt ne se cumulent pas : un robot n’applique que le groupe le plus spécifique qui le nomme, donc une règle générale plus permissive ne s’ajoutera pas à celle-ci.
L’autoriser, c’est rester éligible aux citations de ce moteur. C’est le cas où le refus coûte le plus cher, et celui où il est le plus souvent pris par inadvertance, en bloquant « les robots IA » en bloc.
User-agent: Claude-SearchBot Allow: /
Le refuser
Le refus est immédiat pour les robots qui appliquent robots.txt, et sans effet rétroactif : ce qui a déjà été collecté l’est.
Le refuser retire vos pages des réponses de ce moteur. Vos concurrents y restent : le trafic ne disparaît pas, il change de destinataire.
User-agent: Claude-SearchBot Disallow: /
Comment vérifier son passage chez vous
L’opérateur ne publie aucune chaîne d’agent utilisateur officielle pour ce robot : son passage ne peut pas être identifié de façon fiable dans vos journaux. Une chaîne observée circule parfois, mais la vérifier reviendrait à filtrer sur une valeur que rien ne garantit.
Les autres robots de Anthropic
-
ClaudeBot
Collecte pour l’entraînement des modèles.
-
Claude-User
Va chercher une page qu’un humain a demandée.
Les autres robots de même finalité
Une décision prise ici se prend rarement seule : ces robots relèvent du même arbitrage.