Les robots des moteurs de réponse, un par un
Cette liste est celle que notre moteur audite réellement sur vos sites. Elle est revue chaque trimestre sur les documentations officielles des opérateurs, et cette page suit sans qu’on y touche.
- 19 bots IA audités mesuré
- 11 opérateurs couverts mesuré
Les robots audités, un par un
Le filtre fonctionne sans JavaScript. Une seule sélection à la fois : la plupart des croisements entre finalité et respect de robots.txt ne correspondent à aucun robot.
| Jeton robots.txt | Opérateur | Finalité | Applique robots.txt | Agent utilisateur |
|---|---|---|---|---|
| GPTBot | OpenAI | Entraînement | oui | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.3; +https://openai.com/gptbot |
| OAI-SearchBot | OpenAI | Recherche | oui | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot |
| ChatGPT-User | OpenAI | Requête d’un utilisateur | oui | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot |
| ClaudeBot | Anthropic | Entraînement | oui | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com) |
| Claude-SearchBot | Anthropic | Recherche | oui | Non publiée par l’opérateur. |
| Claude-User | Anthropic | Requête d’un utilisateur | oui | Non publiée par l’opérateur. |
| PerplexityBot | Perplexity | Recherche | oui | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) |
| Perplexity-User | Perplexity | Requête d’un utilisateur | non | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) |
| Google-Extended | Jeton de contrôle | oui | Non publiée par l’opérateur. | |
| Applebot-Extended | Apple | Jeton de contrôle | oui | Non publiée par l’opérateur. |
| CCBot | Common Crawl | Entraînement | oui | CCBot/2.0 (https://commoncrawl.org/faq/) |
| Bytespider | ByteDance | Entraînement | partiellement | Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com) |
| meta-externalagent | Meta | Entraînement | oui | meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler) |
| meta-externalfetcher | Meta | Requête d’un utilisateur | non | meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler) |
| Amazonbot | Amazon | Entraînement | oui | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) |
| Amzn-SearchBot | Amazon | Recherche | oui | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/120.0.0.0 Safari/537.36 |
| Amzn-User | Amazon | Requête d’un utilisateur | oui | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-User/0.1) Chrome/120.0.0.0 Safari/537.36 |
| DuckAssistBot | DuckDuckGo | Recherche | oui | Mozilla/5.0 (compatible; DuckAssistBot/1.2; +http://duckduckgo.com/duckassistbot.html) |
| MistralAI-User | Mistral | Requête d’un utilisateur | oui | Mozilla/5.0 (compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots) |
Les quatre finalités, et pourquoi elles ne se traitent pas pareil
- Recherche
- Ce robot alimente les réponses que le moteur affiche à ses utilisateurs, avec leurs sources. Le bloquer retire votre site des citations : c’est la décision qui coûte le plus cher, et souvent celle qui est prise par défaut.
- Requête d’un utilisateur
- Ce robot va chercher une page précise parce qu’un utilisateur vient de la demander. Le trafic est faible et intentionnel ; le bloquer revient à refuser de répondre à quelqu’un qui vous cherche.
- Entraînement
- Ce robot collecte du contenu pour entraîner des modèles. Le bloquer est un choix éditorial parfaitement légitime, et sans effet direct sur vos citations : c’est le seul cas où le refus ne vous coûte pas de visibilité.
- Jeton de contrôle
- Ce n’est pas un robot mais un jeton que l’opérateur reconnaît dans robots.txt pour gouverner un usage donné. Aucune requête ne porte ce nom : le tester par user-agent ne prouve rien, seule la lecture de robots.txt compte.
Savoir lesquels atteignent réellement votre site
Le répertoire dit ce que chaque robot fait. L’audit dit lequel arrive jusqu’à vous : nous testons la joignabilité réelle de vos pages, robot par robot, et nous relevons si votre marque est citée.
Les accès s’ouvrent par vagues, nous prévenons par e-mail.