OAI-SearchBot
Robot opéré par OpenAI. Ce robot alimente les réponses que le moteur affiche à ses utilisateurs, avec leurs sources. Le bloquer retire votre site des citations : c’est la décision qui coûte le plus cher, et souvent celle qui est prise par défaut.
- Opérateur
- OpenAI
- Finalité
- Recherche
- Applique robots.txt
- oui
- Chaîne d’agent utilisateur
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
L’autoriser
À placer dans le robots.txt servi à la racine de votre domaine. Les groupes de robots.txt ne se cumulent pas : un robot n’applique que le groupe le plus spécifique qui le nomme, donc une règle générale plus permissive ne s’ajoutera pas à celle-ci.
L’autoriser, c’est rester éligible aux citations de ce moteur. C’est le cas où le refus coûte le plus cher, et celui où il est le plus souvent pris par inadvertance, en bloquant « les robots IA » en bloc.
User-agent: OAI-SearchBot Allow: /
Le refuser
Le refus est immédiat pour les robots qui appliquent robots.txt, et sans effet rétroactif : ce qui a déjà été collecté l’est.
Le refuser retire vos pages des réponses de ce moteur. Vos concurrents y restent : le trafic ne disparaît pas, il change de destinataire.
User-agent: OAI-SearchBot Disallow: /
Comment vérifier son passage chez vous
Cherchez la chaîne d’agent utilisateur ci-dessus dans vos journaux serveur : c’est la seule preuve qu’un robot est réellement venu. Une directive écrite dans robots.txt dit ce que vous demandez, pas ce qui se passe.
Les autres robots de OpenAI
-
GPTBot
Collecte pour l’entraînement des modèles.
-
ChatGPT-User
Va chercher une page qu’un humain a demandée.
Les autres robots de même finalité
Une décision prise ici se prend rarement seule : ces robots relèvent du même arbitrage.