Updated new agents

This commit is contained in:
Jöran Malek 2025-12-08 17:15:26 +01:00
parent dd7608c45e
commit 120cf167e9

View file

@ -18,6 +18,7 @@
\bClaude-User\b
\bClaudeBot\b
\bCloudVertexBot\b
\bCMS-Checker\b
\bcohere-training-data-crawler\b
\bCotoyogi\b
\bDataprovider.com\b
@ -27,6 +28,8 @@
\bDiffbot\b
\bDuckAssistBot\b
\bFacebookBot\b
\bfacebookexternalhit\b
\bFaceboot\b
\bfactset_spyderbot\b
\bFlyriverBot\b
\bGemini-Deep-Research\b
@ -47,13 +50,13 @@
\bmeta-externalfetcher\b
\bMetaInspector\b
\bMistralAI-User\b
\bnetEstate Imprint Crawler\b
\bnetEstate NE Crawler\b
\bnetEstate\b
\bNotebookLM\b
\bNovaAct\b
\bOAI-SearchBot\b
\bomgili\b
\bOpenWave\b
\bOwler\b
\bPanguBot\b
\bPerplexity-User\b
\bPerplexityBot\b
@ -63,6 +66,7 @@
\bThinkbot\b
\bTimpibot\b
\bTwingly\b
\bTwitterbot\b
\bWebsite-info.net-Robot\b
\bWebzio-Extended\b
\bwpbot\b