diff --git a/bad_user_agents.regex.txt b/bad_user_agents.regex.txt index a231c3b..c56e982 100644 --- a/bad_user_agents.regex.txt +++ b/bad_user_agents.regex.txt @@ -1,8 +1,45 @@ +\bAddSearchBot\b +\bAI2Bot\b \bAmazonbot\b +\bAmazonbot\b +\bApplebot\b +\bbigsur.ai\b \bbytedance\b \bBytespider\b +\bCCBot\b +\bChatGPT Agent\b \bChatGPT-User\b -\bclaudebot\b +\bClaude-SearchBot\b +\bClaude-User\b +\bClaudeBot\b +\bCloudVertexBot\b +\bcohere-training-data-crawler\b +\bCotoyogi\b +\bDatenbank Crawler\b +\bDevin\b +\bDiffbot\b +\bDuckAssistBot\b +\bFacebookBot\b +\bGemini-Deep-Research\b +\bGoogle-Extended\b +\bGoogleAgent-Mariner\b +\bGoogleOther\b +\bGPTBot\b +\bICC-Crawler\b +\bKangaroo Bot\b +\bLinerBot\b +\bmeta-externalagent\b +\bMistralAI-User\b +\bnetEstate Imprint Crawler\b +\bNovaAct\b \bOAI-SearchBot\b +\bomgili\b +\bPanguBot\b +\bPerplexity-User\b +\bPerplexityBot\b \bPetalBot\b +\bQualifiedBot\b \bThinkbot\b +\bTimpibot\b +\bWebzio-Extended\b +\bYouBot\b