diff --git a/bad_user_agents.regex.txt b/bad_user_agents.regex.txt index 7360af5..0777a24 100644 --- a/bad_user_agents.regex.txt +++ b/bad_user_agents.regex.txt @@ -18,6 +18,7 @@ \bClaude-User\b \bClaudeBot\b \bCloudVertexBot\b +\bCMS-Checker\b \bcohere-training-data-crawler\b \bCotoyogi\b \bDataprovider.com\b @@ -27,6 +28,8 @@ \bDiffbot\b \bDuckAssistBot\b \bFacebookBot\b +\bfacebookexternalhit\b +\bFaceboot\b \bfactset_spyderbot\b \bFlyriverBot\b \bGemini-Deep-Research\b @@ -47,13 +50,13 @@ \bmeta-externalfetcher\b \bMetaInspector\b \bMistralAI-User\b -\bnetEstate Imprint Crawler\b -\bnetEstate NE Crawler\b +\bnetEstate\b \bNotebookLM\b \bNovaAct\b \bOAI-SearchBot\b \bomgili\b \bOpenWave\b +\bOwler\b \bPanguBot\b \bPerplexity-User\b \bPerplexityBot\b @@ -63,6 +66,7 @@ \bThinkbot\b \bTimpibot\b \bTwingly\b +\bTwitterbot\b \bWebsite-info.net-Robot\b \bWebzio-Extended\b \bwpbot\b