More Agents

bad_user_agents.regex.txt

@@ -3,14 +3,14 @@
 \bAgency\b
 \bAI2Bot\b
 \bAmazonbot\b
-\bAmazonbot\b
 \bApplebot\b
+\bAwarioRssBot\b
+\bAwarioSmartBot\b
 \bbigsur.ai\b
 \bBitSightBot\b
 \bbytedance\b
 \bBytespider\b
 \bCCBot\b
-\bCCBot\b
 \bChatGPT Agent\b
 \bChatGPT-User\b
 \bClaude-SearchBot\b
@@ -25,8 +25,8 @@
 \bDevin\b
 \bDiffbot\b
 \bDuckAssistBot\b
-\bDuckAssistBot\b
 \bFacebookBot\b
+\bfactset_spyderbot\b
 \bFlyriverBot\b
 \bGemini-Deep-Research\b
 \bGoogle-Extended\b
@@ -42,9 +42,12 @@
 \bKStandBot\b
 \bLinerBot\b
 \bmeta-externalagent\b
+\bmeta-externalfetcher\
 \bMetaInspector\b
 \bMistralAI-User\b
 \bnetEstate Imprint Crawler\b
+\bnetEstate NE Crawler\b
+\bNotebookLM\b
 \bNovaAct\b
 \bOAI-SearchBot\b
 \bomgili\b