我让 OpenClaw 每天自动抓 30+ 个 X 账号,0 次封号:这套方案你也能复制
Source: https://x.com/msjiaozhu/status/2028285401769845207
花了 2 天时间、踩了 5 个坑、经历了 3 版方案迭代,我最终用“纯 RSS + 多实例 Fallback”实现了零依赖、2 分钟跑完 31 个账号的 X 数据抓取。
这个过程中最大的教训是:技术选型不是“选最炫的工具”,而是“选最适合约束条件的方案”。 我从 Camoufox 真实浏览器(酷炫但内存泄漏)退回到简单的 HTTP RSS 请求(朴素但稳定),反而是架构师思维的体现。
今天我把完整的决策演进拆给你看,包括为什么放弃 Camoufox、为什么选择 RSS、以及你可以直接复制给小龙虾的一键部署方案。
一、为什么要在 OpenClaw 里做这件事?
在讲技术方案之前,先说说为什么我选择在 OpenClaw 里实现。
核心原因:OpenClaw 的 Cron 任务 + 子代理能力,天然适合做“定时自动化 + 数据处理”。
传统做法是:
- 写个 Python 脚本
- 部署到服务器
- 配置 crontab
- 出了问题要 SSH 上去看日志
在 OpenClaw 里做的优势:
- ✅ Cron 任务可视化配置:直接在对话里让小龙虾帮你设置定时任务,不用手写 crontab
- ✅ 子代理隔离运行:每次任务在独立的 session 里跑,不污染主会话的上下文
- ✅ 结果自动推送:抓完数据直接调用 message 工具发到 Telegram,不用额外写通知逻辑
- ✅ 轻量级运行:纯 Python 脚本,无外部服务依赖,内存占用极低
这才是 AI 助手的正确用法:不是“帮你写代码”,而是“帮你管理整个自动化流程”。
二、最大的坑:所有人都在用的方案,往往风险最高
刚开始做 X 数据抓取,大部分人的第一反应是什么?
方案 A:直接调官方 API
- ❌ 成本:Basic 套餐 $100/月,只能抓 1 万条推文
- ❌ 风险:需要开发者账号,一旦被检测到“非人类行为”,账号直接被封
- ❌ 限制:API 有严格的速率限制,抓 31 个账号每天的数据都够呛
方案 B:用 twikit 等第三方库
- ❌ 致命问题:需要用你的 X 账号登录,模拟浏览器操作
- ❌ 封号风险极高:X 的反爬虫系统会检测“异常登录行为”,测试 2 天小号直接被永久封禁
方案 C:爬 nitter 公共实例(我最开始的选择)
- ❌ IP 封锁:VPS 的 IP 天然就是“机器人标签”,我试了 4 个 nitter 实例,全部返回 403 或限速页
- ❌ 原因:公共实例被大量爬虫滥用,服务器直接把 VPS IP 段加入黑名单
这里有个反直觉的洞察:越是“大家都在用”的方案,反爬虫系统的针对性就越强。
你以为你在“复用成熟方案”,其实你是在“用已经被标记的指纹”。
三、突破点:IP 封锁不是技术问题,是“身份伪装”问题
我卡在 nitter 公共实例被封的时候,突然想明白一件事:
VPS 直接请求被封,不是因为我的代码写得不好,而是因为“我的身份”暴露了。
反爬虫系统判断你是不是机器人,核心看三点:
- IP 特征:VPS 的 IP 段、请求频率、地理位置
- 请求头特征:User-Agent、TLS 指纹、HTTP/2 指纹
- 行为特征:鼠标轨迹、滚动速度、停留时间
传统爬虫只能伪装第 2 点(改请求头),但第 1 点和第 3 点根本伪装不了。
所以我换了个思路:既然伪装不了,那就“真的变成人”。
这就是我尝试 Camoufox(一个专门用于反反爬的真实浏览器) 的原因——用真实浏览器绕过 IP 封锁和指纹检测。
v2 版方案:Camoufox + aria snapshot
plaintext
OpenClaw Cron任务
└─ 子代理运行脚本
└─ Camoufox Server 渲染 nitter.net/{username}
└─ aria snapshot 解析推文
这个方案确实解决了 IP 封锁问题,但很快暴露了新的致命缺陷——内存泄漏。31 个账号串行跑完需要 51 分钟,直接把机器内存打爆。尝试并发优化(WORKERS=6→3)也无济于事。
这让我意识到:Camoufox 虽然是“最炫的技术”,但并不适合“批量定时抓取”这个场景。
于是我开始思考:有没有更简单、更稳定、资源占用更低的方案?
四、最终方案:纯 RSS + 多实例 Fallback,零依赖也能稳定跑
4.1 技术架构(当前 v3 版)
plaintext
OpenClaw Cron任务(每天09:15)
└─ 子代理运行 x_ideas_scan.py
└─ urllib 请求 nitter.net/{username}/rss
└─ XML 解析推文列表(ElementTree)
└─ 多实例 fallback(3个nitter实例自动切换)
└─ 去重写入 memory/ideas.md
└─ 摘要发送 Telegram 私聊
核心优势:
- ✅ 纯 Python 标准库:urllib + xml.etree,无外部依赖
- ✅ 零 Camoufox 依赖:不需要浏览器服务,内存占用极低
- ✅ 2-3 分钟跑完全部:串行+1.5s 间隔,对 nitter 友好不触发限速
- ✅ 多实例 fallback:3 个 nitter 实例自动切换,单点故障不影响整体
4.2 架构师取舍:为什么从 Camoufox 退回 RSS?
这里我想重点说说技术决策的思路。
v2 版方案(Camoufox 真实浏览器)确实更“酷”:
- 真实浏览器渲染,能绕过最严格的反爬
- 指纹随机化,理论上无法被识别为机器人
- 能获取完整的页面结构和交互数据
但实际跑起来发现致命问题:
- 内存泄漏:连续开关 tab 有泄漏,31 个账号跑完直接把机器内存打爆
- 速度太慢:串行跑需要 51 分钟,超出 Cron 超时限制
- 并发也救不了:改成 6→3 并发后,内存占用更严重,仍然爆机
这时候我面临一个选择:
- 路径 A:继续优化 Camoufox,研究内存泄漏原因,尝试池化浏览器实例
- 路径 B:退一步,用更朴素的 HTTP RSS 请求,牺牲“酷炫度”换取稳定性
最终选择路径 B 的理由(架构师思维):
- 约束条件优先:我的核心需求是“每天稳定抓取公开推文”,不是“绕过最严格的反爬”
- nitter RSS 足够用:虽然拿不到转发数、点赞数等 metadata,但标题+内容+链接足够做内容监控
- 维护成本考量:Camoufox 是黑盒,出问题难排查;纯 Python 脚本出问题 5 分钟能定位
- 资源效率:RSS 方案 2-3 分钟跑完,内存占用几乎为零,符合“轻量级自动化”的定位
这就是架构师的核心能力:不是“用最炫的技术”,而是“在约束下选最合适的方案”。
4.3 为什么这套方案能稳定跑、0 次封号?
1. 完全不需要登录 X 账号
- 通过 nitter RSS 抓取,公开接口,零登录风险
- 零登录 = 零封号风险,最大的护城河
2. 串行+间隔,对 nitter 友好
- 账号间固定 1.5s 间隔,不会触发限速
- 比并发请求更稳,且 2-3 分钟跑完 31 个账号完全可接受
3. 多实例 fallback,单点故障自愈
NITTER_INSTANCES = [ "
", "
", "
", ]
- 单个实例失败自动切换下一个
- 即使某个实例完全挂了,其他实例能保证服务继续
4. OpenClaw 的 Cron + 子代理完美配合
- sessionTarget: isolated,每次独立运行,不污染主会话上下文
- 超时设置为 900 秒(15 分钟),RSS 方案 2-3 分钟跑完,富余充足
这才是生产级自动化的标准:不是“用最牛的技术”,而是“用刚好够用的技术,稳定运行”。
五、如何复制这套方案?(直接给小龙虾就行)
这是最重要的部分:你不需要手动配置,直接把下面这段话复制给你的小龙虾,它会帮你完成所有部署。
复制以下内容给你的 OpenClaw 小龙虾:
markdown
我想部署一套“X 创意雷达”系统,需求如下:
1. 目标:每天自动抓取指定 X 账号的最新推文,存入本地文件,并发送摘要到我的 Telegram。
2. 技术方案(v3 纯 RSS 版):
- 纯 Python 标准库实现:urllib 请求 + xml.etree. ElementTree 解析
- 请求 nitter.net/{username}/rss 获取 RSS 订阅源
- 多实例 fallback:3 个 nitter 实例自动切换(nitter.net / nitter.privacydev.net / nitter.poast.org)
- 串行抓取,账号间 1.5s 间隔,避免触发限速
- 无需 Camoufox,零外部依赖
3. 我要抓取的账号列表:msjiaozhu(你可以替换成你自己想追踪的账号)4. 输出要求:
- 推文存入 memory/ideas.md,保留最近 7 天
- 去重逻辑:用 memory/.ideas_seen.json 记录已抓取的推文 URL(上限 5000 条 FIFO)
- 将 nitter 链接转换为 x.com 链接存储
- 每天抓取完成后,提取最有价值的 5 条推文,发送摘要到我的 Telegram
5. 容错能力:
- 单个账号失败后自动重试 2 次(切换不同 nitter 实例)
- 记录失败账号,不影响其他账号继续抓取
- 脚本输出 RESULT JSON 供 Cron 任务解析请
帮我完成以下步骤:
- 创建 scripts/x_ideas_scan.py 脚本(纯 Python,无需外部依赖)
- 配置 Cron 任务(每天 09:15, isolated session,超时 900 秒)
- 测试运行一次,确认能正常抓取和推送
就这么简单。 小龙虾会自动:
- 生成纯 Python 脚本(urllib + XML 解析,无需安装任何额外服务)
- 配置多实例 fallback 逻辑
- 设置 Cron 任务和超时参数
- 测试运行并给你反馈
你唯一要做的事:把账号列表改成你想追踪的人。
💡 提示:首次运行可能会抓取大量历史推文(因为 seen.json 是空的),这是正常的。第二次起就只会抓取真正的新增内容了。
六、我踩过的 5 个坑(价值千金的失败日志)
很多技术文章只告诉你“最终方案”,但不告诉你“为什么其他方案不行”。这导致后人重复踩坑。
我把每个失败方案的具体原因记录下来:
坑 1:nitter 公共实例 IP 封禁(v1 版)
- 现象:VPS IP 被 nitter 封禁,urllib 直接请求全返回 403 或限速页
- 测试过的失败实例:
nitter.tiekoetter.com、nitter.poast.org、xcancel.com - 当时解法:改用 Camoufox 真实浏览器渲染(v2 版,后也因内存问题放弃)
坑 2:Camoufox 内存泄漏(v2 版)- 导致放弃的核心原因
- 现象:连续开关 tab 有内存泄漏,31 个账号串行跑完需要 51 分钟,直接把机器内存打爆
- 尝试并发优化:WORKERS=6→3,但内存占用更严重,仍然爆机
- 根本问题:Camoufox 不适合批量 tab 操作场景
- 最终解法:彻底放弃 Camoufox,改用 RSS(v3 版)
坑 3: nitter RSS 偶发 404
- 现象:个别账号(如 yihui_indie、AI_Jasonyu)在某些 nitter 实例返回 404
- 原因:nitter 实例对某些账号未建索引,偶发性问题
- 解法:多实例 fallback(3 个实例自动切换),记录失败账号下次自动恢复
坑 4:首次跑 seen.json 为空导致大量“新内容”
- 现象:第一次 RSS 跑出 583 条(31 账号 × ~19 条历史)
- 原因:seen.json 之前基于 Camoufox 方案,切换 RSS 后记录方式不同,相当于全部重新抓取
- 解法:正常现象,第二次起就只出真正新增内容了
坑 5:Cron 任务的模型 ID 配置错误
- 配置的 claude-sonnet-4(无 .6 后缀)是无效 ID
- 正确 ID:claude-sonnet-4.6
好的架构文档 = 决策树 + 失败日志。 记录“为什么不选 A 方案”,比记录“为什么选 B 方案”更有价值。
七、这套方案的局限性(我不会告诉你的缺点)
任何技术方案都有 trade-off,我不想把它吹成“完美方案”。
局限 1:依赖 nitter 的稳定性
- 如果nitter.net哪天挂了,或者改版了,这套方案就失效
- 缓解方案:在脚本里预留多个 nitter 实例的备用地址
局限 2:RSS 只能获取有限字段
- 拿不到转发数、点赞数、评论数等 metadata
- 只能获取标题、内容摘要、链接、发布时间
- 对于“内容监控和选题灵感”场景够用,但做不了数据分析
局限 3:无法抓取“仅关注者可见”的推文
- nitter 只能抓公开推文,如果目标账号设置了隐私保护,这套方案无效
- 但对于“追踪公开内容、获取选题灵感”的场景,完全够用
结尾:OpenClaw 的正确用法,是让 AI 管理你的自动化流程
回到开头的问题:为什么我要在 OpenClaw 里做这件事?
因为大部分人用 AI 助手的方式还停留在“帮我写代码”,而不是“帮我管理整个自动化流程”。
传统做法:
- 让 AI 写个 Python 脚本
- 自己部署到服务器
- 自己配置 crontab
- 出了问题自己 SSH 上去调试
OpenClaw 的做法:
- 告诉小龙虾你的需求
- 它帮你选技术方案、写脚本、配置 Cron、测试运行
- 出了问题它自己检测、自己重启、自己推送结果
- 你只需要每天早上看摘要
这才是 AI 时代的自动化:不是“我用 AI 写代码”,而是“AI 帮我管理整个系统”。
如果你也想让小龙虾帮你做类似的自动化任务,直接把本文第五部分的内容复制给它。它会比你自己折腾快 10 倍。
如果你认同“用 AI 管理自动化流程”这个观点,请转发让更多人看到。
关注我
我会持续分享:
- OpenClaw 实战手记系列(Token 优化、子代理协作、自动化任务)
- 大厂架构师的技术决策方法论
- 如何用 AI 工具实现“一人成军”
你在用 OpenClaw 做过哪些自动化尝试?遇到过什么坑?评论区聊聊,我们一起优化。