13 min read

我让 OpenClaw 每天自动抓 30+ 个 X 账号,0 次封号:这套方案你也能复制

Source: https://x.com/msjiaozhu/status/2028285401769845207

花了 2 天时间、踩了 5 个坑、经历了 3 版方案迭代,我最终用“纯 RSS + 多实例 Fallback”实现了零依赖、2 分钟跑完 31 个账号的 X 数据抓取。

这个过程中最大的教训是:技术选型不是“选最炫的工具”,而是“选最适合约束条件的方案”。 我从 Camoufox 真实浏览器(酷炫但内存泄漏)退回到简单的 HTTP RSS 请求(朴素但稳定),反而是架构师思维的体现。

今天我把完整的决策演进拆给你看,包括为什么放弃 Camoufox、为什么选择 RSS、以及你可以直接复制给小龙虾的一键部署方案。

一、为什么要在 OpenClaw 里做这件事?

在讲技术方案之前,先说说为什么我选择在 OpenClaw 里实现。

核心原因:OpenClaw 的 Cron 任务 + 子代理能力,天然适合做“定时自动化 + 数据处理”。

传统做法是:

  1. 写个 Python 脚本
  2. 部署到服务器
  3. 配置 crontab
  4. 出了问题要 SSH 上去看日志

在 OpenClaw 里做的优势:

  • ✅ Cron 任务可视化配置:直接在对话里让小龙虾帮你设置定时任务,不用手写 crontab
  • ✅ 子代理隔离运行:每次任务在独立的 session 里跑,不污染主会话的上下文
  • ✅ 结果自动推送:抓完数据直接调用 message 工具发到 Telegram,不用额外写通知逻辑
  • ✅ 轻量级运行:纯 Python 脚本,无外部服务依赖,内存占用极低

这才是 AI 助手的正确用法:不是“帮你写代码”,而是“帮你管理整个自动化流程”。

二、最大的坑:所有人都在用的方案,往往风险最高

刚开始做 X 数据抓取,大部分人的第一反应是什么?

方案 A:直接调官方 API

  • ❌ 成本:Basic 套餐 $100/月,只能抓 1 万条推文
  • ❌ 风险:需要开发者账号,一旦被检测到“非人类行为”,账号直接被封
  • ❌ 限制:API 有严格的速率限制,抓 31 个账号每天的数据都够呛

方案 B:用 twikit 等第三方库

  • ❌ 致命问题:需要用你的 X 账号登录,模拟浏览器操作
  • ❌ 封号风险极高:X 的反爬虫系统会检测“异常登录行为”,测试 2 天小号直接被永久封禁

方案 C:爬 nitter 公共实例(我最开始的选择)

  • ❌ IP 封锁:VPS 的 IP 天然就是“机器人标签”,我试了 4 个 nitter 实例,全部返回 403 或限速页
  • ❌ 原因:公共实例被大量爬虫滥用,服务器直接把 VPS IP 段加入黑名单

这里有个反直觉的洞察:越是“大家都在用”的方案,反爬虫系统的针对性就越强。

你以为你在“复用成熟方案”,其实你是在“用已经被标记的指纹”。

三、突破点:IP 封锁不是技术问题,是“身份伪装”问题

我卡在 nitter 公共实例被封的时候,突然想明白一件事:

VPS 直接请求被封,不是因为我的代码写得不好,而是因为“我的身份”暴露了。

反爬虫系统判断你是不是机器人,核心看三点:

  1. IP 特征:VPS 的 IP 段、请求频率、地理位置
  2. 请求头特征:User-Agent、TLS 指纹、HTTP/2 指纹
  3. 行为特征:鼠标轨迹、滚动速度、停留时间

传统爬虫只能伪装第 2 点(改请求头),但第 1 点和第 3 点根本伪装不了。

所以我换了个思路:既然伪装不了,那就“真的变成人”。

这就是我尝试 Camoufox(一个专门用于反反爬的真实浏览器) 的原因——用真实浏览器绕过 IP 封锁和指纹检测。

v2 版方案:Camoufox + aria snapshot

plaintext

OpenClaw Cron任务
  └─ 子代理运行脚本
       └─ Camoufox Server 渲染 nitter.net/{username}
            └─ aria snapshot 解析推文

这个方案确实解决了 IP 封锁问题,但很快暴露了新的致命缺陷——内存泄漏。31 个账号串行跑完需要 51 分钟,直接把机器内存打爆。尝试并发优化(WORKERS=6→3)也无济于事。

这让我意识到:Camoufox 虽然是“最炫的技术”,但并不适合“批量定时抓取”这个场景。

于是我开始思考:有没有更简单、更稳定、资源占用更低的方案?

四、最终方案:纯 RSS + 多实例 Fallback,零依赖也能稳定跑

4.1 技术架构(当前 v3 版)

plaintext

OpenClaw Cron任务(每天09:15)
  └─ 子代理运行 x_ideas_scan.py
       └─ urllib 请求 nitter.net/{username}/rss
       └─ XML 解析推文列表(ElementTree)
       └─ 多实例 fallback(3个nitter实例自动切换)
       └─ 去重写入 memory/ideas.md
       └─ 摘要发送 Telegram 私聊

核心优势:

  • ✅ 纯 Python 标准库:urllib + xml.etree,无外部依赖
  • ✅ 零 Camoufox 依赖:不需要浏览器服务,内存占用极低
  • ✅ 2-3 分钟跑完全部:串行+1.5s 间隔,对 nitter 友好不触发限速
  • ✅ 多实例 fallback:3 个 nitter 实例自动切换,单点故障不影响整体

4.2 架构师取舍:为什么从 Camoufox 退回 RSS?

这里我想重点说说技术决策的思路。

v2 版方案(Camoufox 真实浏览器)确实更“酷”:

  • 真实浏览器渲染,能绕过最严格的反爬
  • 指纹随机化,理论上无法被识别为机器人
  • 能获取完整的页面结构和交互数据

但实际跑起来发现致命问题:

  • 内存泄漏:连续开关 tab 有泄漏,31 个账号跑完直接把机器内存打爆
  • 速度太慢:串行跑需要 51 分钟,超出 Cron 超时限制
  • 并发也救不了:改成 6→3 并发后,内存占用更严重,仍然爆机

这时候我面临一个选择:

  • 路径 A:继续优化 Camoufox,研究内存泄漏原因,尝试池化浏览器实例
  • 路径 B:退一步,用更朴素的 HTTP RSS 请求,牺牲“酷炫度”换取稳定性

最终选择路径 B 的理由(架构师思维):

  1. 约束条件优先:我的核心需求是“每天稳定抓取公开推文”,不是“绕过最严格的反爬”
  2. nitter RSS 足够用:虽然拿不到转发数、点赞数等 metadata,但标题+内容+链接足够做内容监控
  3. 维护成本考量:Camoufox 是黑盒,出问题难排查;纯 Python 脚本出问题 5 分钟能定位
  4. 资源效率:RSS 方案 2-3 分钟跑完,内存占用几乎为零,符合“轻量级自动化”的定位

这就是架构师的核心能力:不是“用最炫的技术”,而是“在约束下选最合适的方案”。

4.3 为什么这套方案能稳定跑、0 次封号?

1. 完全不需要登录 X 账号

  • 通过 nitter RSS 抓取,公开接口,零登录风险
  • 零登录 = 零封号风险,最大的护城河

2. 串行+间隔,对 nitter 友好

  • 账号间固定 1.5s 间隔,不会触发限速
  • 比并发请求更稳,且 2-3 分钟跑完 31 个账号完全可接受

3. 多实例 fallback,单点故障自愈

NITTER_INSTANCES = [ "

https://nitter.net

", "

https://nitter.privacydev.net

", "

https://nitter.poast.org

", ]

  • 单个实例失败自动切换下一个
  • 即使某个实例完全挂了,其他实例能保证服务继续

4. OpenClaw 的 Cron + 子代理完美配合

  • sessionTarget: isolated,每次独立运行,不污染主会话上下文
  • 超时设置为 900 秒(15 分钟),RSS 方案 2-3 分钟跑完,富余充足

这才是生产级自动化的标准:不是“用最牛的技术”,而是“用刚好够用的技术,稳定运行”。

Image

五、如何复制这套方案?(直接给小龙虾就行)

这是最重要的部分:你不需要手动配置,直接把下面这段话复制给你的小龙虾,它会帮你完成所有部署。

复制以下内容给你的 OpenClaw 小龙虾:

markdown

我想部署一套“X 创意雷达”系统,需求如下:
1. 目标:每天自动抓取指定 X 账号的最新推文,存入本地文件,并发送摘要到我的 Telegram。
2. 技术方案(v3 纯 RSS 版):

- 纯 Python 标准库实现:urllib 请求 + xml.etree. ElementTree 解析

- 请求 nitter.net/{username}/rss 获取 RSS 订阅源

- 多实例 fallback:3 个 nitter 实例自动切换(nitter.net / nitter.privacydev.net / nitter.poast.org)

- 串行抓取,账号间 1.5s 间隔,避免触发限速

- 无需 Camoufox,零外部依赖
3. 我要抓取的账号列表:msjiaozhu(你可以替换成你自己想追踪的账号)4. 输出要求:

- 推文存入 memory/ideas.md,保留最近 7 天

- 去重逻辑:用 memory/.ideas_seen.json 记录已抓取的推文 URL(上限 5000 条 FIFO)

- 将 nitter 链接转换为 x.com 链接存储

- 每天抓取完成后,提取最有价值的 5 条推文,发送摘要到我的 Telegram
5. 容错能力:

- 单个账号失败后自动重试 2 次(切换不同 nitter 实例)

- 记录失败账号,不影响其他账号继续抓取

- 脚本输出 RESULT JSON 供 Cron 任务解析请
帮我完成以下步骤:

- 创建 scripts/x_ideas_scan.py 脚本(纯 Python,无需外部依赖)

- 配置 Cron 任务(每天 09:15, isolated session,超时 900 秒)

- 测试运行一次,确认能正常抓取和推送

就这么简单。 小龙虾会自动:

  • 生成纯 Python 脚本(urllib + XML 解析,无需安装任何额外服务)
  • 配置多实例 fallback 逻辑
  • 设置 Cron 任务和超时参数
  • 测试运行并给你反馈

你唯一要做的事:把账号列表改成你想追踪的人。

💡 提示:首次运行可能会抓取大量历史推文(因为 seen.json 是空的),这是正常的。第二次起就只会抓取真正的新增内容了。

六、我踩过的 5 个坑(价值千金的失败日志)

很多技术文章只告诉你“最终方案”,但不告诉你“为什么其他方案不行”。这导致后人重复踩坑。

我把每个失败方案的具体原因记录下来:

坑 1:nitter 公共实例 IP 封禁(v1 版)

  • 现象:VPS IP 被 nitter 封禁,urllib 直接请求全返回 403 或限速页
  • 测试过的失败实例:nitter.tiekoetter.com、nitter.poast.org、xcancel.com
  • 当时解法:改用 Camoufox 真实浏览器渲染(v2 版,后也因内存问题放弃)

坑 2:Camoufox 内存泄漏(v2 版)- 导致放弃的核心原因

  • 现象:连续开关 tab 有内存泄漏,31 个账号串行跑完需要 51 分钟,直接把机器内存打爆
  • 尝试并发优化:WORKERS=6→3,但内存占用更严重,仍然爆机
  • 根本问题:Camoufox 不适合批量 tab 操作场景
  • 最终解法:彻底放弃 Camoufox,改用 RSS(v3 版)

坑 3: nitter RSS 偶发 404

  • 现象:个别账号(如 yihui_indie、AI_Jasonyu)在某些 nitter 实例返回 404
  • 原因:nitter 实例对某些账号未建索引,偶发性问题
  • 解法:多实例 fallback(3 个实例自动切换),记录失败账号下次自动恢复

坑 4:首次跑 seen.json 为空导致大量“新内容”

  • 现象:第一次 RSS 跑出 583 条(31 账号 × ~19 条历史)
  • 原因:seen.json 之前基于 Camoufox 方案,切换 RSS 后记录方式不同,相当于全部重新抓取
  • 解法:正常现象,第二次起就只出真正新增内容了

坑 5:Cron 任务的模型 ID 配置错误

  • 配置的 claude-sonnet-4(无 .6 后缀)是无效 ID
  • 正确 ID:claude-sonnet-4.6

好的架构文档 = 决策树 + 失败日志。 记录“为什么不选 A 方案”,比记录“为什么选 B 方案”更有价值。

七、这套方案的局限性(我不会告诉你的缺点)

任何技术方案都有 trade-off,我不想把它吹成“完美方案”。

局限 1:依赖 nitter 的稳定性

  • 如果nitter.net哪天挂了,或者改版了,这套方案就失效
  • 缓解方案:在脚本里预留多个 nitter 实例的备用地址

局限 2:RSS 只能获取有限字段

  • 拿不到转发数、点赞数、评论数等 metadata
  • 只能获取标题、内容摘要、链接、发布时间
  • 对于“内容监控和选题灵感”场景够用,但做不了数据分析

局限 3:无法抓取“仅关注者可见”的推文

  • nitter 只能抓公开推文,如果目标账号设置了隐私保护,这套方案无效
  • 但对于“追踪公开内容、获取选题灵感”的场景,完全够用

结尾:OpenClaw 的正确用法,是让 AI 管理你的自动化流程

回到开头的问题:为什么我要在 OpenClaw 里做这件事?

因为大部分人用 AI 助手的方式还停留在“帮我写代码”,而不是“帮我管理整个自动化流程”。

传统做法:

  1. 让 AI 写个 Python 脚本
  2. 自己部署到服务器
  3. 自己配置 crontab
  4. 出了问题自己 SSH 上去调试

OpenClaw 的做法:

  1. 告诉小龙虾你的需求
  2. 它帮你选技术方案、写脚本、配置 Cron、测试运行
  3. 出了问题它自己检测、自己重启、自己推送结果
  4. 你只需要每天早上看摘要

这才是 AI 时代的自动化:不是“我用 AI 写代码”,而是“AI 帮我管理整个系统”。

如果你也想让小龙虾帮你做类似的自动化任务,直接把本文第五部分的内容复制给它。它会比你自己折腾快 10 倍。

如果你认同“用 AI 管理自动化流程”这个观点,请转发让更多人看到。

关注我

@msjiaozhu

我会持续分享:

  • OpenClaw 实战手记系列(Token 优化、子代理协作、自动化任务)
  • 大厂架构师的技术决策方法论
  • 如何用 AI 工具实现“一人成军”

你在用 OpenClaw 做过哪些自动化尝试?遇到过什么坑?评论区聊聊,我们一起优化。