龙虾养殖尸检报告:9 条失败的经验教训
Source: http://x.com/i/article/2034866976074698752
让 Opus 总结了过去的养虾经验,重点关注删档重来的失败案例,给我出具了一份尸检报告,只字未改
以下:
架构类教训
教训 1: Prompt 不是代码,不要当代码写
旧系统把 AGENTS.md 写成了 145 行的"宪法",5 个 SOP 共计 ~500 行,试图用自然语言定义状态机、转移条件、异常分支。 结果:LLM 上下文被规则淹没,连最基本的"收到消息→干活→回复"都做不到了。
原则:Prompt 只管"你是谁、你怎么说话、你的边界在哪"。流程控制交给代码。 教训 2: 确定性的事不要让 LLM 做
旧系统让 LLM 负责 inbox 分流(判断消息类型→写入 active.md)、task 状态管理(标记 [/] [x])、heartbeat 自检。LLM 每一步都可能漂移、遗忘、幻觉。
原则:凡是可以 if/else 判断的,用脚本。LLM 只做需要理解力和判断力的事。 教训 3: 安全网不能依赖被保护对象
Heartbeat 指望 LLM 自己检查自己有没有卡死——这就像让一个昏迷的病人自己拨打 120。
原则:监控层必须是纯代码(bash/node),不经过 LLM。
Prompt 设计类教训
教训 5: 规则越多,遵守率越低
从 SOUL(36行)+ AGENTS(145行)+ HEARTBEAT(31行)+ IDENTITY(25行)+ STARTUP(26行)+ USER(21行)= 284 行系统 prompt,再加 5 个 SOP + 14 个 Skill。LLM 的注意力是有限的,规则如果超过了注意力容量,效果不是线性下降——是崩塌式失效。
原则:核心 prompt ≤ 50 行。超出的部分要么删掉,要么降级为"需要时 RAG 召回"。
教训 6: Few-Shot 比规则有效 10 倍
旧系统有大量抽象规则("消化过再开口""渐进式披露"),但删掉了具体的 ❌/✅ 对比范例后,输出立刻退化回机器味列表。
原则:1 个好的例子 > 10 条抽象规则。SOUL 里必须有至少 1 个输出范例。
教训 7: "主动性"不能靠 632 行 Skill 实现
旧系统的 proactive-agent skill 有 632 行,试图用详细指令让 LLM "主动"。结果 LLM 被指令压得更被动了。主动性来自简单的价值观指引 + 足够的上下文空间,不来自详细操作手册。
原则:"做完了想想用户真正要什么,能往前推就推,涉及成本/风险/不可逆才停" — 这一句话比 632 行有效。
教训 8: 不要在 prompt 里写"禁止"清单
旧系统大量使用 ⚠️⛔🚨ℹ️ 标注的禁止项。LLM 对否定指令的遵守率天然低于肯定指令("不要做 X" 不如 "做 Y")。
原则:告诉 LLM 该做什么,而不是不该做什么。
运维类教训 教训 9: 改一个文件可能破坏整条链路
HEARTBEAT.md 从 tasks/main/active.md 改成 tasks/trading_analyst/active.md,一行之差,整个任务执行管线瘫痪无人发现。
原则:核心配置文件修改后必须验证。理想情况是有自动化冒烟测试。
以上。
祝大家 build 愉快。