为什么你的“AI-First”策略大概率是错的
原文标题:Why Your “AI-First” Strategy Is Probably Wrong
原文链接:https://x.com/intuitiveml/status/2043545596699750791?s=46
说明:以下为中文翻译整理版,尽量忠实原意,并做了少量中文表达优化,方便阅读。
我们现在线上生产代码里,99% 都是 AI 写的。
上周二,我们上午 10 点上线了一个新功能,中午就做完 A/B 测试,下午 3 点因为数据不行把它砍了。下午 5 点,我们又上线了一个更好的版本。三个月前,这样一个循环要花 六周。
我们不是靠在 IDE 里装个 Copilot 就做到这一步的。我们是把整个工程流程拆掉,然后围绕 AI 重新搭了一遍。规划怎么做、开发怎么做、测试怎么做、部署怎么做、团队怎么组织,全都改了。公司里每个人的角色,也跟着变了。
CREAO 是一个 agent 平台。公司 25 人,工程师 10 个。我们从 2025 年 11 月开始做 agents,两个月前,我把整个产品架构和工程工作流从底层重构了一遍。
OpenAI 在 2026 年 2 月提出了一个概念,正好描述了我们已经在做的事:harness engineering。意思是,工程团队最核心的工作,已经不再是写代码,而是让 agents 能完成有用的工作。当某件事失败时,正确的修复方式不再是“再试一次”或者“让人更努力”,而是:到底缺了什么能力?我们怎样把这种能力变成 agent 看得见、能执行、能被约束的东西?
我们当时自己也得出了同样的结论,只是还没有名字而已。
AI-First 不等于“在用 AI”
很多公司只是把 AI 硬塞进现有流程里。
一个工程师打开 Cursor。PM 用 ChatGPT 写 spec。QA 试着让 AI 帮忙生成测试。整个工作流本身没变,只是效率提高了 10% 到 20%。结构上什么都没变。
这叫 AI-assisted。
而 AI-first 的意思是:你围绕一个假设去重设计流程、架构和组织,这个假设就是 AI 是主要 builder。
你不再问“AI 怎么帮助工程师”,而是开始问:
我们要怎么重构整个系统,才能让 AI 来做构建,而工程师只负责方向和判断?
这两者的差别不是线性的,而是乘法级别的。
我经常看到团队自称 AI-first,但他们依旧跑着同样的 sprint、同样的 Jira、同样的 weekly standup、同样的 QA sign-off。他们只是把 AI 加进了原来的 loop,而不是重做这个 loop。
一个常见版本,就是所谓 vibe coding:打开 Cursor,提示到它能跑,commit,再来一轮。这样可以做出 prototype,但生产系统需要的是稳定、可靠、安全。如果代码是 AI 写的,那你就必须有一套系统去保证这些性质。真正要建的是系统本身,prompt 反而是可以随时替换的消耗品。
为什么我们必须改
去年,我观察团队工作方式时,看到三个足以拖死我们的瓶颈。
1. 产品管理瓶颈
我们的 PM 会花几周时间去调研、设计、写 spec。过去几十年,产品管理基本都是这么运作的。
但问题在于,agent 两小时就能做完一个 feature。如果构建时间从几个月压缩到几小时,那一个持续几周的 planning cycle 就成了新的约束条件。
你不可能一边花几个月想一件事,一边又只花两小时把它做出来。这在时间结构上本身就是错位的。
所以 PM 要么进化成一种产品导向的 architect,以高速迭代的节奏工作;要么就得退出 build cycle。设计不该再靠委员会审阅的规范文档来推动,而应该通过 快速原型 → 上线 → 测试 → 迭代 的循环完成。
2. QA 瓶颈
同样的问题也出现在 QA 上。
一个 feature 由 agent 两小时写完,QA 却还要花三天手工测各种 corner case。
于是我们把手工 QA 替换成了由 AI 构建的测试平台,专门测试 AI 写出来的代码。验证速度必须和实现速度处在同一个量级,否则你只是把旧瓶颈往下游平移了十英尺。
3. Headcount 瓶颈
我们的竞争对手很多都比我们多 100 倍以上的人在做类似的事。我们只有 25 个人,不可能靠招人把差距补上,只能靠重构系统。
于是,至少有三套系统必须变成 AI-native:
- 产品怎么设计
- 产品怎么实现
- 产品怎么测试
其中任何一环如果还是人工为主,都会成为整条流水线的约束项。
最大胆的一步:统一架构
在这一切之前,我必须先修 codebase。
我们的老架构散落在多个独立系统中。一个改动,往往要同时碰三四个 repo。对于人类工程师来说,这还算能 manage;但从 AI agent 的视角看,这种系统是不透明的。它看不到全局,无法推理跨服务影响,也没法在本地完整跑 integration tests。
所以我必须把所有代码统一进一个 monorepo。理由之一非常直接:让 AI 能看见一切。
这就是 harness engineering 的一个实际原则:你把系统越多部分拉进 agent 能检查、验证、修改的形态里,杠杆就越大。碎片化 codebase 对 agent 来说近乎隐形,而统一后的系统则变得可读。
我花了一周设计新系统:planning stage、implementation stage、testing stage、integration testing stage。然后又花了一周,用 agents 把整套代码库重构了一遍。
CREAO 本身就是 agent 平台。我们用自己的 agents 去重建那个运行 agents 的平台。如果产品连自己都 build 不了,那它就不算真的 work。
技术栈
下面是我们的 stack,以及每一层负责什么。
基础设施:AWS
我们跑在 AWS 上,用自动扩缩容的容器服务,配上 circuit-breaker rollback。如果部署后指标恶化,系统会自动回滚。
CloudWatch 是整个系统的中枢神经。所有服务都做 structured logging,配了 25+ 个 alarm,还有每天由自动化工作流查询的自定义 metrics。每一段基础设施都必须暴露出结构化、可查询的信号。因为如果 AI 看不懂日志,它就没法定位问题。
CI/CD:GitHub Actions
所有代码改动都必须经过一个六阶段流水线:
Verify CI → Build and Deploy Dev → Test Dev → Deploy Prod → Test Prod → Release
每个 PR 的 CI gate 都强制执行:
- typecheck
- lint
- unit tests
- integration tests
- Docker builds
- Playwright end-to-end tests
- environment parity checks
没有哪个阶段是可选的,也没有人工特批跳过。整条流水线必须是 deterministic 的,这样 agent 才能预测结果、理解失败原因。
AI Code Review:Claude
每个 PR 都会自动触发三轮并行 AI review,使用 Claude Opus 4.6:
- 代码质量:逻辑错误、性能问题、可维护性
- 安全审查:漏洞扫描、认证边界检查、注入风险
- 依赖扫描:供应链风险、版本冲突、许可证问题
这些不是“建议”,而是真正的 review gate。它们和人工 review 并行运行,能在高频部署节奏下补足人类注意力的极限。因为如果你一天部署 8 次,没有任何人类 reviewer 能对每一个 PR 都保持稳定注意力。
工程师也可以直接在 GitHub issue 或 PR 里 @claude,让 agent 帮忙做实现方案、debug 或代码分析。因为 agent 能看到整个 monorepo,所以上下文是能跨对话持续的。
自愈式反馈回路
这套系统的核心,是一个 self-healing loop。
每天早上 9:00 AM UTC,自动 health workflow 会先跑一次。Claude Sonnet 4.6 去查 CloudWatch,分析所有服务里的错误模式,然后生成一份面向管理层的健康总结,直接发到 Microsoft Teams。没有人需要手动去问。
一小时后,triage engine 开始跑。它会把 CloudWatch 和 Sentry 里的生产错误做聚类,按照九个严重性维度打分,然后自动在 Linear 里创建 investigation tickets。每张 ticket 都带:
- 样例日志
- 受影响用户
- 受影响端点
- 建议调查路径
系统会自动去重。如果某个错误模式已经有打开中的 issue,它会更新旧 issue;如果曾经关闭过的 issue 又复发,它会识别出 regression,然后自动 reopen。
当工程师推送修复后,同一套流水线接着处理:三轮 Claude review 跑 PR,CI 验证,通过六阶段 deploy pipeline 在 dev 和 prod 中逐级晋升,每一阶段都伴随测试。部署后,triage engine 会重新回头检查 CloudWatch。如果原来的错误消失了,对应 Linear ticket 会自动关闭。
这里每个工具只负责一个阶段,没有哪个工具试图包打一切。正是这个日常循环,形成了一条错误被发现、被归因、被修复、被验证的自愈回路,而人工介入被压缩到最低。
我曾对 Business Insider 的记者说过一句话:
AI 会创建 PR,而人类只需要审查它有没有风险。
Feature Flags 和配套栈
我们用 Statsig 管 feature flags。所有 feature 都在开关后面上线。典型 rollout 方式是:
- 先给团队自己用
- 再小比例放量
- 再全量发布,或者直接砍掉
如果 feature 让指标变差,kill switch 可以立刻关掉,不需要重新部署。坏 feature 当天上线,当天就能死。A/B testing 也跑在同一个系统里。
Graphite 用来管理 PR branching:merge queue 会自动 rebase 到 main,重跑 CI,只有全绿才允许合并。stacked PR 让高吞吐下的增量 review 成为可能。
Sentry 负责跨服务的结构化异常报告,再和 CloudWatch 在 triage engine 里合并,形成跨工具上下文。Linear 则是人类面向层:自动生成 ticket,带严重性、样例日志、调查建议。去重逻辑能防止噪音爆炸,而修复后的自动验证则会自动关闭已解决问题。
一个 feature 从想法到上线的路径
新 feature 路径
- architect 用结构化 prompt 定义任务,附上 codebase context、目标和约束。
- agent 拆解任务,规划实现,写代码,并生成自己的测试。
- 打开 PR,跑三轮 Claude review。人类 reviewer 只看战略层面的风险,而不是逐行验代码。
- CI 验证:typecheck、lint、单测、集成测试、端到端测试。
- Graphite 的 merge queue 执行 rebase,重跑 CI,全绿后合并。
- 六阶段 deploy pipeline 从 dev 一路推到 prod,每一层都带测试。
- feature gate 先对团队开放,再渐进式放量,同时监控指标。
- 如果任何地方恶化,可立即 kill switch;严重问题则触发 circuit-breaker 自动回滚。
Bug 修复路径
- CloudWatch 和 Sentry 检测到错误。
- Claude triage engine 对严重性打分,在 Linear 里创建附带完整调查上下文的 issue。
- 工程师介入。AI 已经先做过诊断,人类只需要验证并推进修复。
- 再经过同样的 review、CI、deploy、monitoring 流程。
- triage engine 重新验证。如果已修好,ticket 自动关闭。
两条路径走的是同一套 pipeline。一个系统,一个标准。
结果
在连续 14 天里,我们平均每天做 3 到 8 次生产部署。而在旧模式下,整整两周时间甚至未必够我们发出一次正式生产版本。
坏功能会在上线当天就被拉掉。新功能往往在被想出来的当天就已经在线。A/B 测试会实时告诉我们影响如何。
很多人以为我们只是拿质量换速度。事实恰好相反:
- 用户参与度上升了
- 支付转化上升了
- 结果比以前更好
因为反馈回路更紧了。你每天发版时学到的东西,会远远多于你按月发版时学到的东西。
新的工程组织形态
未来会存在两类工程师。
1. Architect
一个或两个就够。
他们负责设计标准操作流程,教 AI 如何工作;负责搭建测试基础设施、集成系统、triage 系统;决定架构和系统边界;定义“什么叫做对 agent 来说是 good”。
这个角色要求的是深度批判性思维。你不是跟着 AI 走,而是要批评 AI。
当 agent 给出方案时,architect 要去找里面的洞:
- 它漏了什么 failure mode?
- 它跨越了哪些本不该跨越的安全边界?
- 它正在积累什么技术债?
我自己有物理学 PhD。它对我最有用的训练,不是知识本身,而是:质疑假设、压力测试论证、寻找缺失项。 未来,比起“写出代码”的能力,更值钱的是“批评 AI”的能力。
这也是最难招到的角色。
2. Operator
其他大多数人都属于这一类。
这份工作依然重要,只是结构变了。
AI 会把任务分发给人。triage system 发现 bug、创建 ticket、附上诊断,并分配给合适的人;人负责调查、验证、批准修复。AI 生成 PR,而人判断它有没有风险。
人的工作会变成:
- bug 调查
- UI 微调
- CSS 改善
- PR review
- 验证
这些事依然需要技能和注意力,但不再要求旧模型里那种几乎人人都要承担的架构级推理负担。
谁适应得最快
我观察到一个出乎意料的模式:junior engineers 适应得比 senior engineers 更快。
经验没那么深的工程师反而更容易觉得自己被赋能了,因为这些工具极大放大了他们的影响力。他们也没那么多十几年积累下来的习惯要先拆掉。
而经验很强的 senior engineers 反而最难接受,因为他们过去两个月的工作量,现在 AI 一个小时可能就能做完。你花多年建立起来的一套稀缺技能,忽然面临贬值,这当然很难消化。
这不是价值判断,只是我的观察。在这个转型里,适应性比积累下来的旧技能更重要。
人的那一面:管理塌缩了
两个月前,我 60% 的时间花在管理人上:对齐优先级、开会、给反馈、带工程师。
今天,这个比例已经掉到 10% 以下。
传统 CTO 模型强调 empowering team,让别人也去做架构工作、训练他们、逐步下放。但如果整个系统最后只需要一两个 architect,那我就必须先自己把它做出来。于是我从“管理者”重新回到“builder”。我现在多数时候从早上 9 点一直写到凌晨 3 点,设计 SOP,设计系统架构,维护 harness。
压力更大,但我更享受 building,而不是 endless alignment。
更少争论,更好的人际关系
我和联合创始人、工程师之间的关系反而比以前更好了。
以前,我跟团队大部分互动都是 alignment meetings:讨论取舍、争论优先级、对技术决策出现分歧。这些在传统模型里很必要,但也很消耗人。
现在我当然还是和团队说话,只是更多是在聊别的:
- 非工作话题
- 随意聊天
- 团建旅行
我们相处更顺了,因为那些过去必须在工作里争吵的部分,很多已经由系统替我们做掉了。
不确定性是真实存在的
我不会假装所有人都很开心。
当我不再每天和每个人频繁沟通时,部分团队成员会感到不安:
- CTO 不再天天找我,是不是说明我没价值了?
- 在这个新世界里,我的位置是什么?
这些担忧都很合理。
还有一些人,花更多时间在争论“AI 到底能不能做我的工作”,而不是直接去做工作本身。转型期天然会带来焦虑,这点我没有一个特别干净的答案。
但我有一个原则:我们不会因为某个工程师引入了生产 bug 就炒掉他。 我们会改 review 机制、加强测试、加 guardrails。对 AI 也是一样。如果 AI 犯错,我们要做的是建立更强的验证、更清晰的约束、更好的可观测性。
不只是工程,其他部门也要 AI-native
我看到很多公司开始做 AI-first engineering,但工程之外的环节还是全手工。
如果工程团队几小时就能上线功能,但 marketing 要一周后才能发公告,那 marketing 就成了瓶颈。
如果 product team 还在按月做 planning,那 planning 就成了瓶颈。
在 CREAO,我们把 AI-native operations 推到了所有职能:
- Product release notes:AI 从 changelog 和 feature 描述里自动生成
- Feature intro videos:AI 生成动态内容
- Social 日更内容:AI 编排并自动发布
- Health reports 和 analytics summaries:AI 从 CloudWatch 和生产数据库中生成
工程、产品、营销、增长,必须跑在同一套 AI-native workflow 里。如果一个环节是 agent speed,另一个环节还是 human speed,那后者就会卡住整个系统。
这对工程师意味着什么
你的价值,正在从“代码产出量”迁移到“判断质量”。
快速写代码的能力,每个月都在变得更不值钱;而评估、批评、引导 AI 的能力,则每个月都更值钱。
产品 sense 和审美判断 也会越来越重要。你能不能在用户开口之前就看出一个 AI 生成的 UI 很别扭?你能不能在一个架构方案里提前看到 agent 漏掉的 failure mode?
我会对我们 19 岁的 interns 说:去训练 critical thinking。学会评估论证,发现空白,质疑假设,学会识别什么叫 good design。这些能力会长期复利。
给 CTO 和创始人的建议
- 如果你的 PM 流程比构建时间还长,先从这里动手。
- 在大规模用 agents 前,先把 testing harness 搭好。高速 AI 如果没有高速验证,只会把技术债堆得更快。
- 先从一个 architect 开始。一个能把系统搭起来并证明其有效的人,再慢慢把其他人以 operator 角色带进来。
- 把 AI-native 推到所有职能,不只是工程。
- 预期会有阻力,有些人一定会反弹。
给整个行业
OpenAI、Anthropic,以及多支独立团队,其实都在收敛到同一组原则:
- 结构化上下文
- 专用 agents
- 持久记忆
- 执行循环
Harness engineering 正在成为一种标准。
而驱动这一切的,是模型能力本身。我把 CREAO 过去两个月里的整个变化,都归因于模型的跃迁。Opus 4.5 做不到 Opus 4.6 做到的事情,而下一代模型只会进一步加速这一变化。
我相信,one-person company 会越来越常见。如果一个 architect 带着 agents 就能做掉 100 个人的活,那很多公司可能连第二个员工都不需要。
我们还很早
我接触的大多数创始人和工程师,还在按传统方式工作。有些人在考虑转型,但真正已经动手彻底改造的人,依然很少。
一位记者朋友跟我说,她就这个话题采访过五个人左右。她对我说:“我觉得还没有谁像你们这样,把整套 workflow 全都彻底重做了一遍。”
这些工具,今天任何团队都能拿到。我们的 stack 里没有什么是专有黑科技。
真正的竞争优势,不是工具本身,而是:
- 你有没有决心围绕这些工具重构一切
- 你有没有意愿吞下这次重构的成本
而这个成本是真实的:
- 员工的不确定感
- CTO 每天 18 小时工作
- senior engineers 对自我价值的怀疑
- 一段旧系统已消失、新系统还没被证明的真空期
这些成本,我们都付了。
两个月后,数字开始自己说话。
我们做的是 agent 平台。
而我们,是用 agents 把它做出来的。