19 min read

为什么你的“AI-First”策略大概率是错的

原文标题:Why Your “AI-First” Strategy Is Probably Wrong
原文链接:https://x.com/intuitiveml/status/2043545596699750791?s=46
说明:以下为中文翻译整理版,尽量忠实原意,并做了少量中文表达优化,方便阅读。

我们现在线上生产代码里,99% 都是 AI 写的。

上周二,我们上午 10 点上线了一个新功能,中午就做完 A/B 测试,下午 3 点因为数据不行把它砍了。下午 5 点,我们又上线了一个更好的版本。三个月前,这样一个循环要花 六周。

我们不是靠在 IDE 里装个 Copilot 就做到这一步的。我们是把整个工程流程拆掉,然后围绕 AI 重新搭了一遍。规划怎么做、开发怎么做、测试怎么做、部署怎么做、团队怎么组织,全都改了。公司里每个人的角色,也跟着变了。

CREAO 是一个 agent 平台。公司 25 人,工程师 10 个。我们从 2025 年 11 月开始做 agents,两个月前,我把整个产品架构和工程工作流从底层重构了一遍。

OpenAI 在 2026 年 2 月提出了一个概念,正好描述了我们已经在做的事:harness engineering。意思是,工程团队最核心的工作,已经不再是写代码,而是让 agents 能完成有用的工作。当某件事失败时,正确的修复方式不再是“再试一次”或者“让人更努力”,而是:到底缺了什么能力?我们怎样把这种能力变成 agent 看得见、能执行、能被约束的东西?

我们当时自己也得出了同样的结论,只是还没有名字而已。

AI-First 不等于“在用 AI”

很多公司只是把 AI 硬塞进现有流程里。

一个工程师打开 Cursor。PM 用 ChatGPT 写 spec。QA 试着让 AI 帮忙生成测试。整个工作流本身没变,只是效率提高了 10% 到 20%。结构上什么都没变。

这叫 AI-assisted。

而 AI-first 的意思是:你围绕一个假设去重设计流程、架构和组织,这个假设就是 AI 是主要 builder。

你不再问“AI 怎么帮助工程师”,而是开始问:

我们要怎么重构整个系统,才能让 AI 来做构建,而工程师只负责方向和判断?

这两者的差别不是线性的,而是乘法级别的。

我经常看到团队自称 AI-first,但他们依旧跑着同样的 sprint、同样的 Jira、同样的 weekly standup、同样的 QA sign-off。他们只是把 AI 加进了原来的 loop,而不是重做这个 loop。

一个常见版本,就是所谓 vibe coding:打开 Cursor,提示到它能跑,commit,再来一轮。这样可以做出 prototype,但生产系统需要的是稳定、可靠、安全。如果代码是 AI 写的,那你就必须有一套系统去保证这些性质。真正要建的是系统本身,prompt 反而是可以随时替换的消耗品。

为什么我们必须改

去年,我观察团队工作方式时,看到三个足以拖死我们的瓶颈。

1. 产品管理瓶颈

我们的 PM 会花几周时间去调研、设计、写 spec。过去几十年,产品管理基本都是这么运作的。

但问题在于,agent 两小时就能做完一个 feature。如果构建时间从几个月压缩到几小时,那一个持续几周的 planning cycle 就成了新的约束条件。

你不可能一边花几个月想一件事,一边又只花两小时把它做出来。这在时间结构上本身就是错位的。

所以 PM 要么进化成一种产品导向的 architect,以高速迭代的节奏工作;要么就得退出 build cycle。设计不该再靠委员会审阅的规范文档来推动,而应该通过 快速原型 → 上线 → 测试 → 迭代 的循环完成。

2. QA 瓶颈

同样的问题也出现在 QA 上。

一个 feature 由 agent 两小时写完,QA 却还要花三天手工测各种 corner case。

于是我们把手工 QA 替换成了由 AI 构建的测试平台,专门测试 AI 写出来的代码。验证速度必须和实现速度处在同一个量级,否则你只是把旧瓶颈往下游平移了十英尺。

3. Headcount 瓶颈

我们的竞争对手很多都比我们多 100 倍以上的人在做类似的事。我们只有 25 个人,不可能靠招人把差距补上,只能靠重构系统。

于是,至少有三套系统必须变成 AI-native:

  • 产品怎么设计
  • 产品怎么实现
  • 产品怎么测试

其中任何一环如果还是人工为主,都会成为整条流水线的约束项。

最大胆的一步:统一架构

Image

在这一切之前,我必须先修 codebase。

我们的老架构散落在多个独立系统中。一个改动,往往要同时碰三四个 repo。对于人类工程师来说,这还算能 manage;但从 AI agent 的视角看,这种系统是不透明的。它看不到全局,无法推理跨服务影响,也没法在本地完整跑 integration tests。

所以我必须把所有代码统一进一个 monorepo。理由之一非常直接:让 AI 能看见一切。

这就是 harness engineering 的一个实际原则:你把系统越多部分拉进 agent 能检查、验证、修改的形态里,杠杆就越大。碎片化 codebase 对 agent 来说近乎隐形,而统一后的系统则变得可读。

我花了一周设计新系统:planning stage、implementation stage、testing stage、integration testing stage。然后又花了一周,用 agents 把整套代码库重构了一遍。

CREAO 本身就是 agent 平台。我们用自己的 agents 去重建那个运行 agents 的平台。如果产品连自己都 build 不了,那它就不算真的 work。

技术栈

下面是我们的 stack,以及每一层负责什么。

基础设施:AWS

我们跑在 AWS 上,用自动扩缩容的容器服务,配上 circuit-breaker rollback。如果部署后指标恶化,系统会自动回滚。

CloudWatch 是整个系统的中枢神经。所有服务都做 structured logging,配了 25+ 个 alarm,还有每天由自动化工作流查询的自定义 metrics。每一段基础设施都必须暴露出结构化、可查询的信号。因为如果 AI 看不懂日志,它就没法定位问题。

CI/CD:GitHub Actions

所有代码改动都必须经过一个六阶段流水线:

Verify CI → Build and Deploy Dev → Test Dev → Deploy Prod → Test Prod → Release

每个 PR 的 CI gate 都强制执行:

  • typecheck
  • lint
  • unit tests
  • integration tests
  • Docker builds
  • Playwright end-to-end tests
  • environment parity checks

没有哪个阶段是可选的,也没有人工特批跳过。整条流水线必须是 deterministic 的,这样 agent 才能预测结果、理解失败原因。

AI Code Review:Claude

每个 PR 都会自动触发三轮并行 AI review,使用 Claude Opus 4.6:

  1. 代码质量:逻辑错误、性能问题、可维护性
  2. 安全审查:漏洞扫描、认证边界检查、注入风险
  3. 依赖扫描:供应链风险、版本冲突、许可证问题

这些不是“建议”,而是真正的 review gate。它们和人工 review 并行运行,能在高频部署节奏下补足人类注意力的极限。因为如果你一天部署 8 次,没有任何人类 reviewer 能对每一个 PR 都保持稳定注意力。

工程师也可以直接在 GitHub issue 或 PR 里 @claude,让 agent 帮忙做实现方案、debug 或代码分析。因为 agent 能看到整个 monorepo,所以上下文是能跨对话持续的。

自愈式反馈回路

这套系统的核心,是一个 self-healing loop。

每天早上 9:00 AM UTC,自动 health workflow 会先跑一次。Claude Sonnet 4.6 去查 CloudWatch,分析所有服务里的错误模式,然后生成一份面向管理层的健康总结,直接发到 Microsoft Teams。没有人需要手动去问。

一小时后,triage engine 开始跑。它会把 CloudWatch 和 Sentry 里的生产错误做聚类,按照九个严重性维度打分,然后自动在 Linear 里创建 investigation tickets。每张 ticket 都带:

  • 样例日志
  • 受影响用户
  • 受影响端点
  • 建议调查路径

系统会自动去重。如果某个错误模式已经有打开中的 issue,它会更新旧 issue;如果曾经关闭过的 issue 又复发,它会识别出 regression,然后自动 reopen。

当工程师推送修复后,同一套流水线接着处理:三轮 Claude review 跑 PR,CI 验证,通过六阶段 deploy pipeline 在 dev 和 prod 中逐级晋升,每一阶段都伴随测试。部署后,triage engine 会重新回头检查 CloudWatch。如果原来的错误消失了,对应 Linear ticket 会自动关闭。

Image

这里每个工具只负责一个阶段,没有哪个工具试图包打一切。正是这个日常循环,形成了一条错误被发现、被归因、被修复、被验证的自愈回路,而人工介入被压缩到最低。

我曾对 Business Insider 的记者说过一句话:

AI 会创建 PR,而人类只需要审查它有没有风险。

Feature Flags 和配套栈

我们用 Statsig 管 feature flags。所有 feature 都在开关后面上线。典型 rollout 方式是:

  • 先给团队自己用
  • 再小比例放量
  • 再全量发布,或者直接砍掉

如果 feature 让指标变差,kill switch 可以立刻关掉,不需要重新部署。坏 feature 当天上线,当天就能死。A/B testing 也跑在同一个系统里。

Graphite 用来管理 PR branching:merge queue 会自动 rebase 到 main,重跑 CI,只有全绿才允许合并。stacked PR 让高吞吐下的增量 review 成为可能。

Sentry 负责跨服务的结构化异常报告,再和 CloudWatch 在 triage engine 里合并,形成跨工具上下文。Linear 则是人类面向层:自动生成 ticket,带严重性、样例日志、调查建议。去重逻辑能防止噪音爆炸,而修复后的自动验证则会自动关闭已解决问题。

一个 feature 从想法到上线的路径

Image

新 feature 路径

  1. architect 用结构化 prompt 定义任务,附上 codebase context、目标和约束。
  2. agent 拆解任务,规划实现,写代码,并生成自己的测试。
  3. 打开 PR,跑三轮 Claude review。人类 reviewer 只看战略层面的风险,而不是逐行验代码。
  4. CI 验证:typecheck、lint、单测、集成测试、端到端测试。
  5. Graphite 的 merge queue 执行 rebase,重跑 CI,全绿后合并。
  6. 六阶段 deploy pipeline 从 dev 一路推到 prod,每一层都带测试。
  7. feature gate 先对团队开放,再渐进式放量,同时监控指标。
  8. 如果任何地方恶化,可立即 kill switch;严重问题则触发 circuit-breaker 自动回滚。

Bug 修复路径

  1. CloudWatch 和 Sentry 检测到错误。
  2. Claude triage engine 对严重性打分,在 Linear 里创建附带完整调查上下文的 issue。
  3. 工程师介入。AI 已经先做过诊断,人类只需要验证并推进修复。
  4. 再经过同样的 review、CI、deploy、monitoring 流程。
  5. triage engine 重新验证。如果已修好,ticket 自动关闭。

两条路径走的是同一套 pipeline。一个系统,一个标准。

结果

Image

在连续 14 天里,我们平均每天做 3 到 8 次生产部署。而在旧模式下,整整两周时间甚至未必够我们发出一次正式生产版本。

坏功能会在上线当天就被拉掉。新功能往往在被想出来的当天就已经在线。A/B 测试会实时告诉我们影响如何。

很多人以为我们只是拿质量换速度。事实恰好相反:

  • 用户参与度上升了
  • 支付转化上升了
  • 结果比以前更好

因为反馈回路更紧了。你每天发版时学到的东西,会远远多于你按月发版时学到的东西。

新的工程组织形态

未来会存在两类工程师。

1. Architect

一个或两个就够。

他们负责设计标准操作流程,教 AI 如何工作;负责搭建测试基础设施、集成系统、triage 系统;决定架构和系统边界;定义“什么叫做对 agent 来说是 good”。

这个角色要求的是深度批判性思维。你不是跟着 AI 走,而是要批评 AI。

当 agent 给出方案时,architect 要去找里面的洞:

  • 它漏了什么 failure mode?
  • 它跨越了哪些本不该跨越的安全边界?
  • 它正在积累什么技术债?

我自己有物理学 PhD。它对我最有用的训练,不是知识本身,而是:质疑假设、压力测试论证、寻找缺失项。 未来,比起“写出代码”的能力,更值钱的是“批评 AI”的能力。

这也是最难招到的角色。

2. Operator

其他大多数人都属于这一类。

这份工作依然重要,只是结构变了。

AI 会把任务分发给人。triage system 发现 bug、创建 ticket、附上诊断,并分配给合适的人;人负责调查、验证、批准修复。AI 生成 PR,而人判断它有没有风险。

人的工作会变成:

  • bug 调查
  • UI 微调
  • CSS 改善
  • PR review
  • 验证

这些事依然需要技能和注意力,但不再要求旧模型里那种几乎人人都要承担的架构级推理负担。

谁适应得最快

我观察到一个出乎意料的模式:junior engineers 适应得比 senior engineers 更快。

经验没那么深的工程师反而更容易觉得自己被赋能了,因为这些工具极大放大了他们的影响力。他们也没那么多十几年积累下来的习惯要先拆掉。

而经验很强的 senior engineers 反而最难接受,因为他们过去两个月的工作量,现在 AI 一个小时可能就能做完。你花多年建立起来的一套稀缺技能,忽然面临贬值,这当然很难消化。

这不是价值判断,只是我的观察。在这个转型里,适应性比积累下来的旧技能更重要。

人的那一面:管理塌缩了

两个月前,我 60% 的时间花在管理人上:对齐优先级、开会、给反馈、带工程师。

今天,这个比例已经掉到 10% 以下。

传统 CTO 模型强调 empowering team,让别人也去做架构工作、训练他们、逐步下放。但如果整个系统最后只需要一两个 architect,那我就必须先自己把它做出来。于是我从“管理者”重新回到“builder”。我现在多数时候从早上 9 点一直写到凌晨 3 点,设计 SOP,设计系统架构,维护 harness。

压力更大,但我更享受 building,而不是 endless alignment。

更少争论,更好的人际关系

我和联合创始人、工程师之间的关系反而比以前更好了。

以前,我跟团队大部分互动都是 alignment meetings:讨论取舍、争论优先级、对技术决策出现分歧。这些在传统模型里很必要,但也很消耗人。

现在我当然还是和团队说话,只是更多是在聊别的:

  • 非工作话题
  • 随意聊天
  • 团建旅行

我们相处更顺了,因为那些过去必须在工作里争吵的部分,很多已经由系统替我们做掉了。

不确定性是真实存在的

我不会假装所有人都很开心。

当我不再每天和每个人频繁沟通时,部分团队成员会感到不安:

  • CTO 不再天天找我,是不是说明我没价值了?
  • 在这个新世界里,我的位置是什么?

这些担忧都很合理。

还有一些人,花更多时间在争论“AI 到底能不能做我的工作”,而不是直接去做工作本身。转型期天然会带来焦虑,这点我没有一个特别干净的答案。

但我有一个原则:我们不会因为某个工程师引入了生产 bug 就炒掉他。 我们会改 review 机制、加强测试、加 guardrails。对 AI 也是一样。如果 AI 犯错,我们要做的是建立更强的验证、更清晰的约束、更好的可观测性。

不只是工程,其他部门也要 AI-native

我看到很多公司开始做 AI-first engineering,但工程之外的环节还是全手工。

如果工程团队几小时就能上线功能,但 marketing 要一周后才能发公告,那 marketing 就成了瓶颈。

如果 product team 还在按月做 planning,那 planning 就成了瓶颈。

在 CREAO,我们把 AI-native operations 推到了所有职能:

  • Product release notes:AI 从 changelog 和 feature 描述里自动生成
  • Feature intro videos:AI 生成动态内容
  • Social 日更内容:AI 编排并自动发布
  • Health reports 和 analytics summaries:AI 从 CloudWatch 和生产数据库中生成

工程、产品、营销、增长,必须跑在同一套 AI-native workflow 里。如果一个环节是 agent speed,另一个环节还是 human speed,那后者就会卡住整个系统。

这对工程师意味着什么

你的价值,正在从“代码产出量”迁移到“判断质量”。

快速写代码的能力,每个月都在变得更不值钱;而评估、批评、引导 AI 的能力,则每个月都更值钱。

产品 sense 和审美判断 也会越来越重要。你能不能在用户开口之前就看出一个 AI 生成的 UI 很别扭?你能不能在一个架构方案里提前看到 agent 漏掉的 failure mode?

我会对我们 19 岁的 interns 说:去训练 critical thinking。学会评估论证,发现空白,质疑假设,学会识别什么叫 good design。这些能力会长期复利。

给 CTO 和创始人的建议

  • 如果你的 PM 流程比构建时间还长,先从这里动手。
  • 在大规模用 agents 前,先把 testing harness 搭好。高速 AI 如果没有高速验证,只会把技术债堆得更快。
  • 先从一个 architect 开始。一个能把系统搭起来并证明其有效的人,再慢慢把其他人以 operator 角色带进来。
  • 把 AI-native 推到所有职能,不只是工程。
  • 预期会有阻力,有些人一定会反弹。

给整个行业

OpenAI、Anthropic,以及多支独立团队,其实都在收敛到同一组原则:

  • 结构化上下文
  • 专用 agents
  • 持久记忆
  • 执行循环

Harness engineering 正在成为一种标准。

而驱动这一切的,是模型能力本身。我把 CREAO 过去两个月里的整个变化,都归因于模型的跃迁。Opus 4.5 做不到 Opus 4.6 做到的事情,而下一代模型只会进一步加速这一变化。

我相信,one-person company 会越来越常见。如果一个 architect 带着 agents 就能做掉 100 个人的活,那很多公司可能连第二个员工都不需要。

我们还很早

我接触的大多数创始人和工程师,还在按传统方式工作。有些人在考虑转型,但真正已经动手彻底改造的人,依然很少。

一位记者朋友跟我说,她就这个话题采访过五个人左右。她对我说:“我觉得还没有谁像你们这样,把整套 workflow 全都彻底重做了一遍。”

这些工具,今天任何团队都能拿到。我们的 stack 里没有什么是专有黑科技。

真正的竞争优势,不是工具本身,而是:

  • 你有没有决心围绕这些工具重构一切
  • 你有没有意愿吞下这次重构的成本

而这个成本是真实的:

  • 员工的不确定感
  • CTO 每天 18 小时工作
  • senior engineers 对自我价值的怀疑
  • 一段旧系统已消失、新系统还没被证明的真空期

这些成本,我们都付了。

两个月后,数字开始自己说话。

我们做的是 agent 平台。

而我们,是用 agents 把它做出来的。