所有人都低估了 AI 推理层的价值,而高估了大模型本身
Source: http://x.com/i/article/2050873549372403712
刚听完 No Priors 这期与 Tuhin Srivastava 的对话,信息密度非常高。
Baseten 在一年内实现了 30 倍增长,今年预计营收超过 10 亿美元,核心业务是 AI Inference 云,也就是模型推理服务。这期对话的核心判断很直接:Inference 才是 AI 最终的终极市场,而且当前供给极度紧张,custom model 已经全面爆发。
下面把关键信息逐步拆开。
过去 24 个月,市场发生了非常明显的变化。
越来越多公司意识到,AI 可以嵌入几乎所有产品与流程中。同时,开源模型能力跨越了关键门槛,RL 和后训练逐渐成为主流,公司开始在内部构建自己的 intelligence。
结果是长尾模型与定制模型同时爆发。作为基础设施层,Baseten 直接承接了这波需求增长。
一个非常关键的数据是,95% 的 tokens 都来自 custom 或 post-trained 模型。
在 Baseten 上,绝大多数流量并不是直接使用原始开源权重,而是客户基于自身数据进行后训练得到的 specialized model。
他们的业务主要分为两类:
- Dedicated inference,也就是专属集群,服务等级协议可以完全自定义
- Shared inference,共享资源模式
目前绝大部分需求集中在 dedicated 上。客户的核心诉求,是把自己的数据和 workflow 深度嵌入模型中。
关于应用层与企业自建之间的关系,Tuhin 的判断很清晰。
应用公司仍然会长期存在,因为只有它们能获取独特的用户信号。例如医疗场景中,像 Abridge 这样的产品,可以拿到医生在真实工作中编辑与修改的数据。
这些信号可以用于后训练,形成差异化模型,而模型实验室本身无法获取这些数据。
类似的公司还包括 Decagon、Writer、Gamma,它们的核心竞争力,本质上来自 workflow 与专属数据的结合。
在开源模型层面,客户的态度变得非常开放。
只要是前沿模型,就会被使用,例如 DeepSeek、Moonshot、Qwen,以及 Llama 系列。
Tuhin 的观点包括几个关键点:
- 中国模型整体非常强,性价比高,有些情况下比 Anthropic 便宜 80%,延迟还更低
- 没有看到确凿的安全后门证据
- 美国仍然需要建立自己的强开源生态,否则长期会处于劣势
他的总结很直接,可以把这些模型当成全球技术资产来使用,而不必被国别限制创新。
供给侧的紧张程度,远超大多数人的想象。
在 Baseten 内部,几乎不存在空闲算力,集群利用率长期维持在中高 90% 区间。他们在全球运行着多个云环境和大量集群。
如果现在想采购大规模 GPU,例如 1024 张 NVIDIA B200,通常需要签署三到五年的合同,并提前支付 20% 到 30%。
不仅硬件紧缺,能够稳定运行大规模集群的人才同样稀缺。市场上存在不少不成熟的供应商,整体质量参差不齐。
Inference 与 Post-training,本质上是同一枚硬币的两面。
Baseten 最近收购了一支后训练团队,目的就是打通完整闭环。未来的路径大致如下:
- Inference 产生数据
- Eval 进行评估
- Post-train 优化模型
- 再进入更高质量的 inference
持续学习的重要性会越来越高。Inference 不再是孤立环节,而是整个智能循环的最后一公里。
在 inference 云这个层面,人类的价值主要体现在几个方向:
- 获取和调度算力资源,包括多云和全球部署
- 做运行时优化,例如 KV cache、prefill 与 decode 分离、speculative decoding
- 构建基础能力,包括 sandbox、评估系统、异步批处理等
- 帮助客户打通后训练与推理之间的链路
Tuhin 提到一个很重要的点。单纯的 GPU 即服务并不具备粘性,但叠加软件层之后,inference 平台会变得非常粘。Baseten 的前 30 大客户目前没有流失。
对于未来,他的判断也很清晰。
在消费者侧,会出现大量具备 concierge 水平的 AI,例如个性化教育、医疗与客户支持。
在开发者和公司层面,如果不拥抱 agentic 模式,将面临非常大的风险。
整体趋势是智能成本持续下降,嵌入更多工作流,从而催生出更多软件形态。
如果用一句话总结这期内容:
AI 应用的爆发已经不是是否发生的问题,而是速度与深度的问题。Baseten 作为纯 inference 云,一年 30 倍增长,就是最直接的信号。供给极度紧张,而需求正在快速释放。
真正能抓住这一波机会的关键,在于尽早把自己的用户信号,转化为模型层面的竞争优势。
想看这期 Baseten CEO Tuhin 的完整逐字稿,可以在这里免费获取(包含 95% custom 模型、供给 crunch 等所有细节):➡️ [
]