8 min read

Claude 给了你 1M Token 的上下文,但别真的全塞满

Source: http://x.com/i/article/2032977329899655169

昨天 Anthropic 官宣:Opus 4.6 和 Sonnet 4.6 全面开放 1M context window,所有付费用户都能用。而且取消了长上下文溢价,塞 10K 还是 900K,每个 token 价格一样。

这绝对是好事。100 万 token,大概 75 万字,7.5 万行代码。一整个中型项目塞进去没问题,两三本书也 OK。

但每一个最近在学习使用 AI agent 的人都会意识到:context window 大小从来不是瓶颈。怎么用才是。

100 万 token 都能被"看到"吗?

看到这个消息第一反应,很自然的就是"终于不用担心上下文不够了"。

别急。

我们之前写过一篇 best practice,就提到了 Transformer 的核心是 self-attention:每个 token 生成时,回头"看"所有历史 token,挑最相关的几个来参考。注意,是"几个",不是"所有"。

如果你把 attention 可视化出来,会看到一个非常稳定的模式: 开头权重高。结尾权重高。中间塌了。

画成曲线就是个 U 型。

为啥?

softmax 是 Transformer 里的一个核心函数,它把一组分数变成概率分布。但这个分配方式很残酷,基本是 winner-take-all:只要某几个 token 的分数稍微领先,就能拿走绝大部分注意力,其他 token 几乎分不到。开头 token 因为在训练过程中被反复引用,逐渐变成了"注意力黑洞",不管后面加了多少内容,它们永远占着最大的 attention 份额。学术上叫 Attention Sink。

另一边,RoPE 位置编码让 token 之间距离越远、相关度越低。模型天然偏爱最近的东西。这也有个专有名词,Recency Bias。

Image

头尾强,中间弱。把关键信息藏在 10 万字的中间?大概率被忽略。

但最要命的不是这个。

是 Attention Bandwidth。

每个 token 推理时真正能关注的 memory slot,可能就几十个。你塞了 100 万 token 进去,某一步推理用到的信息可能不到 100 条。

说白了,context size ≠ 可用信息量。

100 万的 context window,有效带宽可能只有几千。剩下的 99 万多 token?模型知道它们在那,但大部分时候顾不上。

用起来什么感觉?说点真实的

Reddit 上的反馈蛮一致的。

有人说 Sonnet 4.5 用到 128K-150K,回答质量就开始肉眼可见地滑坡。不是变笨了,是开始"漂移"。忘记之前说好的约定,代码风格突然不一致,甚至重复之前已经被否决的方案。

更多人描述了一种叫 context rot

的体感。对话越长,模型越像一个加了 48 小时班的程序员:知道要做什么,但执行力全面下滑。命名规范开始乱,之前明确说不用的 pattern 又冒出来了。

有个评论总结得挺好:

"The 1M context window is more like a safety net, not a workbench. Most of the time 200K is enough — what matters is what you put in it."

也有人实测 Opus 4.6 跑大 context 效果确实更好。但代价是 token 消耗也更高。日常开发的话,精简 context + Sonnet 反而性价比更高。

Claude Code 自己怎么解决的

Anthropic 当然知道这个问题。他们搞了个东西叫 context compaction。当检测到对话快撑爆时,自动让模型总结之前的历史,用摘要替换原始内容。

大概流程:

Image

1. 持续监控 token 消耗

2. 快到上限,触发压缩

3. 模型自己总结对话历史,保留关键决策和未解决的 bug

4. 摘要替换原始对话,保留最近几个文件的完整内容

5. 继续干活

听起来挺聪明。但说穿了,Anthropic 自己也在承认:你没法真正"使用"100 万 token 的全部信息,所以得主动管理哪些该留、哪些该扔。

compaction 的坑也很明显。你之前花 20 分钟讨论的一个设计决策,压缩后可能就剩一句话。模型后面基于这句话做判断,方向可能就歪了。

所以 Anthropic 现在推的概念不叫"更大的 context",叫 Context Engineering,精心管理模型能看到的一切信息。

他们自己的测试也很说明问题:按需加载信息(just-in-time)比一股脑全塞(kitchen sink),agent 任务成功率提升了 54%。

少放东西,反而做得更好。这个数字够反直觉吧?

我自己使用下来的经验

一:什么都往 context 里塞,结果更乱

一开始我也信"context 越大越好"。对话历史全保留,工具输出全塞进去,觉得信息越多模型越厉害。

结果呢?对话长了之后 agent 开始"记忆混乱"。该记的没记住,不该冒出来的旧信息反而干扰判断。就像你桌上堆了 200 份文件,找某一份的速度还不如桌上只放 10 份的时候。

后来搞了分层记忆系统:

• 当前任务状态实时写文件,压缩后第一个恢复

• 每日日志记发生了什么

• 长期记忆只留精炼后的重要信息

• 复杂任务用独立 issue 追踪

核心思路就一句话:context window 是工作台,文件系统是档案室。工作台要干净,档案室要全。

二:不用 subagent,非要一个 context 扛所有

复杂任务拆成子 agent 之后,体验好了很多。每个子 agent 有独立 context,做完只返回结果摘要。

你让一个人同时记住 10 件事做判断,不如让 10 个人各记一件事、最后汇总。

而且 subagent 的 context 天然干净,没有主对话积累的噪音。同样的任务,子 agent 完成质量经常比主 agent 高,就是因为 context 更聚焦。

Anthropic 自己的 best practices 也提了类似的点:像 code review 这类任务,用一个全新的 subagent(干净的 context)去审代码,效果比在同一个长对话里让模型"自查"好很多。道理一样,写代码的时候积累了大量实现细节的噪音,换一个没有这些包袱的 agent 来审,反而能看到盲点。他们内部甚至用 AI agent 自动化了大量 code review 流程,本质上就是在利用 fresh context 的优势。

三:调试时把几千行日志全塞进去

有次想让模型帮忙 debug,把完整的命令行输出(几千行)直接扔进 context。想着"信息越全越好嘛"。

结果模型反而更难找到问题。有用信息被噪音淹了。

后来改成只摘关键几行,准确率立刻回来。

跟 attention bandwidth 一个道理。模型每一步真正关注的就那几十个 token。信噪比低的大 context,还不如精选过的小 context。

那到底怎么用?

不是说 1M 没用。但用法不是"全塞进去然后祈祷"。

当安全网,不当工作台。

正常工作保持 context 精简。1M 的价值是在你真需要回溯大量历史的时候,不会被硬性截断。

关键信息放两头。 U 型注意力曲线摆在那。系统指令放开头,当前任务放最近的消息,中间放参考材料。

主动管理,别被动积累。

定期清 context,重要信息往外存。对话不是只进不出的垃圾桶。

拆任务,用子 agent。

一个大任务拆成多个小的,每个子 agent 用小而精的 context 做完汇报。比一个 agent 扛着 100 万 token 往前冲强太多。

结构化输入。 分隔符、标题层级、标签。让 attention 更容易命中,别逼模型在无格式文本里大海捞针。

最后

1M context 是基础设施的进步,值得庆祝。

但就像给你一块 10TB 的硬盘不会让你变成更好的程序员。关键是你怎么组织里面的文件。