4 min read

别再给每个用户开一台虚拟机了

Source: https://x.com/i/article/2122573733265350656

最近 Sandbox 是真的火,Anthropic 把自家沙箱开源了,新的 Sandbox 产品一个接一个,各家还在推上吵谁更便宜。

但我看了一圈讨论,发现其实还有挺多人把 Sandbox 理解成一台云主机,就是有多少用户就开多少台,一台一个月几十刀。

如果你的 Agent 产品也是这么设计的,那大概率从第一天成本就算错了。

我们这几个月一直在折腾 Agent 的执行环境,坑踩了不少,正好聊聊我们现在是怎么搞的。

Sandbox 是按需用的

如果你真去了解过就会发现,现在主流的 Sandbox 都是按需付费的。你跑一分钟,它就收你一分钟的钱,跑完就停,不需要一直持有。

用户也不是 24 小时都在跑任务,所以算下来成本其实是可控的,跟给每个用户配一台主机比,差得不是一点半点。

停了也不用从头来。我们用的 Sandbox 有快照,Agent 装过的工具、依赖、配置啥的,停的时候存一下,下次恢复就行。有用户隔了一两周回来,环境都还在。

Agent 跑在外面

要这么用,前提是 Agent 不能住在 Sandbox 里。

Agent 说白了就是一个 loop,我们把这个 loop 放在自己的服务上跑。大部分活其实用 tool + MCP 就能搞定了,查个数据、调个接口、发个消息,这些都用不着 Sandbox。

只有真要读写文件、跑命令、装依赖的时候,才去把 Sandbox 拉起来。

文件别放 Sandbox 里

这个我觉得是最容易被忽略的。

文件要是直接存在 Sandbox 里,数据都在人家那,你以后想换一家,或者不想用 Sandbox 了,都会很麻烦,相当于被厂商锁住了。而且它存文件也是要钱的,存得越久越贵,拿来当长期存储不太划算。

所以我们是把存储和执行拆开的。现在 Sandbox 基本都支持挂 S3,我们就把用户的文件写到自己管的 S3 上,用 S3 模拟了一套虚拟文件系统,需要的时候再挂进 Sandbox。

这样数据在自己手里,存储也可控。还有个好处是,我们不起 Sandbox 也能直接读写用户文件,做别的功能会方便很多。

再加一层 just-bash

不过光有 Sandbox 还是有点重,读个文件、grep 一下也要拉一台机器起来,不太值。

所以我们又加了一层 just-bash,Vercel 开源的。它就是在内存里模拟了一套 bash,基础的 shell 命令都有,简单的 Python、JS 也能跑。因为就在内存里,基本不花钱。

前面文件系统是基于 S3 设计的,所以这套 S3 也能挂进 just-bash 里。日常读文件、搜索、改文件、简单的数据处理,就都在 just-bash 里做了。转文档、处理音视频、要装原生程序这种,再丢给 Sandbox。

两边用的是同一份文件,Agent 在 just-bash 里写的东西,到 Sandbox 里接着用就行,不用来回搬。

Skill 也顺了

有了这套文件系统之后,Skill 也好做了很多。

Skill 本身就是基于文件系统的,一个目录、一份说明、几个脚本。云端要是没有一套比较完整的文件系统,很难原生支持 Skill,得做一堆兼容,做出来的东西跟大家平时用的 Skill 也不太一样。

现在 Skill 直接放在这套文件系统里,Agent 读说明、跑脚本,跟在本地差不多,我们在上面开发 Skill 相关的工具也顺手很多。

最后

所以现在我们大概是这么分层的:

  1. tool + MCP 能直接搞定的,就直接搞定。
  2. 要写点脚本、处理文件的,丢给 just-bash。
  3. 真需要完整 Linux 环境的,才拉 Sandbox,用完就停。

用户的文件都放在我们自己的 S3 上,三层共用一份。

整体跑下来,架构还挺干净的,以后真要换一家 Sandbox,要改的地方也不多。

后面我也会继续 Build in Public,分享一些我们做 Always-on Agent 踩过的坑,感兴趣的欢迎互关,持续交流~