我用 2 刀复现了Karpathy 的 autoresearch
Source: http://x.com/i/article/2038466094948843520
Andrej Karpathy 最近开源了一个叫 autoresearch 的项目:
给 AI agent 一个真实的 LLM 训练环境,让它自己改代码 → 训练 5 分钟 → 看结果有没有变好 → 保留或丢弃 → 无限循环。 https://github.com/karpathy/autoresearch 整个 repo 只有三个核心文件:
train.py:完整的 GPT 模型 + 训练循环,agent 改这个文件prepare.py:数据准备脚本(别动)- program.md:给 agent 的研究指令,你来改这个文件
每轮训练固定 5 分钟(wall clock),用 val_bpb(验证集 bits per byte,越低越好)作为指标
agent 可以自由修改模型架构、超参数、optimizer、batch size——几乎所有东西都能动
核心是 1. GPU 机器 + 2. 聪明的 Agent + 3. 好用的 harness 那么问题来了:怎么低成本跑起来?
最近发现 HPC-AI 上新了模型服务,Kimi K2.5 和 Minimax M2.5 ,结合他们的 spot instance,总共不到 2 刀,复现了 autoresearch的流程:
成本拆解:
- GPU 实例:H200 × 1.5 小时 ≈ $1.6(跑 20-25 轮实验)
- API 调用:agent 每轮需要调 LLM 分析代码+决策,约 $0.3
- Harness 采用的是 OpenCod
- 总计:不到 $2(约 ¥14) 💰
HPC-AI 提供的 API
1️⃣ 按需付费,不用包月,而且目前应该是最便宜的 K2.5
2️⃣ 预装 CUDA + PyTorch 环境,开箱即用
3️⃣ 网络稳定,数据集下载不掉速
保姆级复现步骤 Step 1:注册
创建实例,选 H200 实例,同时拿到 api key
Step 2:连接实例,clone autoresearch 项目
Step 3:安装依赖 + 准备数据(约 2 分钟)
Step 4:先手动跑一轮确认环境 OK
Step 5:安装 opencode 把自定义服务商 doc 丢给他,配置 K2.5 / M2.5
Step 6: 输入 prompt,开启 autoresearch 模式 🚀
然后——去睡觉吧 ☕ 第二天看结果 跑出来的效果
agent 自主运行 2 小时之后,大概能从 0.994 到 0.990,K2.5 似乎不像原版 Opus 那样持久😂
它会主要在调 LR,也尝试不同的 attention pattern,但最后都失败了,28 个尝试里面成功降低 bpb 的只有 7次,成功率在 25% 左右
可能对比不同的模型做 autoresearch 的能力也是个有趣的问题:)
这不只是一个有趣的 demo。Karpathy 在探索的是一种全新的 AI 科研范式:
- 人类定义研究边界(通过 program.md 设定规则和方向)
- AI 在边界内自主探索(修改代码、设计实验、评估结果)
- 研究 = 人类的品味 × AI 的执行力
这可能是未来 PhD 日常的预览:早上到实验室,看 agent 一晚上跑了什么实验,挑出有潜力的方向深入,调整 program.md,晚上再让它跑一轮 🫠
对于 AI 爱好者来说,$2 就能体验 frontier AI research 的完整 pipeline——从模型设计到训练到评估,全流程自动化
💰 复现平台
,用邀请码 BRCA-MAPI 就可以获赠 4 刀 credit,免费体验 autoresearch
⏱️ 建议起步时长2 小时体验(~20 轮实验),过夜跑完整效果(~100 轮)