4 min read

我用 2 刀复现了Karpathy 的 autoresearch

Source: http://x.com/i/article/2038466094948843520

Andrej Karpathy 最近开源了一个叫 autoresearch 的项目:

给 AI agent 一个真实的 LLM 训练环境,让它自己改代码 → 训练 5 分钟 → 看结果有没有变好 → 保留或丢弃 → 无限循环。 https://github.com/karpathy/autoresearch 整个 repo 只有三个核心文件:

  • train.py :完整的 GPT 模型 + 训练循环,agent 改这个文件
  • prepare.py :数据准备脚本(别动)
  • program.md:给 agent 的研究指令,你来改这个文件

每轮训练固定 5 分钟(wall clock),用 val_bpb(验证集 bits per byte,越低越好)作为指标

agent 可以自由修改模型架构、超参数、optimizer、batch size——几乎所有东西都能动

Image

核心是 1. GPU 机器 + 2. 聪明的 Agent + 3. 好用的 harness 那么问题来了:怎么低成本跑起来?

最近发现 HPC-AI 上新了模型服务,Kimi K2.5 和 Minimax M2.5 ,结合他们的 spot instance,总共不到 2 刀,复现了 autoresearch的流程:

Image

成本拆解:

  • GPU 实例:H200 × 1.5 小时 ≈ $1.6(跑 20-25 轮实验)
  • API 调用:agent 每轮需要调 LLM 分析代码+决策,约 $0.3
  • Harness 采用的是 OpenCod
  • 总计:不到 $2(约 ¥14) 💰

HPC-AI 提供的 API

1️⃣ 按需付费,不用包月,而且目前应该是最便宜的 K2.5

Image

2️⃣ 预装 CUDA + PyTorch 环境,开箱即用

3️⃣ 网络稳定,数据集下载不掉速

保姆级复现步骤 Step 1:注册

HPC-AI

创建实例,选 H200 实例,同时拿到 api key

Step 2:连接实例,clone autoresearch 项目

Step 3:安装依赖 + 准备数据(约 2 分钟)

Step 4:先手动跑一轮确认环境 OK

Step 5:安装 opencode 把自定义服务商 doc 丢给他,配置 K2.5 / M2.5

Step 6: 输入 prompt,开启 autoresearch 模式 🚀

然后——去睡觉吧 ☕ 第二天看结果 跑出来的效果

Image

agent 自主运行 2 小时之后,大概能从 0.994 到 0.990,K2.5 似乎不像原版 Opus 那样持久😂

它会主要在调 LR,也尝试不同的 attention pattern,但最后都失败了,28 个尝试里面成功降低 bpb 的只有 7次,成功率在 25% 左右

可能对比不同的模型做 autoresearch 的能力也是个有趣的问题:)

这不只是一个有趣的 demo。Karpathy 在探索的是一种全新的 AI 科研范式:

  • 人类定义研究边界(通过 program.md 设定规则和方向)
  • AI 在边界内自主探索(修改代码、设计实验、评估结果)
  • 研究 = 人类的品味 × AI 的执行力

这可能是未来 PhD 日常的预览:早上到实验室,看 agent 一晚上跑了什么实验,挑出有潜力的方向深入,调整 program.md,晚上再让它跑一轮 🫠

对于 AI 爱好者来说,$2 就能体验 frontier AI research 的完整 pipeline——从模型设计到训练到评估,全流程自动化

💰 复现平台

HPC-AI

,用邀请码 BRCA-MAPI 就可以获赠 4 刀 credit,免费体验 autoresearch

⏱️ 建议起步时长2 小时体验(~20 轮实验),过夜跑完整效果(~100 轮)