Clarify minimal reproduction scope

This commit is contained in:
seeker
2026-07-11 16:34:00 +08:00
parent 9527e57947
commit b13b43768a
+19 -5
View File
@@ -1,8 +1,8 @@
# alpamayo-0.5B # alpamayo-0.5B
`alpamayo-0.5B` 是一个单机、单样本的 Alpamayo 接口验证工程。它把一个带 `alpamayo-0.5B` 是 [NVIDIA Alpamayo](https://github.com/NVlabs/alpamayo) 的最小复现,
Qwen2.5-0.5B 文本骨干的 VLM 接到缩小版 diffusion expert,验证以下链路能够实际 面向单机、单样本的架构与接口验证。
训练、保存、重新加载和推理: 项目使用带 Qwen2.5-0.5B 文本骨干的 VLM 和缩小版 diffusion expert,覆盖以下完整链路:
1. 图像、自然语言和 ego-relative 历史坐标进入 VLM; 1. 图像、自然语言和 ego-relative 历史坐标进入 VLM;
2. VLM 生成驾驶指令,也可以在未截断验证分支中生成结构化指令、meta-action 和 2. VLM 生成驾驶指令,也可以在未截断验证分支中生成结构化指令、meta-action 和
@@ -10,8 +10,22 @@ Qwen2.5-0.5B 文本骨干的 VLM 接到缩小版 diffusion expert,验证以下
3. VLM 的 24 层 past-KV 作为 expert 的前缀; 3. VLM 的 24 层 past-KV 作为 expert 的前缀;
4. flow-matching diffusion 预测连续 action,再积分回未来 XY 位置。 4. flow-matching diffusion 预测连续 action,再积分回未来 XY 位置。
这是针对连接方式和输出契约的最小过拟合实验,不是 NVIDIA Alpamayo-R1 的完整复现, 项目目标是用可运行、可训练的最小实现验证连接方式和输出契约,而不是复刻
也不是可部署的驾驶模型。 NVIDIA Alpamayo-R1 的完整规模、训练数据或模型能力。该实现不能用于真实车辆控制。
## 复现范围
| 范围 | 本项目 | 与 NVIDIA Alpamayo 的差异 |
| --- | --- | --- |
| VLM | Qwen2.5-0.5B 文本骨干,完整模型约 0.80B 参数 | 不使用 Alpamayo-R1 原始权重 |
| VLM–expert 连接 | 24 层 past-KV,保持 KV heads 与 head dimension 一致 | 只验证接口和缓存传递 |
| Diffusion expert | 105.6M Qwen2 expert,flow matching,10 步采样 | 使用缩小配置和二维 XY-delta action |
| 数据 | 一个 PAI `train` 事件,单样本过拟合 | 不覆盖多场景训练或泛化评估 |
| 输出 | 驾驶指令、离散轨迹 token、连续未来轨迹 | 不等同于上游完整 action space 与 tokenizer |
| 运行环境 | 单机 MPS、CUDA 或 CPU | 不包含分布式训练配置 |
最小复现包含模型下载、PAI 样本物化、两阶段训练、checkpoint 恢复、reload evaluation、
结构化 VLM cache handoff 和结果比较脚本。仓库不分发模型权重或 gated 数据。
## 架构 ## 架构