From b13b43768a4f993a37fd75e1b9ba1a7e5806530a Mon Sep 17 00:00:00 2001 From: seeker Date: Sat, 11 Jul 2026 16:34:00 +0800 Subject: [PATCH] Clarify minimal reproduction scope --- README.md | 24 +++++++++++++++++++----- 1 file changed, 19 insertions(+), 5 deletions(-) diff --git a/README.md b/README.md index fd8a5d8..ef3933b 100644 --- a/README.md +++ b/README.md @@ -1,8 +1,8 @@ # alpamayo-0.5B -`alpamayo-0.5B` 是一个单机、单样本的 Alpamayo 接口验证工程。它把一个带 -Qwen2.5-0.5B 文本骨干的 VLM 接到缩小版 diffusion expert,验证以下链路能够实际 -训练、保存、重新加载和推理: +`alpamayo-0.5B` 是 [NVIDIA Alpamayo](https://github.com/NVlabs/alpamayo) 的最小复现, +面向单机、单样本的架构与接口验证。 +项目使用带 Qwen2.5-0.5B 文本骨干的 VLM 和缩小版 diffusion expert,覆盖以下完整链路: 1. 图像、自然语言和 ego-relative 历史坐标进入 VLM; 2. VLM 生成驾驶指令,也可以在未截断验证分支中生成结构化指令、meta-action 和 @@ -10,8 +10,22 @@ Qwen2.5-0.5B 文本骨干的 VLM 接到缩小版 diffusion expert,验证以下 3. VLM 的 24 层 past-KV 作为 expert 的前缀; 4. flow-matching diffusion 预测连续 action,再积分回未来 XY 位置。 -这是针对连接方式和输出契约的最小过拟合实验,不是 NVIDIA Alpamayo-R1 的完整复现, -也不是可部署的驾驶模型。 +项目目标是用可运行、可训练的最小实现验证连接方式和输出契约,而不是复刻 +NVIDIA Alpamayo-R1 的完整规模、训练数据或模型能力。该实现不能用于真实车辆控制。 + +## 复现范围 + +| 范围 | 本项目 | 与 NVIDIA Alpamayo 的差异 | +| --- | --- | --- | +| VLM | Qwen2.5-0.5B 文本骨干,完整模型约 0.80B 参数 | 不使用 Alpamayo-R1 原始权重 | +| VLM–expert 连接 | 24 层 past-KV,保持 KV heads 与 head dimension 一致 | 只验证接口和缓存传递 | +| Diffusion expert | 105.6M Qwen2 expert,flow matching,10 步采样 | 使用缩小配置和二维 XY-delta action | +| 数据 | 一个 PAI `train` 事件,单样本过拟合 | 不覆盖多场景训练或泛化评估 | +| 输出 | 驾驶指令、离散轨迹 token、连续未来轨迹 | 不等同于上游完整 action space 与 tokenizer | +| 运行环境 | 单机 MPS、CUDA 或 CPU | 不包含分布式训练配置 | + +最小复现包含模型下载、PAI 样本物化、两阶段训练、checkpoint 恢复、reload evaluation、 +结构化 VLM cache handoff 和结果比较脚本。仓库不分发模型权重或 gated 数据。 ## 架构