Document expert parameter count

2026-07-11 16:37:37 +08:00
parent b13b43768a
commit a50a2470c2
1 changed files with 15 additions and 0 deletions
@@ -61,6 +61,21 @@ expert 没有词嵌入层；noisy action 和 timestep 经 Fourier/MLP 投影成
 | Diffusion 输出 | 16 个二维 normalized XY-delta action；10 个 flow-matching inference steps |
 | 运行精度 | 当前产物为 MPS + float16；代码也可选择可用的 CUDA 或 CPU |
 ### Expert 参数量
 参数量由 `configs/local_overfit.yaml` 中的 Stage 2 配置实例化
 `KVCachedDiffusionExpert` 后直接统计：
 | 模块 | 参数量 |
 | --- | ---: |
 | 24 层 Qwen2 expert | 105,425,408 |
 | Action/time projection | 148,736 |
 | Action output | 1,026 |
 | **合计** | **105,575,170（约 105.6M）** |
 全部 `105,575,170` 个参数参与 Stage 2 训练。仅模型权重约占 `201.37 MiB`（FP16）或
 `402.74 MiB`（FP32），不包含梯度、优化器状态、VLM 权重和运行时 KV cache。
 主配置位于 [`configs/local_overfit.yaml`](configs/local_overfit.yaml)。
 ## 单样本 PAI 数据