feat: integrate production cockpit AI assistant

2026-09-08 17:46:07 +08:00
parent 5e228e12ae
commit 93103c2579
66 changed files with 11046 additions and 374 deletions
@@ -8,7 +8,7 @@ Web 控制台是车机端的远程自编排与同步显示界面。网页保留
 - AI助手默认展开；左侧控制台、车端设备状态、外设与扩展能力默认收起。四个板块统一通过页面右上角的图标按钮展开或收回，主工作区随面板状态自适应。
 - AI助手支持普通问答、工程能力核对和车控工作。能力问答读取运行时权威目录，高置信度冷热请求走确定性快速控制链，其他问题和复杂车控由 Codex App Server 流式处理；车控结果仍以自然语言和可审计的动作进度呈现。
 - 网页端可输入一句话指令或点击预设模式，车机端同样可发起任务；两端任务与结果统一同步。
- AI助手语音入口支持双模式：手动点击麦克风按钮会立即以 `manual` 模式录音，不要求唤醒词；浏览器已授权麦克风、助手展开且页面可见时自动进入 `wake` 待机，只有听到“你好，双十一”（兼容无标点与“双11”）后才展示并继续转录。AudioWorklet 采集后，服务端 SenseVoiceSmall 以节流预览返回未语义清洗的实时文字；静音端点立即停止采音，再由 Silero VAD、幂等 TranscriptAssembler 和理解层生成最终 `assistant_text`。普通问答、未知能力、否定和撤销表达均可回填，`commands` 仅作为受信任车控旁路，不能反向过滤助手输入。
+- AI助手语音入口支持双模式：手动点击麦克风按钮会立即以 `manual` 模式录音，不要求唤醒词；浏览器已授权麦克风、助手展开且页面可见时自动进入 `wake` 待机，只有听到“你好，小迪”（兼容无标点与字间停顿）后才展示并继续转录。AudioWorklet 采集后，服务端 SenseVoiceSmall 以节流预览返回未语义清洗的实时文字；静音端点立即停止采音，再由 Silero VAD、幂等 TranscriptAssembler 和理解层生成最终 `assistant_text`。普通问答、未知能力、否定和撤销表达均可回填，`commands` 仅作为受信任车控旁路，不能反向过滤助手输入。
 - 整车数字孪生位于工作区中央，点击或悬停热点可查看车窗、遮阳帘、主/副驾座椅、阅读灯、氛围灯、前大灯和空调的完整状态。
 - 车端设备状态与外设能力板块均可独立隐藏或恢复，面板状态在当前浏览器会话中保留。
 - USB 外设接入后同步显示 GSCU 链路、外设名称、类型、已学习能力和最近一次跨设备联动。
@@ -22,7 +22,7 @@ UI 只展示可审计的“决策摘要”和“处理轨迹”，不展示模

 - `GET /api/assistant/status`：返回 App Server 状态、可用性和当前会话数。
 - `GET /api/assistant/capabilities`：返回由运行时注册表、模式目录、CAN 绑定和已学习外设共同生成的权威能力快照。`service_surfaces` 只提供语音、手势、NFC、自标定和自修复的状态信息，不代表助手可调用；执行资格以 `assistant_callable` 和服务端校验为准。
- `POST /api/assistant/stream`：提交 `message`、`conversation_id`、执行模式和当前车型等上下文，返回 `application/x-ndjson`。前端消费 `message.accepted`、`work.*`、`action.*`、`answer.delta`、`answer.completed` 与 `error` 事件，以增量方式展示回复和控制进度。
+- `POST /api/assistant/stream`：提交 `message`、`conversation_id`、执行模式和当前车型等上下文，返回 `application/x-ndjson`。前端消费 `message.accepted`、`work.*`、`action.*`、`answer.delta`、`control.suggestions`、`answer.completed` 与 `error` 事件，以增量方式展示回复和控制进度。不支持的车控请求可随 `control.suggestions` 返回当前车型可执行的替代指令；前端去重后渲染为按钮卡片，点击会作为新指令沿同一受控链路提交。

 `POST /api/internal/codex/vehicle-control` 是 App Server MCP 子进程专用的回环接口，要求一次性内部令牌且与原始用户文本绑定，不是浏览器或第三方集成接口。浏览器也不能通过响应内容扩大执行目标、切换执行模式或提交原始 CAN。