feat: 完善 N7 智能座舱交互与控制链路
This commit is contained in:
vee
@@ -5,8 +5,10 @@ Web 控制台是车机端的远程自编排与同步显示界面。网页保留
|
||||
当前页面包括：
|
||||
|
||||
- 自编排和自扩展合并为一个实时界面，登录身份固定为 `user`，不再提供模块切换。
|
||||
- AI助手默认展开；左侧控制台、车端设备状态、外设与扩展能力默认收起。四个板块统一通过页面右上角的图标按钮展开或收回，主工作区随面板状态自适应。
|
||||
- AI助手支持普通问答、工程能力核对和车控工作。能力问答读取运行时权威目录，高置信度冷热请求走确定性快速控制链，其他问题和复杂车控由 Codex App Server 流式处理；车控结果仍以自然语言和可审计的动作进度呈现。
|
||||
- 网页端可输入一句话指令或点击预设模式，车机端同样可发起任务；两端任务与结果统一同步。
|
||||
- 一句话输入框支持麦克风听写，优先采集 `TAKSTAR V2`；AudioWorklet 采集、浏览器端静音停录、服务端 Silero VAD、SenseVoiceSmall、幂等 TranscriptAssembler 和结构化理解层组成完整链路。只有生成 commands 的结果才回填；无关内容不覆盖输入框，uncertain 结果需人工修改后才能执行。
|
||||
- AI助手语音入口支持双模式：手动点击麦克风按钮会立即以 `manual` 模式录音，不要求唤醒词；浏览器已授权麦克风、助手展开且页面可见时自动进入 `wake` 待机，只有听到“你好，双十一”（兼容无标点与“双11”）后才展示并继续转录。AudioWorklet 采集后，服务端 SenseVoiceSmall 以节流预览返回未语义清洗的实时文字；静音端点立即停止采音，再由 Silero VAD、幂等 TranscriptAssembler 和理解层生成最终 `assistant_text`。普通问答、未知能力、否定和撤销表达均可回填，`commands` 仅作为受信任车控旁路，不能反向过滤助手输入。
|
||||
- 整车数字孪生位于工作区中央，点击或悬停热点可查看车窗、遮阳帘、主/副驾座椅、阅读灯、氛围灯、前大灯和空调的完整状态。
|
||||
- 车端设备状态与外设能力板块均可独立隐藏或恢复，面板状态在当前浏览器会话中保留。
|
||||
- USB 外设接入后同步显示 GSCU 链路、外设名称、类型、已学习能力和最近一次跨设备联动。
|
||||
@@ -14,6 +16,16 @@ Web 控制台是车机端的远程自编排与同步显示界面。网页保留
|
||||
|
||||
UI 只展示可审计的“决策摘要”和“处理轨迹”，不展示模型私有思维过程。
|
||||
|
||||
## AI助手接口
|
||||
|
||||
浏览器只使用同源接口，不直接连接 App Server、MCP 或模型服务：
|
||||
|
||||
- `GET /api/assistant/status`：返回 App Server 状态、可用性和当前会话数。
|
||||
- `GET /api/assistant/capabilities`：返回由运行时注册表、模式目录、CAN 绑定和已学习外设共同生成的权威能力快照。`service_surfaces` 只提供语音、手势、NFC、自标定和自修复的状态信息，不代表助手可调用；执行资格以 `assistant_callable` 和服务端校验为准。
|
||||
- `POST /api/assistant/stream`：提交 `message`、`conversation_id`、执行模式和当前车型等上下文，返回 `application/x-ndjson`。前端消费 `message.accepted`、`work.*`、`action.*`、`answer.delta`、`answer.completed` 与 `error` 事件，以增量方式展示回复和控制进度。
|
||||
|
||||
`POST /api/internal/codex/vehicle-control` 是 App Server MCP 子进程专用的回环接口，要求一次性内部令牌且与原始用户文本绑定，不是浏览器或第三方集成接口。浏览器也不能通过响应内容扩大执行目标、切换执行模式或提交原始 CAN。
|
||||
|
||||
当前座椅阶段一控制台为无构建静态页面，由 `cognitive_agent.server` 同源提供 API 和资源。运行：
|
||||
|
||||
```bash
|
||||
@@ -27,7 +39,7 @@ python -m pip install -e ".[speech]"
|
||||
python tools/install_sensevoice_model.py
|
||||
```
|
||||
|
||||
录音只用于当前请求，不落盘；`raw_text`、`clean_text` 与结构化 Intent 分字段返回。远程浏览器必须通过 HTTPS 才能访问麦克风。诊断可设置后端 `SPEECH_DEBUG=1` 并用 `?speechDebug=1` 打开前端日志，默认关闭。
|
||||
录音只用于当前请求，不落盘；`captured_text` 保留完整声学结果，`raw_text` 在 `manual` 模式保留完整原文、在 `wake` 模式剥离唤醒词，`assistant_text` 是面向问答的轻清洗会话，`clean_text/control_text` 与结构化 Intent 则保持严格车控语义。前后端通过 `X-Speech-Input-Mode: manual|wake` 显式区分模式；可用 `SPEECH_WAKE_WORD_ENABLED=false` 关闭唤醒门，或用竖线分隔的 `SPEECH_WAKE_WORDS` 配置主唤醒词与别名。远程浏览器必须通过 HTTPS 才能访问麦克风。诊断可设置后端 `SPEECH_DEBUG=1` 并用 `?speechDebug=1` 打开前端日志，默认关闭。
|
||||
|
||||
Android PAD/模拟器联调使用：
|
||||
|
||||
@@ -114,6 +126,19 @@ TCP 模式下本服务是服务器，GSCU1B 是客户端：设备配网页中的
|
||||
- `POST /api/extension/display-sync`：车机刚识别 USB 外设时上报 `device` 与 `peripherals` 能力目录，无需等待首次执行。
|
||||
- `POST /api/extension/assistant/plan` 和 `/api/extension/vehicle/execute`：联动规划与车端执行结果同样写入同步快照。
|
||||
|
||||
右上角“能耗监测”入口以独立固定页面展示 7 个当前可控车端设备的实时功率、
|
||||
本次监测累计能耗、总功率趋势和分设备趋势。能耗链路优先接收
|
||||
`cognitive-agent:power-telemetry` 事件，也兼容调用
|
||||
`window.updateDevicePowerTelemetry(payload)` 的现有集成方式；载荷可使用
|
||||
`devices.<device>.power_w` 或 `total_power_w`，并可附带 `energy_wh`、
|
||||
`trip_energy_kwh` 或 `today_energy_kwh`。累计能耗独立保留，瞬时功率超过 15 秒
|
||||
未更新时只会回退到状态估算，不会让已上报的车端累计值消失。每条遥测应显式提供
|
||||
`source: "vehicle_power_sensor"`（实测）或 `source: "estimated"`（估算）。
|
||||
当前 CAN 状态协议没有独立电流/
|
||||
功率电表信号，因此未注入新鲜功率数据的设备会显示带 `≈` 和“状态估算”标签的
|
||||
确定性实时估算，绝不标记为车端实测。真实功率通道接入后页面会逐设备自动切换为
|
||||
“实测”，无需更换页面或曲线实现。
|
||||
|
||||
公网入口由后端统一认证，前端不保存密码或 API Key。未认证访问自动进入
|
||||
`/login`，主控制台提供退出按钮。固定入口是
|
||||
`https://511.kendeji.fun`，应用容器只监听服务器回环地址，再由 Caddy 提供
|
||||
|
||||
Reference in New Issue
Block a user