84 lines
5.8 KiB
Markdown
84 lines
5.8 KiB
Markdown
# Orin 可直接运行目录
|
||
|
||
相机每次等待默认 2 秒，连续 6 次超时才退出（约 12 秒）；有效帧恢复后重新计数。Ctrl+C / SIGTERM 主动停止不需要等待 6 次超时。
|
||
|
||
|
||
本目录包含实际在 Jetson AGX Orin 上编译的 aarch64 程序和 TensorRT FP16 引擎。
|
||
目标环境：L4T R35.4.1 / JetPack 5.1.2，CUDA 11.4，TensorRT 8.5.2，OpenCV 4.5.4。
|
||
使用系统安装的 CUDA、TensorRT、OpenCV 共享库；不适用于任意 JetPack 版本或 x86 主机。
|
||
|
||
```bash
|
||
cd orin
|
||
sha256sum -c SHA256SUMS
|
||
./scripts/initialize_camera.sh
|
||
./run.sh
|
||
```
|
||
|
||
实时推理、录制和回灌默认开启可视化，显示门区、检测框、手臂/手部关键点及风险信息。使用 `./run.sh --no-visualize` 关闭；`--visualize` 仍可显式开启。需要板端桌面 DISPLAY / WAYLAND_DISPLAY，没有显示环境时自动跳过窗口并继续推理。
|
||
默认持续推理直到 Ctrl+C / SIGTERM；正常退出没有统计输出。
|
||
预览窗口关闭后推理继续。结果通过 C++ CameraPipeline::latest() 获取，不通过端口或结果文件传递。
|
||
|
||
程序为 build/camera_risk，配置为 config/camera.json，引擎为 engines/*.engine。
|
||
./run.sh 从所在目录解析路径，也可以在其他工作目录通过绝对路径调用。
|
||
|
||
bin/drivers 中 GMSL 模块对应内核 5.10.120-tegra。初始化脚本检查内核版本；加载模块需要 root 或现有 sudo 权限。
|
||
门区保留当前室内联调设置，door.calibration_verified=false。
|
||
|
||
## Door mask 标注工具
|
||
|
||
停止正在占用摄像头的推理程序后运行：
|
||
|
||
```bash
|
||
./annotate_door_mask.sh --camera --output config/door_masks/driver-side.json
|
||
```
|
||
|
||
左键添加多边形顶点，右键或 `U` 撤销，`R` 清空，`S` 或 Enter 保存，Esc 或 `Q` 取消。工具输出 x-anylabeling JSON 及同目录参考 JPEG。
|
||
|
||
已有图像和视频模式不会打开摄像头：
|
||
|
||
```bash
|
||
./annotate_door_mask.sh --image /path/to/frame.jpg --output config/door_masks/driver-side.json
|
||
./annotate_door_mask.sh --video /path/to/video.mp4 --output config/door_masks/driver-side.json
|
||
./annotate_door_mask.sh --video /path/to/video.mp4 --frame 244 --output config/door_masks/driver-side.json
|
||
```
|
||
|
||
视频未指定 `--frame` 时先通过滑块或 `A/D`、`J/L` 选择参考帧；帧号从 0 开始。
|
||
|
||
## 可选保存（默认全部关闭）
|
||
|
||
三个独立参数可以单独使用，也可以组合：
|
||
|
||
```bash
|
||
./run.sh --save-original --save-annotated --save-results
|
||
```
|
||
|
||
开启任一项时，程序自动创建可执行文件所属工程的 `output/` 及三个子目录：
|
||
|
||
- `original/`：`--save-original` 保存未叠加的原图，JPEG 质量 95。
|
||
- `annotated/`：`--save-annotated` 保存带框、关键点及风险文字的 JPEG，无需开启可视化窗口。
|
||
- `results/`：`--save-results` 每个完成推理的帧保存一个 JSON，包含帧号、检测框、跟踪 ID、关键点及置信度、风险和耗时；有 CAN 的分支还包含相应状态。
|
||
|
||
同一帧三类文件同名（扩展名不同），文件名包含运行标识和帧号，多次运行不覆盖。JSON 的 `images` 提供相对于 `output/` 的图片路径，未选择保存的图片为 null。源码入口写入工程 `output/`；独立包入口写入 `orin/output/`。默认不创建目录、不保存文件。
|
||
|
||
保存对象是完成推理的帧；惰性分支暂停时不新增文件。开启保存会增加编码和磁盘 I/O 开销。写入失败时报告错误并停止，不静默丢失文件。
|
||
|
||
## H.264 推理过程录制与回灌
|
||
|
||
```bash
|
||
./run.sh --record-session output/sessions/drive-001
|
||
# Ctrl+C 正常停止，完成 MP4 封装后再回灌
|
||
./run.sh --replay-session output/sessions/drive-001 --save-results
|
||
```
|
||
|
||
录制目录必须不存在。会话保存一份 H.264 视频、逐帧过程 JSON、推理配置与门区副本；回灌解码视频并重新执行 TensorRT 推理，不打开摄像头，结束后自动退出。使用当前配置指向的引擎；有损压缩会引起推理结果差异。需要 OpenCV FFmpeg 的 H.264 编码支持。强制退出或断电导致未封装完成的会话不可回灌；正常 Ctrl+C / SIGTERM 会完成封装。详细格式与限制见工程 README。
|
||
|
||
## CAN 状态与发送接口
|
||
|
||
实时运行默认从 USBCANFD CH0 接收、从 CH1 发送（两个通道均为 500 kbps / 2 Mbps）。预览显示 `0x391` 的 LF/RF/LR/RR 四门实际位置反馈原始值，仅显示 CH0，并标记新鲜度和收发计数。`--no-can` 可关闭；设备缺失不停止推理。`config/camera.json` 的 `can.termination` 同时控制两个通道的终端电阻，默认沿用参考工程的开启设置。
|
||
|
||
`lib/` 包含 SDK 与 libusb 及其 SONAME 链接。回灌使用录制的 CAN 快照，不访问总线；旧会话显示 NOT_RECORDED。按需发送通过 C++ `CameraPipeline::sendCan()`，参数与完整示例见工程 README。
|
||
|
||
首个实时推理风险状态发送一次，此后仅在二值风险变化时，由后台线程在 CH1 发送一帧标准 CAN `0x1F6`，长度 8 字节：首字节高、低四位同时填写相同风险值，`clear`、`watch` 和 `unavailable` 时各为 0，`warning`、`danger` 及未知状态各为 1，即首字节为 `0x00` 或 `0x11`，后七字节清零。CH0 仅接收，CH1 仅发送。发送等待不阻塞推理，最多保留一个待发结果，忙时由最新结果替换；发送失败计入 TX 错误。仅在报文编码 0 与 1 之间变化时触发发送，相同编码的等级切换不重发。状态不变及发送失败时均不自动重试，等待新的二值变化。等待期间回到正在发送的状态会取消冗余待发报文。`--no-can` 和视频回灌禁用发送。停止时清空待发结果，等待正在执行的 SDK 调用结束后释放设备。
|
||
|
||
USB-CAN 首次接入如出现权限不足，运行 `./scripts/enable_can_access.sh`（需要 sudo，运行用户属于 plugdev），仅为 `3068:0009` 适配器安装设备访问规则。
|