Sim2Real 验证状态面板¶

代码从开发到上真机须完整通过三级验证。本页每周更新一次。

三级验证进度¶

✓

第一级
LIBERO + MuJoCo

决策模型验证

⋯

第二级
Isaac Sim

全流程闭环仿真

3

第三级
真实 CR5AF

实验室 → 医院

第一级：LIBERO + MuJoCo 已跑通¶

技术栈： robosuite · MuJoCo · PyTorch · OpenVLA · flash-attn · GLX/EGL

验证范围： 决策逻辑 · 动作序列正确性（不涉及真实传感器和硬件）

检查项	状态
环境安装配置通过	✅ 完成
OpenVLA 权重加载成功	✅ 完成
LIBERO 数据集正确读取	✅ 完成
`run_libero_eval.py` 脚本可运行	✅ 完成
`libero_spatial` 10 个任务可评测	✅ 完成
排查稳定性 bug，建立可复现基线	🔄 进行中
形成可复现安装文档	⭕ 待完成

第二级：Isaac Sim + Omniverse 搭建中¶

技术栈： Isaac Sim · Omniverse Nucleus · ROS2 Bridge · MoveIt! · Python SDK

验证范围： 感知 + 决策 + 执行完整闭环 · 碰撞检测 · 力控 · 状态机全流程

检查项	状态
Isaac Sim 安装 + 基础场景启动	✅ 完成
CR5 URDF 导入 + 双指夹爪配置	🔄 进行中
手术室布局建模（床 · 台 · 托盘）	🔄 进行中
RGB-D / ToF 传感器仿真配置	⭕ 待完成
手眼标定（仿真版）流程跑通	⭕ 待完成
状态机全流程联调（待机→执行→复位）	⭕ 待完成
碰撞检测 + 力控验证	⭕ 待完成
仿真数据采集 → 模型微调	⭕ 待完成

进入下一级的门槛

第二级验证通过的标准见下方"目标指标"表，五项指标全部达标后方可推进第三级。

第三级：真实 CR5AF 机械臂改进中¶

技术栈： Dobot SDK (TCP) · 越疆 CR5AF · 双目摄像头 · 力反馈夹爪

验证范围： 实验室功能测试 → 医院现场验证

检查项	状态
首轮现场测试（宣武医院 2026.02）	✅ 完成，详见现场测试报告
手眼标定半自动化（问题 #1）	🔄 进行中
夹取点修正算法（问题 #3 #4）	🔄 进行中
语音识别延迟优化 ≤1s（问题 #9）	🔄 进行中
GUI 参数配置界面（问题 #2）	⭕ 待完成
Z 轴高度自适应补偿（问题 #3）	⭕ 待完成
多级安全校验（问题 #8）	⭕ 待完成
二维码双验证机制（问题 #6）	⭕ 规划中

Sim Gap 追踪¶

仿真与真机之间的已知差距，是 sim2real 迁移的核心风险项。

差距项	风险	现象描述	对齐方案 / 状态
手眼标定误差	高	仿真坐标系与真机存在系统性偏移，夹取点平均偏差约 15mm（现场问题 #1）	开发半自动标定工具；仿真中增加位姿噪声建模 ⭕ 待完成
摩擦 / 抓取力	高	MuJoCo 摩擦系数与真实金属器械差异大，仿真抓取成功但真机夹取器械易滑落	采集真实夹持力数据，反校仿真摩擦参数 ⭕ 待启动
图像域差异	中	仿真渲染 vs 真实相机图像存在纹理、光照差异，影响 YOLO 检测置信度	Isaac Sim 开启光线追踪；训练集混入真实图像做域随机化 🔄 进行中
Z 轴高度一致性	中	真实托盘桌面不平整，不同位置 Z 偏移量不一致，导致夹取失败（问题 #3）	仿真中加入桌面扰动建模；执行层增加高度自适应补偿 ⭕ 设计中
语音 ASR 延迟	低	仿真中语音指令直接注入文本跳过 ASR；真机约 5s 延迟，手术室不可接受（问题 #9）	接入流式 ASR（Whisper streaming / NeMo） 🔄 进行中
器械台布局灵活性	低	仿真中托盘位置固定；真实手术室护士需按手术类型调整布局（问题 #5）	规划多托盘自动识别方案；引入二维码辅助定位 ⭕ 规划中

第二级通过指标（Isaac Sim 门槛）¶

≥97%

抓取成功率

当前：测试中

≥98%

递交成功率

当前：测试中

≤2.5s

平均递交时延

当前：未测

≤80ms

急停响应

硬性约束

0

碰撞 /
误释放率