虚拟手术室方案（Isaac Sim + Omniverse）¶
负责人： 谭文韬
总体目标¶
构建虚拟手术室场景，真实还原手术床、无菌台、器械台、医护人员位置布局，实现：
- 手术器械识别、抓取、递交流程的虚拟验证
- 医护人员培训（医生/护士角色交互）
- 手术器械辅助机器人（单臂）的策略迭代与验证
架构分层¶
1. 物理建模层（Omniverse）¶
环境建模：
- 手术室空间（墙体、灯光、吊塔、监护设备）
- 手术床（可调节高度/角度）
- 无菌台 & 中立区托盘（Hand-off Zone）
- 医生、护士虚拟人模型（MetaHuman 或定制骨骼绑定）
器械建模：
- Top-10 常用手术器械（镊子、剪刀、持针器、刀片、止血钳等）
- 按真实 CAD/3D 扫描导入，赋予物理属性（质量、摩擦、碰撞体）
2. 动力学与感知仿真（Isaac Sim）¶
机器人模型：
- 越疆 CRS 系列机械臂 URDF/MJCF
- 末端夹爪（双指 + 力/位传感）
相机与传感器：
| 传感器 | 安装位置 | 用途 |
|---|---|---|
| RGB-D 相机（俯视） | 固定吊装 | 器械台全局识别与定位 |
| 腕部相机（eye-in-hand） | 机械臂末端 | 近距精确抓取 |
| ToF/红外传感器 | 递交区 | 手部接近检测，确认取走 |
物理仿真：
- 刚体动力学（抓取摩擦、惯量、滑动）
- 限速/限力验证安全性
3. 控制与交互¶
控制接口：
- ROS2 Bridge → MoveIt! 轨迹规划
- Python API（Isaac SDK）：执行 识别→抓取→递交 状态机
交互方式：
- 脚踏板（虚拟 I/O，触发递交动作）
- 虚拟护士 GUI（点击确认/撤回）
- 语音指令（集成 Nemo 语音识别）
4. 协同与数据沉淀（Omniverse Nucleus）¶
- 多用户协同：医生/护士/工程师可同时接入同一场景
- 数据记录：自动记录识别成功率、递交时延、错误次数
- 经验库：生成「手术器械递交序列模型」，用于机器人动作优化
功能演示场景¶
- 场景搭建：打开虚拟手术室，显示无菌台、器械台、主刀位置
- 器械抓取与递交：相机识别镊子 → 机械臂抓取 → 递交至主刀递交区 → 医生虚拟手确认（脚踏 + 手部检测）→ 松爪
- 护士–机器人分工：护士虚拟人整理器械台，机器人负责递交
- 培训模式：可切换「机器人辅助/全人工」模式，对比劳动强度与效率
评测指标¶
| 指标类别 | 指标 | 目标值 |
|---|---|---|
| 功能性 | 抓取成功率 | ≥97% |
| 功能性 | 递交成功率 | ≥98% |
| 功能性 | 平均递交时延 | ≤2.5 s |
| 安全性 | 急停响应 | ≤80 ms |
| 安全性 | 碰撞/误释放率 | 0 |
| 培训效果 | 护士负荷降低 | ≥30%（NASA-TLX 评分） |