一种基于混合现实的工程装备实时交互系统及运动仿真方法技术方案

本发明专利技术属于人机交互技术领域，公开了一种基于混合现实的工程装备实时交互系统及运动仿真方法，包括混合现实硬件、操纵控制手柄、仿真控制模块、空间映射和碰撞检测模块以及信息存储模块；通过建立工程装备操作仿真中的复杂力学约束关系，引入物理引擎中的简单约束来拟真地表现工程装备各部件的运动过程，解决了运动模拟的实时性与仿真效果的兼顾问题，操作者可在具有真实沉浸感与交互性的混合虚拟环境中，对场景中的工程装备进行虚拟操作，模拟施工过程，从而提供了一种可以满足交互性和实时性的独立于平台的虚拟交互仿真方法。性的独立于平台的虚拟交互仿真方法。性的独立于平台的虚拟交互仿真方法。

【技术实现步骤摘要】
一种基于混合现实的工程装备实时交互系统及运动仿真方法


[0001]本专利技术属于人机交互
，具体涉及一种基于混合现实的工程装备实时交互系统及运动仿真方法。

技术介绍

[0002]工程装备如高空作业装备、泵车、凿岩台车等结构复杂，操控难度大，危险系数高，对操作人员的技术水平要求较高，为了降低施工风险，提高工作质量和效率，保证施工安全，为模拟操作者操控工程装备产生的相应运动行为，与工程机械相关的模拟操控仿真训练系统出现，但是大多使用的是计算机三维成像技术和三维动画技术，不能满足交互性，混合现实是一种使真实世界和虚拟物体在同一视觉空间中显示和交互的计算机虚拟技术，将真实世界和虚拟世界进行无缝连接，创造一个全新的可视化环境，逐渐在工业、教育培训、娱乐、医疗等领域有了较快的发展应用。
[0003]在工程装备研制过程中，运动仿真大多在专业软件如PRO/E、ADAMS等环境下进行，此类仿真对开发平台的依赖度较高且交互性不高，无法进行训练或实地验证；为使开发过程独立于软件平台，传统的方法是通过转换矩阵计算出工作装置各个不同部分运动的位置坐标然后再本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实的工程装备实时交互系统，其特征在于：包括混合现实硬件、操纵控制手柄、仿真控制模块、空间映射和碰撞检测模块以及信息存储模块；所述混合现实硬件分别与仿真控制模块、空间映射和碰撞检测模块通信连接，用于采集并显示工程装备三维模型、识别和采集施工现场环境信息以及获取操作人员位置信息；所述操纵控制手柄与仿真控制模块通信连接，用于将操作的数字信号传输至仿真控制模块；所述仿真控制模块分别与混合现实硬件、操纵控制手柄、空间映射和碰撞检测模块以及信息存储模块通信连接，用于接收虚拟交互信息，并将虚拟交互信息解析为虚拟三维模型运动相对应的指令信息，虚拟三维模型根据指令实时运动仿真；所述空间映射和碰撞检测模块分别与混合现实硬件和仿真控制模块通信连接，用于将混合现实硬件采集到的施工现场环境信息与仿真控制模块中的虚拟三维模型，透过混合现实硬件的显示屏将虚拟三维模型显示在真实的施工现场环境中，以虚实融合方式显示，同时进行虚拟物体与真实场景物体间的碰撞检测和实时性运动干涉模拟；所述信息存储模块分别与仿真控制模块、空间映射和碰撞检测模块通信连接，用于保存虚拟训练和虚拟验证时的运动状态信息及碰撞检测信息记录以实现训练和验证结果的复现。2.根据权利要求1所述的一种基于混合现实的工程装备实时交互系统，其特征在于：还包括服务器，所述服务器为仿真控制模块、空间映射和碰撞检测模块以及信息存储模块的硬件载体。3.根据权利要求1所述的一种基于混合现实的工程装备实时交互系统，其特征在于：所述仿真控制模块包括交互指令采集模块、动力学仿真计算模块以及场景管理及图形图像实时渲染模块；所述交互指令采集模块，用于接收佩戴混合现实硬件的操作人员的操作信息，所述操作信息为虚拟交互信息，所述虚拟交互信息包括来自于操纵控制手柄的手柄操作数字信号、混合现实硬件的手柄操作、操作人员手势、操作人员语音的交互指令信息、接收佩戴混合现实硬件的操作人员位置信息以及真实的施工现场环境信息；所述动力学仿真计算模块用于根据操作人员的操作信息进行实时动力学仿真计算，并将仿真计算结果输出至场景管理及图形图像实时渲染模块；所述场景管理及图形图像实时渲染模块用于根据动力学仿真计算模块的仿真计算结果对虚拟场景中的工程装备三维模型运动状态实时更新，并将操作结果输出至混合现实硬件展示给操作人员。4.根据权利要求1所述的一种基于混合现实的工程装备实时拟交互系统，其特征在于：所述操纵控制手柄包括手柄驱动，所述操纵控制手柄通过手柄驱动将操作的数字信号传输至仿真控制模块；所述手柄驱动将操纵控制手柄输入的操作控制流解析成操作数字信号，并将所述操作数字信号传送给仿真控制模块。5.一种基于混合现实的工程装备运动仿真方法，其特征在于：基于权利要求1至4任一所述的实时拟交互系统，所述动力学仿真计算模块通过对工程装备进行多刚体动力学建模，在工程装备各刚体构件之间建立相应运动学约束，所述运动学约束包括多刚体动力学系统和运动约束系统。
6.根据权利要求5所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述运动仿真方法包括以下步骤：步骤一：配置混合现实硬件、操纵控制手柄、服务器；步骤二：向混合现实硬件加载虚拟模型；步骤三：用户通过操纵控制手柄进行操作输入；若用户操作输入错误，则进行错误信息提示；若用户操作输入正确，进行动力学仿真计算，并将仿真计算结果输出至场景管理及图形图像实时渲染模块，所述场景管理及图形图像实时渲染模块根据动力学仿真计算模块的仿真计算结果对虚拟场景中的工程装备三维模型运动状态实时更新，并将操作结果输出至混合现实硬件展示给操作人员；步骤四：将所述步骤三中实时更新的虚拟场景中的工程装备三维模型显示在真实的施工现场环境中，以虚实融合方式显示，同时进行虚拟物体与真实场景物体间的碰撞检测和实时性运动干涉模拟；若检测与真实环境发生干涉，则将干涉信息提示发送给佩戴混合现实硬件的操作人员，若检测与真实环境没有发生干涉，则继续执行下一步验证和训练任务；步骤五：将操作过程写入信息存储模块，进行过程中的操作过程信息记录存储，完成任务。7.根据权利要求5所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述多刚体动力学系统包括多刚体系统物理模型和多刚体系统数学模型；所述多刚体系统物理模型为通过对工程装备几何模型进行物理建模，从而形成表达系统力学特性的物理模型，所述物理建模包括以下步骤：步骤S1：根据运动学约束和虚拟三维模型初始位置条件对工程装备几何模型进行装配，通过分析虚拟三维模型各个部件之间的运动依赖关系设置虚拟三维模型部件之间的父子嵌套关系，最终完成整个工程装备模型树的构建；步骤S2：把每一个几何模型构件看成刚性构件并设定其笛卡尔广义坐标矢量其中l＝1,2,...,n，n表示一个拥有n个点的多刚体系统，且将任一相邻的通过铰连接的刚体视作一个单元，即n表示多刚体系统的单元数；q
l
以单个刚体为参考物，用广义坐标对另一个刚体相对此刚体的位置进行描述；设r
l
(x,y,z)为每个刚体构件的质心在绝对坐标基下的矢量，x表示绝对坐标系中x轴，y表示绝对坐标系中y轴，z表示绝对坐标系中z轴，γ＝(ψ,θ,φ)
l
为刚体构件相对坐标基自身的三个欧拉角，ψ表示进动角，θ表示章动角，φ表示自转角，则整个多刚体动力学系统的位形矢量矩阵：q＝(q
1 q2ꢀ…ꢀ
q
n
)
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)整个多刚体动力学系统的运动学约束方程组表达式为式(2)中，m——约束副的个数，Γ
V
为一个整体，表示整个多刚体动力学系统的运动约束方程组，表示对应的构件单独的运动约束方程，其中，w＝1,2,3，
…
...

【专利技术属性】
技术研发人员：代明远，路易霖，王玮，
申请(专利权)人：燕山大学，
类型：发明
国别省市：