一种基于深度感知手势识别的虚拟维修性仿真方法技术

本发明专利技术涉及一种基于深度感知手势识别的虚拟维修性仿真方法。本发明专利技术包括：1)硬件环境搭建；2)数据准备；3)功能层实现；4)交互层实现。本方法采用无穿戴式深度感知手势识别交互设备，让使用人员能进行自然、直观、高精度的符合人体自然使用习惯的手势交互，能面向更多人员无差别使用。在飞机设计阶段采用本发明专利技术对飞机各舱位进行维修性仿真，可以在虚拟现实环境中以人在回路的方式直接对设计数模进行仿真操作，极大简化了维修性仿真过程，提高了效率；同时，通过定义操作步骤和操作手势，解决了人在回路实时维修性仿真存在的交互随意性大、交互精度低的问题，提高了人在回路实时维修性仿真的实用性和准确率。

A virtual Maintainability Simulation Method Based on depth perception gesture recognition

【技术实现步骤摘要】
一种基于深度感知手势识别的虚拟维修性仿真方法
本专利技术属于飞机维修维护
，涉及一种基于深度感知手势识别的虚拟维修性仿真方法。
技术介绍
在飞机设计领域，飞机数字化设计技术与VR虚拟现实技术应用日趋成熟，并向设计阶段的虚拟维修性仿真领域进行更深层次和更广泛的应用和发展。虚拟维修性仿真是设计人员对设计过程中的数字样机模型进行维修过程、维修动作的仿真验证、分析过程，验证维修对象的可视性、可达性、维修通道等，通过不断迭代，优化飞机产品的整体设计和维修方案。设计人员可以在基于虚拟现实环境的人在回路仿真环境中以第一人称视角直接与飞机数字样机进行人在回路的交互操作，模拟维修操作过程，分析可达性、可视性等维修性指标，提高维修性设计与仿真的效率和准确度。当前虚拟维修性仿真的环境主要有多通道沉浸式、桌面式与头盔式三种类型。不同类型的硬件系统，其硬件环境、交互设备、人机交互方式均有不同。目前，多通道沉浸式虚拟现实环境典型的交互设备为ART光学跟踪系统的交互手柄Flystick，虽然沉浸真实感较好，但是软硬件价格昂贵，Flystick手柄交互功能较单一；桌面式的交互设备通常为键盘/鼠标，很难实现直观的三维交互；头盔式的交互设备通常为与头盔配套使用的手柄，也可以在自然人身上绑定穿戴式动作捕捉套件，但是外部设备的介入虽然使得人体手势动作识别的准确度和稳定性得以提高，却掩盖了手势自然的表达方式，同时穿戴设备也有因穿戴的位置随机性大，不适配所有体型导致自然人手与虚拟人手匹配精度较差，动作走样变形的缺点。同时，人的生物特性决定了手在交互空间的轨迹无法实现规范化，而进行虚拟维修性仿真或训练时手的姿势动作都是实时产生的，与维修模型可能会在任何位置、角度上发生碰撞交互，很多现有人机交互技术难以有效地理解手势输入意图，判定手势是否符合维修操作要求完成交互。
技术实现思路
本专利技术的目的是：为了满足飞机虚拟维修性仿真时人机交互能摆脱穿戴式动作捕捉设备的束缚，能进行自然、直观、高精度的符合人体自然使用习惯的手势交互，能面向更多人员无差别使用的要求，结合现有头盔式虚拟现实环境提出了一种基于深度感知手势识别的虚拟维修性仿真方法。本专利技术的技术解决方案是：一种基于深度感知手势识别的虚拟维修性仿真方法，包括以下步骤：1)硬件环境搭建硬件环境层采用基于深度感知的无穿戴式手势识别交互设备，配合VR头盔，构建人在回路的虚拟仿真环境。2)数据准备包括了完成虚拟场景布置所需的样机模型、工具模型、场景模型以及维修任务流程。所述样机模型包含维修任务流程操作项指定的操作模型。3)功能层实现a)手势定义：手势定义是人在回路虚拟维修性仿真系统中，操作人员抓取/拾取操作模型是否达到操作要求，提供系统有效理解手势输入意图的判定依据。只有当操作人员以规定的手势角度姿势操作时才能操作成功，否则失败。b)手势判断：在拆装操作模型时，对虚拟手势进行判断，当手势满足手势预定义要求时，允许进行相对位置关系绑定；否则，不能进行绑定。c)操作模型识别：确定操作模型是否与维修任务流程操作项中指定的操作模型一致，并需满足“虚拟人手，到操作工具，再到操作模型”或“虚拟人手，到操作模型”两种操作关系传递。d)维修流程控制：在人在回路的自由操作环境中，根据维修任务流程，对操作人员的操作步骤进行逻辑控制。4)交互层实现a)深度感知手势识别交互：开发定制手势控制器处理深度识别手势交互设备实时获取的手部运动数据帧，调用手势控制器类启动虚拟手势的识别，并结合交互事件触发类发送事件消息调用事件处理程序完成对交互事件的处理，驱动操作模型运动，驱动UI显示信息。b)UI交互控制：开发交互事件触发器，利用刚体触发器和碰撞检测技术判断虚拟手模型与操作模型和多级UI交互界面的交互，通过事件委托的方式触发操作模型和UI交互界面的响应。c)信息显示：开发UI控件完成模型结构树、维修流程树信息的显示。与传统虚拟现实环境典型的交互设备相比，本方法采用的无穿戴式深度感知手势识别交互设备让使用人员摆脱穿戴式动作捕捉设备的束缚，能进行自然、直观、高精度的符合人体自然使用习惯的手势交互，能面向更多人员无差别使用，在虚拟维修性仿真中工作精度可达到0.01mm。克服传统手势交互由于人生物特性决定的手在交互空间轨迹无法规律化表达需要开发特定控件，以手势为输入产生事件或消息作为输出进行人机交互带来的不直观、不方便的缺点，通过引入面向虚拟维修性仿真的特定的预定义手势，通过实时获取虚拟手的各关节数据与手部空间位置信息，识别当前手势动作是否达到预定义手势要求，当满足条件时，方可执行维修操作，大大提高了手势识别交互的自然感和准确度，同时在手势交互中结合维修流程信息实现操作对象识别，建立了“手势-操作工具-操作模型”的对应关联关系，实现“虚拟人手-操作工具-操作对象”的多级操作传递。在飞机设计阶段采用该技术对飞机各舱位进行维修性仿真，设计员可以在虚拟现实环境中以人在回路的方式直接对设计数模进行仿真操作，极大简化了仿真过程，提高了维修性仿真效率；同时，通过定义操作步骤和操作手势，解决了人在回路实时仿真存在的交互随意性大、交互精度低的问题，提高了人在回路实时仿真的实用性和准确率。附图说明图1为本专利技术虚拟维修性仿真方法原理示意图；图2为人在回路的虚拟仿真环境示意图；图3为GenerateModelInfo场景结构树；图4为手势模型、工具、交互模型在场景中预定义位置示意图；图5为GenerateModelInfoController脚本中设置；图6为维修性仿真流程数据文件；图7为手势判断流程图；图8为本专利技术一实施例深度感知手势识别判断与操作效果图。具体实施方式下面结合附图对本专利技术的具体实施方式做进一步说明。一种基于深度感知手势识别的虚拟维修性仿真方法，如图1所示，包括以下步骤：1)硬件环境搭建本方法技术方案的硬件环境层采用了基于深度感知的无穿戴式手势识别交互设备，配合VR头盔，构建人在回路的虚拟仿真环境如图2所示。深度感知手势识别交互设备采用立体视觉原理，配备双摄像头的控制器如同人眼一样，能够对三维空间物体进行坐标定位。通过两个摄像头同时捕获目标，并且实时计算目标的视差，得到目标的空间位置。VR头盔给穿戴者提供了一个全封闭的VR视景环境，使穿戴者沉浸在数字空间中，深度感知手势识别交互设备绑定在VR头盔前部，随时根据操作者头部的移动，实时获取操作者眼前的手部动作数据。2)数据准备包括了完成虚拟场景布置所需的样机模型、工具模型、场景模型以及维修流程。其中样机模型数据来源于产品数据管理系统(PDM)，确保维修性仿真样机数据与设计数据同源，经过轻量化处理和格式转换，形成具有完整BOM结构的FBX格式单文件模型。从原始的材质库中匹配材质到具体的模型部件，读取材质信息，完成模型的材质渲染，烘焙渲染模型效果。3)功本文档来自技高网...

【技术保护点】
1.一种基于深度感知手势识别的虚拟维修性仿真方法，其特征为所述虚拟维修性仿真方法包括以下步骤：/n1)硬件环境搭建/n硬件环境层采用基于深度感知的无穿戴式手势识别交互设备，配合VR头盔，构建人在回路的虚拟仿真环境；/n2)数据准备/n包括了完成虚拟场景布置所需的样机模型、工具模型、场景模型以及维修任务流程；/n所述样机模型包含维修任务流程操作项指定的操作模型；/n3)功能层实现/na)手势定义：手势定义是人在回路虚拟维修性仿真系统中，操作人员抓取/拾取操作模型是否达到操作要求，提供系统有效理解手势输入意图的判定依据；只有当操作人员以规定的手势角度姿势操作时才能操作成功，否则失败；/nb)手势判断：在拆装操作模型时，对虚拟手势进行判断，当手势满足手势定义要求时，允许进行相对位置关系绑定；否则，不能进行绑定；/nc)操作模型识别：确定操作模型是否与维修任务流程操作项中指定的操作模型一致，并需满足“虚拟人手，到操作工具，再到操作模型”或“虚拟人手，到操作模型”两种操作关系传递；/nd)维修流程控制：在人在回路的自由操作环境中，根据维修任务流程，对操作人员的操作步骤进行逻辑控制；/n4)交互层实现/na)深度感知手势识别交互：开发定制手势控制器处理深度识别手势交互设备实时获取的手部运动数据帧，调用手势控制器类启动虚拟手势的识别，并结合交互事件触发类发送事件消息调用事件处理程序完成对交互事件的处理，驱动操作模型运动，驱动UI显示信息；/nb)UI交互控制：开发交互事件触发器，利用刚体触发器和碰撞检测技术判断虚拟手模型与操作模型和多级UI交互界面的交互，通过事件委托的方式触发操作模型和UI交互界面的响应；/nc)信息显示：开发UI控件完成样机模型结构树、维修流程树信息的显示。/n...

【技术特征摘要】
1.一种基于深度感知手势识别的虚拟维修性仿真方法，其特征为所述虚拟维修性仿真方法包括以下步骤：
1)硬件环境搭建
硬件环境层采用基于深度感知的无穿戴式手势识别交互设备，配合VR头盔，构建人在回路的虚拟仿真环境；
2)数据准备
包括了完成虚拟场景布置所需的样机模型、工具模型、场景模型以及维修任务流程；
所述样机模型包含维修任务流程操作项指定的操作模型；
3)功能层实现
a)手势定义：手势定义是人在回路虚拟维修性仿真系统中，操作人员抓取/拾取操作模型是否达到操作要求，提供系统有效理解手势输入意图的判定依据；只有当操作人员以规定的手势角度姿势操作时才能操作成功，否则失败；
b)手势判断：在拆装操作模型时，对虚拟手势进行判断，当手势满足手势定义要求时，允许进行相对位置关系绑定；否则，不能进行绑定；
c)操作模型识别：确定操作模型是否与维修任务流程操作项中指定的操作模型一致，并需满足“虚拟人手，到操作工具，再到操作模型”或“虚拟人手，到操作模型”两种操作关系传递；
d)维修流程控制：在人在回路的自由操作环境中，根据维修任务流程，对操作人员的操作步骤进行逻辑控制；
4)交互层实现
a)深度感知手势识别交互：开发定制手势控制器处理深度识别手势交互设备实时获取的手部运动数据帧，调用手势控制器类启动虚拟手势的识别，并结合交互事件触发类发送事件消息调用事件处理程序完成对交互事件的处理，驱动操作模型运动，驱动UI显示信息；
b)UI交互控制：开发交互事件触发器，利用刚体触发器和碰撞检测技术判断虚拟手模型与操作模型和多级UI...

【专利技术属性】
技术研发人员：刘飞洋，花斌，李荣强，杨旭东，李力莎，
申请(专利权)人：中国航空工业集团公司成都飞机设计研究所，
类型：发明
国别省市：四川;51