一种增强现实半实物复杂机电设备培训系统技术方案

本发明专利技术提供了一种增强现实半实物复杂机电设备培训系统，包括半实物硬件构建模块、AR培训开发模块和AR融合显示模块；所述半实物硬件构建模块用于半实物硬件的设计和控制信号的生成，所述AR培训开发模块用于设备虚拟模型分类、模型点云特征计算、指导流程建立和AR数据包导出，所述AR融合显示模块用于将半实物硬件和设备虚拟模型利用增强现实三维注册技术进行虚实融合，并实现在设备实际控制信号的控制下进行运动过程模拟。本发明专利技术能够将半实物仿真和增强现实技术相结合，将真实培训设备的工作状态进行有效、直观的展示。直观的展示。直观的展示。

【技术实现步骤摘要】
一种增强现实半实物复杂机电设备培训系统


[0001]本专利技术属于机电设备培训
，具体涉及一种增强现实半实物复杂机电设备培训系统。

技术介绍

[0002]大型复杂机电系统是一类结构极其复杂、技术高度密集的系统，使用和维修过程对人员技术和工具设备都有极高的要求。目前，复杂机电设备的培训主要有基于实际设备和基于虚拟仿真技术两种方式。基于实际设备的培训由于设备价格昂贵、受训人员操作不熟练和培训环境受限等因素的限制，培训成本昂贵、操作难度大，培训过程安全性差，非常容易产生操作差错和人身安全问题；基于虚拟仿真技术的培训利用计算机仿真和虚拟现实技术，构造虚拟设备和虚拟工件模型，通过虚拟设备实现对虚拟工件的模拟加工。由于虚拟复杂机电设备仿真系统是离线仿真，只能反映复杂机电系统运行中的理想情况，没有考虑复杂设备运行中的干扰、伺服误差、故障和手动操作等外界干扰，因此只能实现实际设备运行过程的部分模拟，虚拟培训系统中培训人员完全沉浸在由计算机生成的虚拟培训环境中，与真实的操作环境隔离开，无法获取真实培训场景视觉信息和真实设备参数，可操作性和体验感差。

技术实现思路

[0003]本专利技术要解决的技术问题是针对现有技术的不足而提供一种增强现实半实物复杂机电设备培训系统，将半实物仿真和增强现实技术相结合，将真实培训设备的工作状态进行有效、直观的展示。
[0004]为解决上述技术问题，本专利技术的内容包括：一种增强现实半实物复杂机电设备培训系统，包括半实物硬件构建模块、AR培训开发模块和AR融合显示模块；所述半实物硬件构建模块用于半实物硬件的设计和控制信号的生成，其包括信号控制子模块和零件隐藏控制子模块；信号控制子模块负责将设备的状态信息发送给AR融合显示模块，解析AR融合显示模块发送的控制指令，并将这些控制信息发送给零件隐藏控制子模块，再由零件隐藏控制子模块根据控制信息，将零件隐藏或者显示；所述AR培训开发模块用于设备虚拟模型分类、模型点云特征计算、指导流程建立和AR数据包导出，其包括指导流程子模块、外观模型定义子模块、控制模型定义子模块、工件模型定义子模块和AR数据包发布子模块；指导流程子模块用于建立对实物零件的安装流程，用来指导硬件零件的安装；外观模型定义子模块用于定义与实物外观一致的外观模型，为三维注册提供参考数据；控制模型定义子模块用于定义控制模型和模型运动方向；工件模型定义子模块用于定义加工工件模型，为后续的工件加工仿真提供基础数据；AR数据包发布子模块用于将安装流程、外观模型、控制模型以及控制模型特征和工件模型信息序列化到AR数据包中，然后将该数据包发送给AR融合显示模块；所述AR融合显示模块用于将半实物硬件和设备虚拟模型利用增强现实三维注册技术进行虚实融合，并实现在设备实际控制信
号的控制下进行运动过程模拟，其包括AR三维注册子模块、AR辅助指导子模块、培训过程仿真子模块和工件状态仿真子模块；AR三维注册子模块用于半实物硬件的点云采集、点云分割、点云识别和点云配准以及设备虚拟模型和半实物硬件的虚实融合；AR辅助指导子模块负责根据AR数据包中的安装流程信息，对安装类零件的安装过程进行辅助指导；培训过程仿真子模块根据信号控制子模块发送的设备状态信息，实时控制AR数据包中的控制模型按照定义的运动方向进行运动；工件状态仿真子模块根据AR数据包中的控制模型的运行轨迹对工件数据包中的工件模型进行加工现象模拟。
[0005]进一步的，所述半实物硬件构建模块的建立包括以下步骤：A1：根据实际设备中各个零件承担的功能对零件进行分类，划分为外观类零件、安装类零件、操作类零件、控制类零件和其他零件；A2：将外观类零件、安装类零件、操作类零件和控制类零件组装在一起，组成半实物硬件设备；A3：为操作类零件设计信号采集系统，将控制类零件由于状态改变生成的控制信号接入信号控制子模块；A4：为安装类零件设计和制作机械结构，使其能够显示或收缩隐藏到箱体内，并将显示或收缩隐藏的状态信号添加到信号控制子模块；A5：为半实物硬件设备设计独立的保证其机械结构和控制电路运行的供电线路。
[0006]进一步的，所述AR数据包的建立包括以下步骤：B1：将完整的三维设备数模导入到AR培训开发模块中；B2：根据实际设备中各个设备零件承担的功能对设备虚拟模型中的零件模型进行分类，划分为外观类零件模型、安装类零件模型、操作类零件模型、控制类零件模型和工件零件模型；B3：根据培训功能要求，在AR培训开发模块中为安装类零件模型建立安装类零件模型的指导动画；B4：通过虚拟相机对外观类零件模型和操作类零件模型进行全方位的空间信息采集处理，计算每个视角下外观类零件模型和操作类零件模型对应的点云数据，根据点云数据生成VFHF特征；B5：将外观类零件模型、操作类零件模型、安装类零件模型、控制类零件模型和工件类零件模型、不同视角下的视角信息、模型点云和模型特征值存储为AR数据包。
[0007]进一步的，所述AR融合显示模块的建立包括以下步骤：C1：利用增强现实头盔的深度和纹理相机，实时采集半实物硬件设备的深度和纹理数据；根据采集的深度和纹理数据计算半实物硬件设备的模型特征；利用特征分割、特征识别、特征匹配，利用增强现实三维注册算法实现虚实物体的融合；C2：AR辅助指导，根据三维注册信息对安装类零件的安装过程进行辅助指导；C3：实藏虚显互换，安装类零件安装完成后，打开电源开关，进行安装类零件和控制类零件隐藏、对应的安装类零件模型和控制类零件模型显示；C4：培训过程仿真，根据实际操作需要，通过操控操作类零件来控制控制类零件模型进行运行；C5：工件状态仿真，在控制类零件模型运动过程中，根据指令类型，对工件类零件
模型进行相应的模拟变换。
[0008]进一步的，所述的AR三维注册包括以下步骤：C1
‑
1：使用增强现实头盔对半实物硬件进行扫描，获取半实物硬件的三维点云信息P和视线信息V；C1
‑
2：根据平面分割算法对三维点云信息P分割处理，分割结果为S，如果S内没有点云，则分割失败，则执行步骤C1
‑
1，否则执行步骤C1
‑
3；C1
‑
3：根据采集点云的视线信息V对分割结果S中的点云包围盒进行求交，求交结果为集合T，对于不能相交的点云则丢弃，否则加入集合T中，对S中点云交完成后，如果集合T为空，则执行步骤C1
‑
1，否则执行步骤C1
‑
4；C1
‑
4：计算集合T中的每个点云块的VFHF特征，计算结果为集合VH；C1
‑
5：将AR数据包的模型特征和分割结果特征VH进行特征匹配，根据特征距离从匹配结果中找到符合要求的最优点云块B，如果没有找到则执行步骤C1
‑
1，否则执行步骤C1
‑
6；C1
‑
6：将AR数据包的模型点云和最优点云块B进行SAC_IA初始配准，根据SAC_IA配准结果使用ICP进行精细配准，配准变换矩阵为M；C1
‑
7：根据配准变换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实半实物复杂机电设备培训系统，其特征在于：包括半实物硬件构建模块、AR培训开发模块和AR融合显示模块；所述半实物硬件构建模块用于半实物硬件的设计和控制信号的生成，其包括信号控制子模块和零件隐藏控制子模块；信号控制子模块负责将设备的状态信息发送给AR融合显示模块，解析AR融合显示模块发送的控制指令，并将这些控制信息发送给零件隐藏控制子模块，再由零件隐藏控制子模块根据控制信息，将零件隐藏或者显示；所述AR培训开发模块用于设备虚拟模型分类、模型点云特征计算、指导流程建立和AR数据包导出，其包括指导流程子模块、外观模型定义子模块、控制模型定义子模块、工件模型定义子模块和AR数据包发布子模块；指导流程子模块用于建立对实物零件的安装流程，用来指导硬件零件的安装；外观模型定义子模块用于定义与实物外观一致的外观模型，为三维注册提供参考数据；控制模型定义子模块用于定义控制模型和模型运动方向；工件模型定义子模块用于定义加工工件模型，为后续的工件加工仿真提供基础数据；AR数据包发布子模块用于将安装流程、外观模型、控制模型以及控制模型特征和工件模型信息序列化到AR数据包中，然后将该数据包发送给AR融合显示模块；所述AR融合显示模块用于将半实物硬件和设备虚拟模型利用增强现实三维注册技术进行虚实融合，并实现在设备实际控制信号的控制下进行运动过程模拟，其包括AR三维注册子模块、AR辅助指导子模块、培训过程仿真子模块和工件状态仿真子模块；AR三维注册子模块用于半实物硬件的点云采集、点云分割、点云识别和点云配准以及设备虚拟模型和半实物硬件的虚实融合；AR辅助指导子模块负责根据AR数据包中的安装流程信息，对安装类零件的安装过程进行辅助指导；培训过程仿真子模块根据信号控制子模块发送的设备状态信息，实时控制AR数据包中的控制模型按照定义的运动方向进行运动；工件状态仿真子模块根据AR数据包中的控制模型的运行轨迹对工件数据包中的工件模型进行加工现象模拟。2.根据权利要求1所述的增强现实半实物复杂机电设备培训系统，其特征在于：所述半实物硬件构建模块的建立包括以下步骤：A1：根据实际设备中各个零件承担的功能对零件进行分类，划分为外观类零件、安装类零件、操作类零件、控制类零件和其他零件；A2：将外观类零件、安装类零件、操作类零件和控制类零件组装在一起，组成半实物硬件设备；A3：为操作类零件设计信号采集系统，将控制类零件由于状态改变生成的控制信号接入信号控制子模块；A4：为安装类零件设计和制作机械结构，使其能够显示或收缩隐藏到箱体内，并将显示或收缩隐藏的状态信号添加到信号控制子模块；A5：为半实物硬件设备设计独立的保证其机械结构和控制电路运行的供电线路。3.根据权利要求1所述的增强现实半实物复杂机电设备培训系统，其特征在于：所述AR数据包的建立包括以下步骤：B1：将完整的三维设备数模导入到AR培训开发模块中；B2：根据实际设备中各个设备零件承担的功能对设备虚拟模型中的零件模型进行分类，划分为外观类零件模型、安装类零件模型、操作类零件模型、控制类零件模型和工件零件模型；
B3：根据培训功能要求，在AR培训开发模块中为安装类零件模型建立安装类零件模型的指导动画；B4：通过虚拟相机对外观类零件模型和操作类零件模型进行全方位的空间信息采集处理，计算每个视角下外观类零件模型和操作类零件模型对应的点云数据，根据点云数据生成VFHF特征；B5：将外观类零件模型、操作类零件模型、安装类零件模型、控制类零件模型和工件类零件模型、不同视角下的视角信息、模型点云和模型特征值存储为AR数据包。4.根据权利要求1所述的增强现实半实物复杂机电设备培训系统，其特征在于：所述AR融合显示模块的建立包括以下步骤：C1：利用增强现实头盔的深度和纹理相机，实时采集半实物硬件设备的深度和纹理数据；根据采集的深度和纹理数据计算半实物硬件设备的模型特征；利用特征分割、特征识别、特征匹配，利用增强现实三维注册算法实现虚实物体的融合；C2：AR辅助指导，根据三维注册信息对安装类零件的安装过程进行辅助指导；C3：实藏虚显互换，安装类零件安装完成后，打开电源开关，进行安装类零件和控制类零件...

【专利技术属性】
技术研发人员：金朋轩，
申请(专利权)人：河南泊云电子科技股份有限公司，
类型：发明
国别省市：