一种基于全景图的增强现实工业作业培训系统及方法技术方案

本发明专利技术公开了一种基于全景图的增强现实工业作业培训系统及方法，该系统包括：培训指令设计单元、培训指令下载单元以及培训内容学习单元；培训指令设计单元用于通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；培训指令下载单元用于通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；培训内容学习单元用于通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。本发明专利技术将全景图与增强现实技术相结合创新现有培训方式，更好地从培训过渡到现场作业，有效提高工业作业培训效率与质量。提高工业作业培训效率与质量。提高工业作业培训效率与质量。

【技术实现步骤摘要】
一种基于全景图的增强现实工业作业培训系统及方法


[0001]本专利技术涉及工业作业培训系统
，特别是涉及一种基于全景图的增强现实工业作业培训系统及方法。

技术介绍

[0002]培训作为推动个人和企业不断向前发展的重要手段，在为企业培养后备专业技术人员方面起着重要的作用。航空发动机装配、高速列车车厢布线等复杂工业作业的特点要求培训作业人员记忆并理解各类操作指令，熟悉复杂繁多的操作动作，掌握大量操作和问题处理技巧，对综合素质要求非常高。传统培训存在不直观、记忆和理解难度大、培训周期长等问题，导致现场作业人才储备困难，严重影响人才培养周期和质量。
[0003]随着信息技术的日益发展，将虚拟现实技术和增强现实技术应用于培训领域成为一种常态的教学形式，虚拟现实技术培训弥补了传统培训模式的不足，但同时也存在三维建模成本高、场景虚拟代入感不强、跟知识场景结合不紧密等问题。增强现实技术作为虚拟现实技术的一个分支和发展方向，是通过计算机图形和图像处理技术实现真实场景与计算机生成的虚拟环境或虚拟物体的合成，利用设备显示给用户一个虚实结合的新环境，使用户沉浸于一个虚拟环境和真实环境融合的世界，增强了对目标环境的感知和交互，但只利用增强现实技术进行培训依赖硬件发展，同时需要有真实环境，导致培训物料成本较高，此外，复杂工业作业多数情况下无法在真实情况下进行培训。
[0004]全景图像是指通过全景相机对图像进行获取、拼接而生成的全视角图像，场景是从真实世界的工作现场收集的。真实感强，相比三维建模生成的对象更加真实，而且视角广，更有利于提升人员的参与感和真实感。将全景图与增强现实技术相结合进行培训能够克服增强现实技术的缺点，充分发挥全景图与增强现实技术的优势。

技术实现思路

[0005]本专利技术的目的是提供一种基于全景图的增强现实工业作业培训系统及方法，将全景图与增强现实技术相结合创新现有培训方式，解决现有培训不直观、三维建模成本高、现场培训物料成本高、时间空间限制等缺点，更好地从培训过渡到现场作业，有效提高工业作业培训效率与质量。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种基于全景图的增强现实工业作业培训系统，包括：培训指令设计单元、培训指令下载单元以及培训内容学习单元；
[0008]所述培训指令设计单元用于通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；
[0009]所述培训指令下载单元用于通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；
[0010]所述培训内容学习单元用于通过资源加载、识别注册、增强信息显示以及人机交
互，令受训人员在全景图中漫游学习，逐步完成培训。
[0011]进一步地，所述培训指令设计单元包括：
[0012]培训内容划分模块，用于根据具体培训需求，将提前准备好的资源以知识点
‑
具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；
[0013]识别图确定模块，用于根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；
[0014]引导信息确定模块，用于根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；
[0015]指令配置文件形成模块，用于将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。
[0016]进一步地，所述指令配置文件包括资源信息和XML文件，所述资源信息包括全景图、识别图和引导信息，若为图表培训指令还包括工程图表。
[0017]进一步地，所述培训内容学习单元包括：
[0018]资源加载模块，用于解析指令配置文件中的XML文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息以及工程图表加载至培训系统终端设备的屏幕上；
[0019]识别注册模块，用于通过图像识别算法将全景漫游中的实时图像数据与资源信息中的识别图进行匹配，匹配成功后，通过三维空间注册技术将需要注册的引导信息加载至培训系统终端设备的屏幕上；
[0020]增强信息显示模块，用于识别成功后，将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，实现对受训人员内容学习的引导；
[0021]人机交互模块，用于用户与终端设备的交互，支持鼠标交互、键盘交互、触屏交互、语音交互、手势交互、动作捕捉交互中的至少一种。
[0022]本专利技术还提供一种基于全景图的增强现实工业作业培训方法，应用于上述的基于全景图的增强现实工业作业培训系统，包括以下步骤：
[0023]设计培训指令，通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；
[0024]下载培训指令，通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；
[0025]学习培训内容，通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。
[0026]进一步地，所述通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计，具体包括：
[0027]划分培训内容，根据具体培训需求，将提前准备好的资源以知识点
‑
具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；
[0028]确定识别图，根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景
图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；
[0029]确定引导信息，根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；
[0030]形成指令配置文件，将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。
[0031]进一步地，所述根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中，包括：
[0032]对于需要通过增强现实的方式呈现的引导信息，需要利用注册点将引导信息与识别图进行关联，达到识别图匹配成功后，将引导信息注册在预设位置，进而实现基于全景图的增强现实，若该培训指令是图表培训指令，则通过区域映射功能在工程图表中框选出本知识点需要学习的图纸内容，该框选部分与当前知识点的识别图关联；
[0033]对于需要通过直接显示的方式呈现的引导信息，如需要进行本知识点的总体学习内容的说明，对总体说明的图示/动画详细说明，引导学习人员完成后续学习，则无需设计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全景图的增强现实工业作业培训系统，其特征在于，包括：培训指令设计单元、培训指令下载单元以及培训内容学习单元；所述培训指令设计单元用于通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；所述培训指令下载单元用于通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；所述培训内容学习单元用于通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。2.根据权利要求1所述的基于全景图的增强现实工业作业培训系统，其特征在于，所述培训指令设计单元包括：培训内容划分模块，用于根据具体培训需求，将提前准备好的资源以知识点
‑
具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；识别图确定模块，用于根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；引导信息确定模块，用于根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；指令配置文件形成模块，用于将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。3.根据权利要求1所述的基于全景图的增强现实工业作业培训系统，其特征在于，所述指令配置文件包括资源信息和XML文件，所述资源信息包括全景图、识别图和引导信息，若为图表培训指令还包括工程图表。4.根据权利要求1所述的基于全景图的增强现实工业作业培训系统，其特征在于，所述训内容学习单元包括：资源加载模块，用于解析指令配置文件中的XML文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息以及工程图表加载至培训系统终端设备的屏幕上；识别注册模块，用于通过图像识别算法将全景漫游中的实时图像数据与资源信息中的识别图进行匹配，匹配成功后，通过三维空间注册技术将需要注册的引导信息加载至培训系统终端设备的屏幕上；增强信息显示模块，用于识别成功后，将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，实现对受训人员内容学习的引导；人机交互模块，用于用户与终端设备的交互，支持鼠标交互、键盘交互、触屏交互、语音交互、手势交互、动作捕捉交互中的至少一种。5.一种基于全景图的增强现实工业作业培训方法，应用于权利要求1
‑
4任一所述的基于全景图的增强现实工业作业培训系统，其特征在于，包括以下步骤：设计培训指令，通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文
件，完成基于全景图的增强现实工业作业培训指令设计；下载培训指令，通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；学习培训内容，通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。6.根据权利要求5所述的基于全景图的增强现实工业作业培训方法，其特征在于...

【专利技术属性】
技术研发人员：耿俊浩，陈梦博，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：