一种基于全景图的增强现实工业作业考试系统与方法技术方案

本发明专利技术公开了一种基于全景图的增强现实工业作业考试系统与方法，该系统包括：设计单元和考试单元，设计单元包括考试题型模块、答题方式模块、考题设计模块；考试题型模块用于提供考试题型；答题方式模块用于提供键鼠交互、语音交互、视觉交互和手部交互等答题方式；考题设计模块用于设计普通选择判断考题、视觉交互考题、图表类考题以及操作题考题；考试单元包括考题获取模块以及考题作答模块，考题作答模块包括普通选择判断题答题模块、视觉交互考题答题模块、图表类考题答题模块以及操作题考题答题模块。本发明专利技术充分发挥全景图与增强现实技术的优势，将理论知识考核与实际操作能力考核相结合，极大的丰富现有工业作业考核方式。式。式。

【技术实现步骤摘要】
一种基于全景图的增强现实工业作业考试系统与方法


[0001]本专利技术涉及工业作业考试系统
，特别是涉及一种基于全景图的增强现实工业作业考试系统与方法。

技术介绍

[0002]复杂工业作业日常大量繁重的工作均由基层员工来完成，基层员工的业务技能和职业水平直接决定了复杂工业作业系统能否实现安全优质的运作，目前对员工技能掌握程度的考核方式以理论知识考核为主，缺乏实际操作能力考核，且理论知识考核通过闭卷纸质答题或相关软件作答完成，员工考试成绩大都很好，对考核内容记忆深刻，但较难与实际工作环境与操作过程建立一定的联系。因此建立一套更加系统、科学、完善的考试体系，对员工技能掌握程度的考核非常重要，也为企业的考核提供有效的人力资源保障。
[0003]目前，以增强现实为代表的增强智能技术正在蓬勃发展，AR技术作为人工智能技术计算机视觉领域主要应用方向，以其实时感知、虚实融合、可穿戴等特点非常适合在复杂工业环境中进行应用，因此得到了诸多复杂装备制造企业的普遍关注和积极应用，已经在智能制造体系中表现出了良好的应用前景。增强现实具有更直观、沉浸感更好等特点，集成动作捕捉则有更好的作业适应性，且考试与作业能够“无缝衔接”，过渡更为顺畅，但增强现实考核需要提供真实环境，导致物料成本较高，此外，复杂工业作业多数情况下无法在真实情况下进行考核。
[0004]全景图是指通过全景相机对图像进行获取、拼接而生成的全视角图像，场景是从真实世界的工作现场收集的，真实感强，而且视角广，更有利于提升人员的参与感和真实感。将全景图与增强现实技术相结合进行考试能够克服增强现实技术在考核中存在的缺点，充分发挥全景图与增强现实技术的优势。

技术实现思路

[0005]本专利技术的目的是提供一种基于全景图的增强现实工业作业考试系统与方法，充分发挥全景图与增强现实技术的优势，将理论知识考核与实际操作能力考核相结合，丰富现有考核方式，提升考核与实际工作环境之间的联系，充分、有效的对员工的知识掌握情况进行考核。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种基于全景图的增强现实工业作业考试系统，包括：设计单元和考试单元，所述设计单元包括考试题型模块、答题方式模块、考题设计模块；
[0008]所述考试题型模块用于提供基于全景图的增强现实类视觉题和基于全景图的增强现实类操作题的题型；
[0009]所述答题方式模块用于提供键鼠交互答题方式、语音交互答题方式、视觉交互答题方式和手部交互答题方式；
[0010]所述考题设计模块用于设计普通选择判断考题、视觉交互考题、图表类考题以及
操作题考题；
[0011]所述考试单元包括考题获取模块以及考题作答模块，所述考题作答模块包括普通选择判断题答题模块、视觉交互考题答题模块、图表类考题答题模块以及操作题考题答题模块。
[0012]进一步地，所述键鼠交互答题方式可完成PC端选择题和判断题的作答，若在手机端则通过触屏完成选择题和判断题的作答，视觉交互答题方式可完成视觉交互考题的作答，语音交互答题方式可完成语音交互选择题和判断题的作答，手部交互答题方式是指通过外接输入设备LeapMotion(体感控制器)完成操作技能的考核。
[0013]进一步地，所述考题设计模块包括全景上传模块、题型定义模块、选项定义模块以及区域定义模块；
[0014]所述全景上传模块用于准备以及上传与对应考题相关的背景图、全景图或普通二维图片；
[0015]所述题型定义模块用于选择考题类型以及答题方式，并设置考题题目内容；
[0016]所述选项定义模块用于设置多个选项，并选择其中一个为正确选项，或者，将考试相关模型导入系统，为导入的模型调整合适的视角，设置合适的大小，并将其移动至合适的位置，设计操作的正确结果；
[0017]所述区域定义模块用于通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联。
[0018]进一步地，所述考题设计模块还包括定义点位模块，用于选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。
[0019]进一步地，所述考题设计模块还包括图表上传模块，用于准备以及上传对应考题需要考核的图表内容。
[0020]本专利技术还提供一种基于全景图的增强现实工业作业考试方法，应用于上述的基于全景图的增强现实工业作业考试系统，包括以下步骤：
[0021]考题设计，分别针对普通选择判断考题、视觉交互考题、图表类考题以及操作题考题不同题型进行设计；
[0022]获取试题，终端设备通过网络与考试系统服务器连接，进而获取考题；
[0023]考题作答，根据不同的考题采用对应的答题方式进行作答。
[0024]进一步地，所述考题设计，具体包括：
[0025]全景上传，准备以及上传与对应考题相关的全景图，用来代替真实环境，同时用于识别注册；
[0026]图表上传，准备以及上传对应考题需要考核的图表内容；
[0027]题型定义，选择考题类型以及答题方式，并设置考题题目内容；
[0028]区域定义，通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联；
[0029]选项定义，设置多个选项，并选择其中一个为正确选项；
[0030]定义点位，选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。
[0031]进一步地，所述考题作答，具体包括：
[0032]若当前考题为普通选择判断题，系统自动记录考生选择的答案，同时在界面上的选项旁显示已作答图标提示考生；
[0033]若当前考题为视觉交互考题或图表类考题，在考生控制相机移动过程中，系统实时采集全景图并提取图像特征，然后通过基于特征点匹配的识别方法，将提取的全景图的特征与设计过程生成的识别图的离线特征进行匹配，若匹配成功，则采用基于单应性的位姿估计方法进行位姿估计，在识别图中设置的中心点所对应的全景图中的位置叠加增强现实引导信息，将全景图代替的真实世界信息和虚拟引导信息融合显示在系统终端设备的屏幕上，完成基于全景图的增强现实注册，提示考生该位置是一个考核选项，采用该种方式，考生实现全场景漫游，全选项预览，考生将手势图标移动至某一增强信息上，系统记录考生选择的答案，同时界面上的增强信息旁显示已选择该选项图标提示考生；
[0034]若当前考题为操作题，考试相关模型会根据设计的姿态显示在系统终端设备的屏幕上，考生根据考题要求，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全景图的增强现实工业作业考试系统，其特征在于，包括：设计单元和考试单元，所述设计单元包括考试题型模块、答题方式模块、考题设计模块；所述考试题型模块用于提供基于全景图的增强现实类视觉题和基于全景图的增强现实类操作题的题型；所述答题方式模块用于提供键鼠交互答题方式、语音交互答题方式、视觉交互答题方式和手部交互答题方式；所述考题设计模块用于设计普通选择判断考题、视觉交互考题、图表类考题以及操作题考题；所述考试单元包括考题获取模块以及考题作答模块，所述考题作答模块包括普通选择判断题答题模块、视觉交互考题答题模块、图表类考题答题模块以及操作题考题答题模块。2.根据权利要求1所述的基于全景图的增强现实工业作业考试系统，其特征在于，所述键鼠交互答题方式可完成PC端选择题和判断题的作答，若在手机端则通过触屏完成选择题和判断题的作答，视觉交互答题方式可完成视觉交互考题的作答，语音交互答题方式可完成语音交互选择题和判断题的作答，手部交互答题方式是指通过外接输入设备LeapMotion完成操作技能的考核。3.根据权利要求1所述的基于全景图的增强现实工业作业考试系统，其特征在于，所述考题设计模块包括全景上传模块、题型定义模块、选项定义模块以及区域定义模块；所述全景上传模块用于准备以及上传与对应考题相关的背景图、全景图或普通二维图片；所述题型定义模块用于选择考题类型以及答题方式，并设置考题题目内容；所述选项定义模块用于设置多个选项，并选择其中一个为正确选项，或者，将考试相关模型导入系统，为导入的模型调整合适的视角，设置合适的大小，并将其移动至合适的位置，设计操作的正确结果；所述区域定义模块用于通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联。4.根据权利要求3所述的基于全景图的增强现实工业作业考试系统，其特征在于，所述考题设计模块还包括定义点位模块，用于选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。5.根据权利要求3所述的基于全景图的增强现实工业作业考试系统，其特征在于，所述考题设计模块还包括图表上传模块，用于准备以及上传对应考题需要考核的图表内容。6.一种基于全景图的增强现实工业作业考试方法，应用于权利要求1
‑

【专利技术属性】
技术研发人员：耿俊浩，徐瀛鹏，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：