利用增强现实佩戴设备可视化智能互动教考系统和方法技术方案

本发明专利技术提供了一种利用增强现实佩戴设备可视化智能互动教考系统和方法，对操作区域进行深度图像序列采集，得到多个深度图像序列；对获取的多个深度图像序列分别进行人体姿态信息提取，得到对应的单视角人体姿态信息；根据多个单视角人体姿态信息以及多个深度摄像机之间的位置关系，得到一个多视角人体姿态信息，并对多视角人体姿态信息进行分析得到分析结果，并得到用于指引操作者至标准姿态的姿态指引信息；提供操作区域的增强现实图像，姿态指引信息显示/不显示在增强现实图像中。本发明专利技术通过增强现实技术实现了医护人员操作练习的教学和考核，填补了现有技术的空白。

【技术实现步骤摘要】
利用增强现实佩戴设备可视化智能互动教考系统和方法
本专利技术涉及教育演示领域，具体地，涉及一种利用增强现实佩戴设备可视化智能互动教考系统和方法。
技术介绍
对医护人员进行操作练习和考核是非常重要的，因此，市场上诞生了各种供医护人员操作练习的设备。专利文献CN211979995U公开了一种胰岛素皮下注射可穿戴练习操作装置，专门应用于胰岛素皮下注射项目。正如上述的专利文献所公开的装置，现有的医护人员操作练习的设备需要针对于每一种训练项目分别进行设计，导致目前各种操作练习的设备种类繁多，使用和存放不便。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种利用增强现实佩戴设备可视化智能互动教考系统和方法。根据本专利技术提供的一种利用增强现实佩戴设备可视化智能互动教考系统，包括：多个深度摄像机：对操作区域进行深度图像序列采集，得到多个深度图像序列；边缘计算节点：连接所述深度摄像机，对获取的多个深度图像序列分别进行人体姿态信息提取，得到对应的单视角人体姿态信息；云服务器：根据多个单视角人体姿态信息以及所述多个深度摄像机之间的位置关系，得到一个多视角人体姿态信息，并对所述多视角人体姿态信息进行分析得到分析结果，并得到用于指引操作者至标准姿态的姿态指引信息；增强现实佩戴设备：提供所述操作区域的增强现实图像，所述姿态指引信息显示/不显示在所述增强现实图像中。优选地，所述多个深度摄像机分布设置于所述操作区域的周围不同位置，每个所述深度摄像机连接一个或多个所述边缘计算节点。优选地，所述多个深度摄像机之间的位置关系的获取方式包括：根据所述多个深度摄像机采集到的深度图像序列中人体上的固定尺寸及图案的多个标记物的几何形变，得到所述多个深度摄像机之间的位置关系。优选地，还包括触控屏，用于系统控制以及增强现实图像、所述分析结果的显示。优选地，所述姿态指引信息的获取包括：将所述多视角人体姿态信息与预设的标准姿态信息的相似度进行比对。根据本专利技术提供的一种利用增强现实佩戴设备可视化智能互动教考方法，包括：采集步骤：通过多个深度摄像机对操作区域进行深度图像序列采集，得到多个深度图像序列；单视角人体姿态获取步骤：连接所述深度摄像机，对获取的多个深度图像序列分别进行人体姿态信息提取，得到对应的单视角人体姿态信息；多视角人体姿态获取步骤：根据多个单视角人体姿态信息以及所述多个深度摄像机之间的位置关系，得到一个多视角人体姿态信息，并对所述多视角人体姿态信息进行分析得到分析结果，并得到用于指引操作者至标准姿态的姿态指引信息；显示步骤：提供所述操作区域的增强现实图像，所述姿态指引信息显示/不显示在所述增强现实图像中。优选地，所述多个深度摄像机分布设置于所述操作区域的周围不同位置，每个所述深度摄像机连接一个或多个所述边缘计算节点。优选地，所述多个深度摄像机之间的位置关系的获取方式包括：根据所述多个深度摄像机采集到的深度图像序列中人体上的固定尺寸及图案的多个标记物的几何形变，得到所述多个深度摄像机之间的位置关系。优选地，采用触控屏，用于系统控制以及增强现实图像、所述分析结果的显示。优选地，所述姿态指引信息的获取包括：将所述多视角人体姿态信息与预设的标准姿态信息的相似度进行比对。与现有技术相比，本专利技术具有如下的有益效果：本专利技术通过增强现实技术实现了医护人员操作练习的教学和考核，填补了现有技术的空白；通过采用多视角深度摄像机的结构，解决了人体运动时肢体互相遮挡的问题；通过采用“摄像头-边缘计算节点-服务器”的结构，解决了多路深度图像数据流占用云服务器大量带宽的问题，提升网络运行效率，降低私有云部署成本；通过采用私有云服务器的结构，解决了人体运动数据在公网流通的数据安全问题。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术的结构示意图；图2为本专利技术的结构模块图；图3为本专利技术的工作原理图；图4为本专利技术的工作流程图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。如图1、图2和图3所示，本专利技术提供的一种利用增强现实佩戴设备可视化智能互动教考系统，包括：多个深度摄像机1、多个边缘计算节点4、私有云服务器5、触控大屏2、识别场地3、配准标记物及增强现实佩戴设备。在具备充足白光照明的识别场地3周围不同视角设置多个深度摄像机1，摄像机分组连接至多个边缘计算节点4，所有边缘计算节点4通过网络接入私有云服务器5，服务器将数据实时传输至场地一侧设置的触控大屏2。设备安置：所述深度摄像机1布置在识别场地3周围不同位置；在附近的网络汇聚点布置边缘计算节点4，每台所述边缘计算节点可连接多个深度摄像机1；所述边缘计算节点通过网络连接至私有云服务器5；所述场地一侧设置触控大屏2，连接至私有云服务器5。增强现实佩戴设备通过WiFi连接私有云服务器5。深度摄像机标定：手持印有固定尺寸及图案的标记物站立在多个所述深度摄像机1均可识别位置，待所有摄像机均识别到标记物后遮盖标记物。标记物在各所述深度摄像机1中的标记物影像被传输至所述私有云服务器5，所述服务器匹配各摄像机所拍摄影像时间码后，依据各视角下同一时间内标记物的几何变形，求得所述深度摄像机1相互之间的位置关系和距离。数据采集：多个所述深度摄像机1同步采集人体运动，各自实时输出深度图像序列至所述边缘计算节点4。单视角人体姿态识别：所述边缘计算节点4实时接收每路所述深度摄像机1提供的深度图像序列数据后，通过内置的人工智能模型提取每个视角的人体姿态信息，并实时传输至所述私有云服务器5。多视角人体姿态识别：所述私有云服务器5接收到各个视角的人体姿态信息后，依据深度摄像机标定阶段获取的信息拼接多个视角信息，从而获得更完整、更少遮挡的多视角人体姿态信息。动作分析：所述私有云服务器5依据人工智能判断实时多视角人体姿态信息分段、分类为各种动作并进行分析。对所述多视角人体姿态信息进行分析得到分析结果，并得到用于指引操作者至标准姿态的姿态指引信息，增强现实佩戴设备提供操作区域的增强现实图像，姿态指引信息显示/不显示在增强现实图像中。如图4所示，本专利技术还提供的一种利用增强现实佩戴设备可视化智能互动教考方法，包括：采集步骤：通过多个深度摄像机对操作区域进行深度图像序列采集，得到多个深度图像序列。单视角人体姿态获取步骤：连接所述深度摄像机，对获取的多个深度图像序列分别进行人体姿态信息提取，得到对应的单视角人体姿态信息。多视角人体姿态获取步骤：根据多个本文档来自技高网...

【技术保护点】
1.一种利用增强现实佩戴设备可视化智能互动教考系统，其特征在于，包括：/n多个深度摄像机：对操作区域进行深度图像序列采集，得到多个深度图像序列；/n边缘计算节点：连接所述深度摄像机，对获取的多个深度图像序列分别进行人体姿态信息提取，得到对应的单视角人体姿态信息；/n云服务器：根据多个单视角人体姿态信息以及所述多个深度摄像机之间的位置关系，得到一个多视角人体姿态信息，并对所述多视角人体姿态信息进行分析得到分析结果，并得到用于指引操作者至标准姿态的姿态指引信息；/n增强现实佩戴设备：提供所述操作区域的增强现实图像，所述姿态指引信息显示/不显示在所述增强现实图像中。/n

【技术特征摘要】
1.一种利用增强现实佩戴设备可视化智能互动教考系统，其特征在于，包括：
多个深度摄像机：对操作区域进行深度图像序列采集，得到多个深度图像序列；
边缘计算节点：连接所述深度摄像机，对获取的多个深度图像序列分别进行人体姿态信息提取，得到对应的单视角人体姿态信息；
云服务器：根据多个单视角人体姿态信息以及所述多个深度摄像机之间的位置关系，得到一个多视角人体姿态信息，并对所述多视角人体姿态信息进行分析得到分析结果，并得到用于指引操作者至标准姿态的姿态指引信息；
增强现实佩戴设备：提供所述操作区域的增强现实图像，所述姿态指引信息显示/不显示在所述增强现实图像中。


2.根据权利要求1所述的利用增强现实佩戴设备可视化智能互动教考系统，其特征在于，所述多个深度摄像机分布设置于所述操作区域的周围不同位置，每个所述深度摄像机连接一个或多个所述边缘计算节点。


3.根据权利要求1所述的利用增强现实佩戴设备可视化智能互动教考系统，其特征在于，所述多个深度摄像机之间的位置关系的获取方式包括：
根据所述多个深度摄像机采集到的深度图像序列中人体上的固定尺寸及图案的多个标记物的几何形变，得到所述多个深度摄像机之间的位置关系。


4.根据权利要求1所述的利用增强现实佩戴设备可视化智能互动教考系统，其特征在于，还包括触控屏，用于系统控制以及增强现实图像、所述分析结果的显示。


5.根据权利要求1所述的利用增强现实佩戴设备可视化智能互动教考系统，其特征在于，所述姿态指引信息的获取包括：将所述多视角人体姿态信息与预设的标准姿态信息的相似度进行比对。


6...

【专利技术属性】
技术研发人员：黄华，罗杨宇，
申请(专利权)人：黄华，
类型：发明
国别省市：江苏;32