基于AR交互的沉浸式安全教育实训系统及方法技术方案

本发明专利技术公开了一种基于AR交互的沉浸式安全教育实训系统及方法，方法包括：图形工作站将虚拟安全场景输出给3D投影仪以在实训空间的指定面显示；图形工作站控制单片机在第一预设位置输出预设交互介质图案；设安卓终端扫描交互介质图案，连接到云端服务器获取交互介质图案对应的三维模型，在实训空间的第二预设位置AR立体成像出交互介质的图像；若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；图形工作站判断教学者的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集。本发明专利技术通过分离沉浸式场景与人机交互设置点的展现方式，实现智能化虚拟与现实同步，可以让交互更自然，并且降低安全教育实训教学的成本。

Immersive Safety Education Training System and Method Based on AR Interaction

【技术实现步骤摘要】
基于AR交互的沉浸式安全教育实训系统及方法
本专利技术涉及AR
，特别是一种基于AR交互的沉浸式安全教育实训系统及方法。
技术介绍
目前，基于沉浸式的安全教育实训室，以头戴式VR为主，虽然可以沉浸体验安全教育，但是并不能满足于安全教育实训教学。现有的单人体验时无法实时教学，人机交互太单一，体验者与教学者无法实时互动，这些都是需要改进的点。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种基于AR交互的沉浸式安全教育实训系统及方法，通过分离沉浸式场景与人机交互设置点的展现方式，实现智能化虚拟与现实同步，可以让交互更自然，并且降低安全教育实训教学的成本。本专利技术采用如下技术方案：一方面，本专利技术一种基于AR交互的沉浸式安全教育实训系统，包括：3D投影仪、图像工作站、单片机、交互介质图案、安卓终端和若干摄像头；所述图形工作站与所述3D投影仪相连接以将虚拟安全场景输出给3D投影仪，所述3D投影仪将所述虚拟安全场景显示在实训空间的指定面；所述图形工作站与所述单片机相连接以控制单片机在第一预设位置输出预设交互介质图案；所述交互介质设置在所述实训空间底面；设置在所述交互介质图案上方的安卓终端扫描所述交互介质图案，连接到云端服务器获取所述交互介质图案对应的三维模型，在实训空间的第二预设位置AR立体成像出交互介质的图像；设置在所述实训空间上方的若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作。优选的，所述3D投影仪包括三个，分别投影至所述实训空间的左、右和前三个面；所述图形工作站和投影仪之间还设置有矩阵拼接器以消除不同投影仪的间隙或重叠区域。优选的，所述图形工作站控制单片机在第一预设位置输出预设交互介质图案，具体包括：所述图形工作站通过串口向所述单片机发送输出预设交互介质图案消息；所述单片机通过继电器控制对应电机运动，将预设交互介质图案输出至第一预设位置。优选的，若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作，具体包括：若干动作捕捉摄像头进行若干角度的拍摄，通过数据采集器和位姿传感器将所拍摄的图片序列帧依次进行采样，将所取得的数据传送到图形工作站进行处理，所述图形工作站提取图像系列帧的时间和空间系列特征，再通过3D卷积神经网络计算出教学者预设身体关节位置在人机交互过程所输出的运动轨迹曲线，当运动轨迹曲线与预设交互点的坐标系有交集时，触发对应动作。优选的，还包括设置在所述安卓终端屏幕上方的钢化玻璃。另一方面，本专利技术一种基于AR交互的沉浸式安全教育实训方法，包括：图形工作站将虚拟安全场景输出给3D投影仪以进行沉浸式投影，所述3D投影仪将所述虚拟安全场景显示在实训空间的指定面；图形工作站控制单片机在第一预设位置输出预设交互介质图案；安卓终端扫描所述交互介质图案，连接到云端服务器获取所述交互介质图案对应的三维模型，在实训空间的第二预设位置AR立体成像出交互介质的图像；若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作。优选的，所述3D投影仪包括三个，分别投影至所述实训空间的左、右和前三个面。优选的，所述图形工作站和投影仪之间还设置有矩阵拼接器以消除不同投影仪的间隙或重叠区域。优选的，所述图形工作站控制单片机在第一预设位置输出预设交互介质图案，具体包括：所述图形工作站通过串口向所述单片机发送输出预设交互介质图案消息；所述单片机通过继电器控制对应电机运动，将预设交互介质图案输出至第一预设位置。优选的，若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作，具体包括：若干动作捕捉摄像头进行若干角度的拍摄，通过数据采集器和位姿传感器将所拍摄的图片序列帧依次进行采样，将所取得的数据传送到图形工作站进行处理，所述图形工作站提取图像系列帧的时间和空间系列特征，再通过3D卷积神经网络计算出教学者预设身体关节位置在人机交互过程所输出的运动轨迹曲线，当运动轨迹曲线与预设交互点的坐标系有交集时，触发对应动作。与现有技术相比，本专利技术的有益效果如下：(1)本专利技术一种基于AR交互的沉浸式安全教育实训系统及方法，能够实现AR立体介质切换同步与成像，具体为：通过51单片机与图形工作站相连接的控制模式实现虚拟场景与人机交互点分离后进一步实现同步吻合，并通过安卓终端对云端服务器的访问实现既定AR成像的出现；(2)本专利技术一种基于AR交互的沉浸式安全教育实训系统及方法，运用3D卷积神经网络BP学习来改善其人机交互三维坐标的精细度，具体为：12个动作捕捉摄像头通过3D卷积神经网络BP学习的算法构建系列BP模型，让其所捕捉的三维坐标位置精确度提高，以精确判断与AR成像坐标点的吻合即动作的状态；(3)本专利技术一种基于AR交互的沉浸式安全教育实训系统及方法，由三面沉浸式3D投影仪构造分离沉浸式场景，具体为：分离的沉浸式虚构场景由三面沉浸式3D投影融合实现身临其境，让多人可以同时身临其境实训空间以进行实训安全教育学习；(4)本专利技术一种基于AR交互的沉浸式安全教育实训系统及方法，安全教育实训器材如灭火器、消防栓等为AR成像三维图像，因此能够降低安全教育实训教学的成本。上述说明仅是本专利技术技术方案的概述，为了能够更清楚地了解本专利技术的技术手段，从而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其他目的、特征和优点能够更明显易懂，以下列举本专利技术的具体实施方式。根据下文结合附图对本专利技术具体实施例的详细描述，本领域技术人员将会更加明了本专利技术的上述及其他目的、优点和特征。附图说明图1为本专利技术的基于AR交互的沉浸式安全教育实训系统的架构图；图2为本专利技术的基于AR交互的沉浸式安全教育实训系统的结构框图；图3为本专利技术的实施例的AR成像灭火器的预设交互点及运动曲线；图4为本专利技术的基于AR交互的沉浸式安全教育实训方法流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步的详细描述。参见图1和图2所示，本专利技术一种基于AR交互的沉浸式安全教育实训系统，包括：3D投影仪、图像工作站、单片机、交互介质图案、安卓终端和若干摄像头；所述图形工作站与所述3D投影仪相连接以将虚拟安全场景输出给3D投影仪，所述3D投影仪将所述虚拟安全场景显示在实训空间的指定面；所述图形工作站与所述单片机相连接以控制单片机在第一预设位置输出预设交互介质图案；所述交互介质设置在所述实训空间底面；设置在所述交互介质图案上方的安卓终端扫描所述交互介质图案，连接到云端服务器获取所述交互介质图案对应的三维模型，本文档来自技高网...

【技术保护点】
1.一种基于AR交互的沉浸式安全教育实训系统，其特征在于，包括：3D投影仪、图像工作站、单片机、交互介质图案、安卓终端和若干摄像头；所述图形工作站与所述3D投影仪相连接以将虚拟安全场景输出给3D投影仪，所述3D投影仪将所述虚拟安全场景显示在实训空间的指定面；所述图形工作站与所述单片机相连接以控制单片机在第一预设位置输出预设交互介质图案；所述交互介质设置在所述实训空间底面；设置在所述交互介质图案上方的安卓终端扫描所述交互介质图案，连接到云端服务器获取所述交互介质图案对应的三维模型，在实训空间的第二预设位置AR立体成像出交互介质的图像；设置在所述实训空间上方的若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作。

【技术特征摘要】
1.一种基于AR交互的沉浸式安全教育实训系统，其特征在于，包括：3D投影仪、图像工作站、单片机、交互介质图案、安卓终端和若干摄像头；所述图形工作站与所述3D投影仪相连接以将虚拟安全场景输出给3D投影仪，所述3D投影仪将所述虚拟安全场景显示在实训空间的指定面；所述图形工作站与所述单片机相连接以控制单片机在第一预设位置输出预设交互介质图案；所述交互介质设置在所述实训空间底面；设置在所述交互介质图案上方的安卓终端扫描所述交互介质图案，连接到云端服务器获取所述交互介质图案对应的三维模型，在实训空间的第二预设位置AR立体成像出交互介质的图像；设置在所述实训空间上方的若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作。2.根据权利要求1所述的基于AR交互的沉浸式安全教育实训系统，其特征在于，所述3D投影仪包括三个，分别投影至所述实训空间的左、右和前三个面；所述图形工作站和投影仪之间还设置有矩阵拼接器以消除不同投影仪的间隙或重叠区域。3.根据权利要求1所述的基于AR交互的沉浸式安全教育实训系统，其特征在于，所述图形工作站控制单片机在第一预设位置输出预设交互介质图案，具体包括：所述图形工作站通过串口向所述单片机发送输出预设交互介质图案消息；所述单片机通过继电器控制对应电机运动，将预设交互介质图案输出至第一预设位置。4.根据权利要求1所述的基于AR交互的沉浸式安全教育实训系统，其特征在于，若干动作捕捉摄像头捕捉教学者的动作并输出给所述图形工作站；所述图形工作站判断教学者身体预设关节位置在人机交互过程所输出的三维空间曲线的6Dof位姿信息是否和AR立体成像的图像预设交互点的坐标系有交集，如果有，触发对应动作，具体包括：若干动作捕捉摄像头进行若干角度的拍摄，通过数据采集器和位姿传感器将所拍摄的图片序列帧依次进行采样，将所取得的数据传送到图形工作站进行处理，所述图形工作站提取图像系列帧的时间和空间系列特征，再通过3D卷积神经网络计算出教学者预设身体关节位置在人机交互过程所输出的运动轨迹曲线，当运动轨迹曲线与预设交互点的坐标系有交集时，触发对应动作。...

【专利技术属性】
技术研发人员：张明乐，庄淑芳，
申请(专利权)人：叁书云厦门科技有限公司，
类型：发明
国别省市：福建,35