基于增强现实技术的舞台表演辅助训练方法及系统技术方案

本发明专利技术公开一种基于增强现实技术的舞台表演辅助训练方法及系统，能检测使用者动作的标准性。方法包括：利用第一、二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集使用者的深度图像数据；提取使用者的图像数据和使用者的骨骼关节点的位置数据；将真实场景图像与图像数据及预设的指导者的影像进行融合，得到融合影像；利用预设的指导者的骨骼关节点的位置数据和使用者的骨骼关节点的位置数据检测使用者的动作是否标准，在使用者的动作不标准时，在融合影像上的相应位置进行标识；将融合影像分别以适合左、右眼观看的模式同步显示在可穿戴式显示头盔的第一、二目镜中。

【技术实现步骤摘要】

本专利技术涉及增强现实
，具体涉及一种基于增强现实技术的舞台表演辅助训练方法及系统。
技术介绍
增强现实技术可以将计算机生成的二维或三维数字信息叠加融合到真实的环境中，从而增强使用者在真实环境中的感知能力，加深沉浸感的体验。增强现实技术的主要特征为定点跟踪捕捉，虚实物体融合以及即时行为交互。目前，增强现实技术广泛应用在动作辅助训练领域，通过移动跟踪摄像头的视频显示模式，使用者可以从第三视角观察进行自我训练的动作纠正，这种方式可以摆脱自我视角观察的局限性，加大使用者在训练过程中的视觉自由度，从而提升训练效果。但是，现有的多视角跟踪显示系统缺乏对于动作标准性的实时检测，从而不利于纠正使用者的动作。
技术实现思路
本专利技术的目的在于，提供一种基于增强现实技术的舞台表演辅助训练方法及系统，能够检测使用者动作的标准性。为此目的，一方面，本专利技术提出一种基于增强现实技术的舞台表演辅助训练方法，包括:S1、利用第一摄像头和第二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；S2、从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；S3、将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；S4、利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识；S5、将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。另一方面，本专利技术提出一种基于增强现实技术的舞台表演辅助训练系统，包括:第一摄像头、第二摄像头、可穿戴式显示头盔、提取装置、融合装置、检测装置和固定第三视角的红外深度摄像头；其中，所述第一摄像头，用于采集穿戴所述可穿戴式显示头盔的使用者左眼视野范围内的真实场景图像，所述第二摄像头，用于采集所述使用者右眼视野范围内的真实场景图像，所述红外深度摄像头，用于采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；所述提取装置，用于从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；所述融合装置，用于将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；所述检测装置，用于利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识，将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。本专利技术实施例所述的基于增强现实技术的舞台表演辅助训练方法及系统，在将使用者视野范围内的真实场景图像与从使用者的深度图像数据中提取出的使用者的图像数据及预设的指导者的影像进行融合，得到融合影像的基础上，利用预设的指导者的骨骼关节点的位置数据和从使用者的深度图像数据中提取出的使用者的骨骼关节点的位置数据检测使用者的动作是否标准，并在使用者的动作不标准时，在所述融合影像上的相应位置进行标识，使得使用者能够实时观察其动作是否标准，从而有助于使用者对其动作进行实时纠正。【附图说明】图1为本专利技术一种基于增强现实技术的舞台表演辅助训练方法一实施例的流程示意图；图2为本专利技术可穿戴式显示头盔的结构示意图；图3为本专利技术一种基于增强现实技术的舞台表演辅助训练系统一实施例的结构示意图。【具体实施方式】为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参看图1，本实施例公开一种基于增强现实技术的舞台表演辅助训练方法，包括:S1、利用第一摄像头和第二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；S2、从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；S3、将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；S4、利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识；S5、将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。本专利技术实施例中，如图2所示为可穿戴式显示头盔的结构图，X01为可穿戴式显示头盔；X02为显示头盔前置右眼摄像头；X03为显示头盔前置左眼摄像头；X04为显示头盔前置双目摄像头固定组件。本专利技术实施例所述的基于增强现实技术的舞台表演辅助训练方法，在将使用者视野范围内的真实场景图像与从使用者的深度图像数据中提取出的使用者的图像数据及预设的指导者的影像进行融合，得到融合影像的基础上，利用预设的指导者的骨骼关节点的位置数据和从使用者的深度图像数据中提取出的使用者的骨骼关节点的位置数据检测使用者的动作是否标准，并在使用者的动作不标准时，在所述融合影像上的相应位置进行标识，使得使用者能够实时观察其动作是否标准，从而有助于使用者对其动作进行实时纠正。可选地，在本专利技术基于增强现实技术的舞台表演辅助训练方法的另一实施例中，所述利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，包括:将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节与所述指导者的相应骨骼关节之间本文档来自技高网...

【技术保护点】
一种基于增强现实技术的舞台表演辅助训练方法，其特征在于，包括：S1、利用第一摄像头和第二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；S2、从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；S3、将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；S4、利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识；S5、将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。...

【技术特征摘要】

【专利技术属性】
技术研发人员：张睿，闫烁，关正，张龙飞，李红松，丁刚毅，黄天羽，李立杰，李鹏，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11