一种互动型三维舞台模拟系统及方法技术方案

本发明专利技术涉及增强现实技术领域，具体指一种互动型三维舞台模拟系统及方法。本发明专利技术具体具体包括通过舞台灯光控制单元与舞台音效控制单元控制舞台场景，在舞台场景中通过3D全息投影渲染单元建立3D全息投影图像，将3D全息投影图像传送至数据交互控制单元中，并获取识别设备控制单元采集的演员演绎数据，用以进行3D全息投影图像与演员的实时互动，从而提高舞台展示效果。本发明专利技术传统的演绎局部动作与特征点识别，改进为整体的演绎动作识别，提高了演员演绎特征的识别精度，并加以灯光数据与音效数据的配合，用以进一步提高虚拟场景在互动过程中的切换响应速度，提高互动的即时性。提高互动的即时性。提高互动的即时性。

【技术实现步骤摘要】
一种互动型三维舞台模拟系统及方法


[0001]本专利技术涉及增强现实(AR)
，IPC分类号为：G03B35/20，具体指一种互动型三维舞台模拟系统及方法。

技术介绍

[0002]现阶段，随着虚拟现实与增强现实的发展，场景的搭建与设计方式也逐渐从实体设计向虚实结合的方向发展转变，3D全息投影技术相比与传统的需要承载背景的投影方式相比，具有使用场景更加灵活，营造的效果沉浸感更强，从而具有进一步加深参观者的体验深度的优势。但是传统的3D全息投影方式仅为图像的投放以及图像与环境的结合，在实际使用过程中与参观者的交互性不强，同时由于3D投影在前期建模时的数据量较大，在实际展示互动的过程中，虚拟场景在互动过程中的切换响应速度较差，互动即时性较低，从而在大型舞台或特定的展示场景中，无法与舞台场景中的演绎动作相互结合。
[0003]专利CN201811488432提供了一种黄梅戏的增强现实的操作方法，此专利中通过对真实场景信息进行建模并投影，用以进一步提高黄梅戏演绎的真实度。但是此专利中所述的真实环境下的合并视频操作，整体的场景数据量过大，同时场景投影对光影的要求较高，可能会存在投影场景图像不冥想，同时建模成本较高的问题。
[0004]专利CN201510834854提供了一种基于增强现实技术的舞台表演辅助训练方法及系统，此专利中所述的增强现实主要用以对舞台表演者进行动作矫正，但是此专利中有由于分别设置左右眼摄像头用以进行真实场景的采集，反而可能造成双摄像头在进行场景对齐过程中出现偏差，从而影响场景融合精度。
[0005]针对现有的三维虚拟场景下舞台模拟融合过程中存在的问题，本专利技术中提供了一种互动型三维舞台模拟系统及方法。

技术实现思路

[0006]针对上述存在的问题，本专利技术提供了一种互动型三维舞台模拟系统及方法，包括数据交互控制单元，识别设备控制单元，3D全息投影渲染单元，舞台灯光控制单元，舞台音效控制单元，具体包括通过舞台灯光控制单元与舞台音效控制单元控制舞台场景，在舞台场景中通过3D全息投影渲染单元建立3D全息投影图像，将3D全息投影图像传送至数据交互控制单元中，并获取识别设备控制单元采集的演员演绎数据，用以进行3D全息投影图像与演员的实时互动，从而提高舞台展示效果。
[0007]优选的，所述的数据交互控制单元，包括数据信息输入单元，数据信息处理单元，数据信息输出单元。
[0008]优选的，在所述的一种互动型三维舞台模拟系统及方法中建立了一种互动型三维舞台模拟方法；其中在所述的舞台场景中，建立三维环境地图并将三维环境地图进行栅格化处理。
[0009]优选的，所述的识别设备控制单元，包括双目视觉传感器，红外线传感器以及加速
度传感器。
[0010]优选的，所述的双目视觉传感器，在三维环境地图中定位出演员的位置数据后，分别识别出舞台场景中演员各肢体特征。
[0011]优选的，所述的演员各肢体特征，在整合后生成舞台场景中演员运动动作特征。
[0012]具体的，通过将演员运动动作特征传送至数据交互控制单元中，进行3D全息投影图像控制变换。
[0013]优选的，所述的3D全息投影图像，通过双目视觉传感器获取演员运动动作特征，进行对应的3D全息投影图像的生成。
[0014]优选的，所述的演员运动特征中，通过提取演员运动动作特征下的指定特征点，在三维环境地图中标注出指定特征点的位置坐标。
[0015]优选的，所述的位置坐标，与生成的3D全息投影图像之间建立距离约束关系，从而控制3D全息投影图像随指定特征点的变化而变化。
[0016]优选的，所述的舞台灯光控制单元用以输出灯光数据，所述的舞台音效控制单元用以输出音频数据，所述的灯光数据与音频数据对3D全息投影图像的图像变换进行辅助控制。
[0017]具体的，所述的音频数据，在数据交互控制单元中预设出音频数据在不同振幅下对应的3D全息投影图像，在实际舞台场景中，所述的3D全息投影图像根据采集音频振幅的变换进行相应的图像变换。
[0018]与现有技术相比，本专利技术的有益效果在于：
[0019]本专利技术所述的互动型三维舞台模拟系统及方法中，通过增加舞台灯光控制单元与舞台音效控制单元，提高了3D全息投影渲染与舞台环境中演员的互动关联度，在大型舞台或特定的展示场景中，通过将演员运动动作特征，音频数据，灯光数据等多种控制元素与3D全息投影图像相互结合，用以更好地与舞台场景中的演绎动作相互结合，从而提高舞台场景展示互动效果；其中所述的演员动作运动特征，将传统的演绎局部动作与特征点识别，改进为整体的演绎动作识别，提高了演员演绎特征的识别精度，并加以灯光数据与音效数据的配合，用以进一步提高虚拟场景在互动过程中的切换响应速度，提高互动的即时性。
附图说明
[0020]图1为一种互动型三维舞台模拟系统及方法模块图。
具体实施方式
[0021]实施例1：
[0022]本实施例中所述的一种互动型三维舞台模拟系统及方法，如图1所示，包括数据交互控制单元，识别设备控制单元，3D全息投影渲染单元，舞台灯光控制单元，舞台音效控制单元，具体包括通过舞台灯光控制单元与舞台音效控制单元控制舞台场景，在舞台场景中通过3D全息投影渲染单元建立3D全息投影图像，将3D全息投影图像传送至数据交互控制单元中，并获取识别设备控制单元采集的演员演绎数据，用以进行3D全息投影图像与演员的实时互动，从而提高舞台展示效果。
[0023]其中，本专利技术中所述的数据交互控制单元，用以将获取的舞台信息与投影图像信
息整合控制；所述的识别设备控制单元，通过控制舞台场景内的相关装置的系统使用，用以进行舞台信息的采集与舞台特征的识别；所述的3D全息投影渲染单元，用以进行三维环境地图的构建，以及3D全息投影图像的建模与渲染；所述的舞台灯光控制单元，用以进行灯光控制，并输出灯光控制数据，根据灯光控制数据获取灯光落在三维环境地图中的灯光投影位置数据，通过所述的灯光投影位置数据与3D全息投影图像进行交互作用；所述的舞台音效控制单元，用以预先设定舞台的背景音效，并对舞台的背景音效数据进行关键点提取，通过识别被提取的所述的关键点振幅，用以与3D全息投影图像进行交互作用。
[0024]所述的数据交互控制单元，包括数据信息输入单元，数据信息处理单元，数据信息输出单元。
[0025]其中，所述的数据信息输入单元用以获取识别设备控制单元中采集的舞台信息，所述的数据信息处理单元用以进行舞台信息的解码与配准，并将处理完成的舞台信息传送至3D全息投影渲染单元中，所述的3D全息投影渲染单元中，获取处理完成的舞台信息并调用对应的3D全息投影图像模型进行动态控制，将动态控制数据传送至数据信息输出单元中输出，并在舞台环境中进行显示。
[0026]在所述的舞台场景中，建立三维环境地图并将三维环境地图进行栅格化处理。
[0027]其中，所述的栅格化处理通过建立三维环境栅格，用以标注出演员运动动作特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种互动型三维舞台模拟系统，包括数据交互控制单元，识别设备控制单元，3D全息投影渲染单元，舞台灯光控制单元，舞台音效控制单元，其特征在于，具体包括通过舞台灯光控制单元与舞台音效控制单元控制舞台场景，在舞台场景中通过3D全息投影渲染单元建立3D全息投影图像，将3D全息投影图像传送至数据交互控制单元中，并获取识别设备控制单元采集的演员演绎数据，用以进行3D全息投影图像与演员的实时互动，从而提高舞台展示效果。2.根据权利要求1所述的一种互动型三维舞台模拟系统，其特征在于，所述的数据交互控制单元，包括数据信息输入单元，数据信息处理单元，数据信息输出单元。3.根据权利要求1所述的一种互动型三维舞台模拟系统，其特征在于，所述的识别设备控制单元，包括双目视觉传感器，红外线传感器以及加速度传感器。4.根据权利要求3所述的一种互动型三维舞台模拟系统，其特征在于，在所述的一种互动型三维舞台模拟系统中建立了一种互动型三维舞台模拟方法；其中在所述的舞台场景中，建立三维环境地图并将三维环境地图进行栅格化处理。5.根据权利要求4所述的一种互动型三维舞台模拟方法，其特征在于，所述的双目视...

【专利技术属性】
技术研发人员：薛冬，
申请(专利权)人：苏州高铁新城传媒文化有限公司，
类型：发明
国别省市：