一种基于体感交互的舞台灯光调控方法及系统技术方案

本发明专利技术提出了一种基于体感交互的舞台灯光调控方法及实现该方法的系统，其中所述方法首先，通过红外发射装置、红外摄像头完成所需深度数据的采集；其次，建立深度学习网络模型，对采集到的不同的动作信息以及部分被遮挡部位进行识别和处理；再次将处理后的信号并结合红外投影器，通过骨骼追踪技术定位获得人体关节的各个位置，并将处理后的信号与舞台灯呈现效果结合起来；最后，利用数据转接口实现数据格式的转换，并将调控灯光信号输入舞台灯，达到对舞台灯光效果的控制，从而实现基于人体动作的交互式灯光调控效果。作的交互式灯光调控效果。作的交互式灯光调控效果。

【技术实现步骤摘要】
一种基于体感交互的舞台灯光调控方法及系统


[0001]本专利技术涉及一种基于体感交互的舞台灯光调控方法及系统，特别是涉及一种体感交互领域。

技术介绍

[0002]在互联网技术的大力推进下，随着智能化技术的推进和生活水平提高以及大众对审美提升的追求下，人们对交互式体验的需求也在日益提高。舞台灯光随着表演者的演出推进，改变灯光的颜色和亮度可以更好的烘托出演出的效果和现场气氛。
[0003]但现有技术中，舞台中灯光的调控效果和方案主要由设计人员根据节目的设定和内容所需的灯光需求，事先通过软件进行方案的制作与设计，前期消耗时间成本和人工成本较大，且互动感不足，沉浸式体验不足。

技术实现思路

[0004]专利技术目的：一个目的是提出一种基于体感交互的舞台灯光调控方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。
[0005]技术方案：一种基于体感交互的舞台灯光调控方法包括以下步骤：
[0006]步骤一：获取位于舞台上舞者动作的实时信息；
[0007]步骤二：建立根据动作节点判断动作信息的深度网络学习模型；
[0008]步骤三：根据获得动作的实时信息，识别舞者的动作节点并输出；
[0009]步骤四：转换深度学习网络输出的数据信息格式，将转换信号输入舞台灯，完成动作与灯光实时匹配的调控效果。
[0010]在进一步的实施例中，所述步骤一进一步为：通过信息采集设备实时获取舞台上正在进行表演的舞者动作信息，并形成深度数据信息；其中所述深度数据为视野范围内的物体到三维空间的距离。
[0011]在进一步的实施例中，所述步骤二进一步为：建立实现采集图片部分缺失的多特征融合识别深度网络学习模型；所述多特征融合识别深度网络学习模型用于根据接收到的信息缺失图片，实时判断舞台上表演者的动作信息，并将重建出的图片信息输出至步骤四中；其中，所述图片部分缺失为表演者在表演过程中出现表演者部分体征被遮挡物遮挡而出现采集信息不完整的图片；
[0012]其中所述多特征融合识别深度网络学习模型的建立为：首先，建立用于所述模型训练的数据集；其次，将所述数据集放入建立的多特征融合识别深度网络学习模型中，并训练多特征融合识别深度网络学习模型学习从缺失图像到完整图像的学习映射；再次，将输出重建的图像信息与标签集中的图片信息进行误差进行计算，并更新网络权值；最后，根据完成学习的多特征融合识别深度网络学习模型实现确实图像信息的图片重建；其中所述数据集由包含舞者动作信息的图片构成，其中数据集进一步包含训练集和标签集；所述训练集与标签集一一对应，所述一一对应为训练集为含有缺失图像信息的图片，标签集为对应
的不含缺失图片信息的图片；
[0013]特征提取为首先通过金字塔网络进行不同尺度特征的加深提取，然后在将各个特征上采样至原图大小，并进行融合；所述神经网络包含的特征提取阶段包含预定个残差模块，所述残差模块用于提取人体姿态的节点图；其中涉及卷积网络采用部分卷积的模式，即采用一个二值化的掩码将卷积分为有效卷积和无效卷积：
[0014][0015]其中，w
i
表示当前卷积层的特征值，w
i+1
表示下一层的卷积特征值，W表示卷积核，b表示偏置值，M表示与接收图像相同尺寸的二值化掩码，表示对应元素相乘的卷积运算；其中值是0表示该部分为确实的区域，值是1表示部分为保留区域；下一层卷积的更新掩码为：
[0016][0017]其中，M
i+1
表示下一层的卷积码；用于提取特征的卷积层，通过权重和对比结果进行特征的计算，即：
[0018][0019]其中，X
j
表示卷积层中第j个特征，X
i
表示卷积层中第i个特征，M
j
表示特征映射集合，K
ij
表示权重，W
j
表示权重；表示卷积相乘运算；对特征进行融合的池化层通过池化层的特征映射和权重实现得到；
[0020]对于图片缺失部分的预测采用回归方式的损失函数进行权值的优化；其中损失函数为范数优化欧氏距离的损失函数，即：
[0021][0022]其中，θ表示待优化的表演者动作识别参数，N表示训练集图片的总数，X
i
表示当前学习的表演者样本图片，F
i
表示训练集中用于作为训练集对比，并与之对应的标签集数值。
[0023]在进一步实施例中，所述步骤三进一步为：利用骨骼追踪技术，从步骤一获得的深度信息并结合步骤二中神经网络对缺失信息的重建中定位人体的骨骼节点信息；所述定位方法为通过确定人体的预定个关节点，对人体动作实时追踪；所述关节点具体信息为建立单位空间立体坐标，以三维坐标来表示每个关节点的位置；其中空间立体坐标中横轴表示水平移动距离，竖轴表示垂直距离，纵轴表示和坐标系原点的距离；
[0024]其中，对于关键点的定位通过坐标转换将三维坐标系中的节点，进行关键点的几何转变，即：
[0025][0026]其中，H表示骨骼关键点的节点坐标，H
′
表示转换之后的骨骼关键点坐标，a表示采集三维坐标系中节点定位的横坐标数值，b表示采集三维坐标系中节点定位的竖坐标数值，c表示采集三维坐标系中节点定位的纵坐标数值；上述通过对骨骼关键点归一化的处理，进一步使得不同身体比例的姿势骨架具备一致性。
[0027]在进一步实施例中，所述步骤四进一步为：接收神经网络输出的节点数据格式，并通过信号转换设备完成数据格式的转换，将对应的灯光调控信号传送至舞台灯中，完成灯光调控；其中灯光的调控方法为根据舞台表演者的动作信号标记出节点，其中节点的整体的表现形式对应不同的灯光调控方案；所述灯光调控方案的制定为舞台表演者的左右半边动作信息，各控制预定个舞台灯的调控，定位节点坐标系中的纵轴表示的是表演者与坐标原点的距离，用于控制灯光的照射强度；所述坐标原点为以舞台前方边缘正中间的位置。
[0028]一种基于体感交互的舞台灯光调控系统，包括：
[0029]用于采集实时信息的第一模块；
[0030]用于构建判断动作信息的深度网络学习模型的第二模块；
[0031]用于获得动作的实时信息，识别舞者的动作节点的第三模块；
[0032]用于转换数据格式，调控灯光的第四模块。
[0033]在进一步的实施例中，所述第一模块进一步包括红外摄像头、红外装置、麦克风阵列，通过所述红外摄像头、红外装置、麦克风阵列采集设备实时获取舞台上正在进行表演的舞者动作信息，并形成深度数据信息；其中所述深度数据为视野范围内的被检测到的舞台上表演者到三维空间的距离。
[0034]在进一步实施例中，所述第二模块进一步建立根据动作节点判断动作信息的深度网络学习模型；其中所述深度网络学习模型进一步为实现采集图片部分缺失的多特征融合识别深度网络学习模型；所述多特征融合识别深度网络学习模型用于根据接收到的信息缺失图片，实时判断舞台上表演者的动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于体感交互的舞台灯光调控方法，其特征在于，包括：步骤一：获取位于舞台上舞者动作的实时信息；步骤二：建立根据动作节点判断动作信息的深度网络学习模型；步骤三：根据获得动作的实时信息，识别舞者的动作节点并输出；步骤四：转换深度学习网络输出的数据信息格式，将转换信号输入舞台灯，完成动作与灯光实时匹配的调控效果。2.根据权利要求1所述的一种基于体感交互的舞台灯光调控方法，其特征在于，所述步骤一进一步为：通过信息采集设备实时获取舞台上正在进行表演的舞者动作信息，并形成深度数据信息；其中所述深度数据为视野范围内的物体到三维空间的距离。3.根据权利要求1所述的一种基于体感交互的舞台灯光调控方法，其特征在于，所述步骤二进一步为：建立实现采集图片部分缺失的多特征融合识别深度网络学习模型；所述多特征融合识别深度网络学习模型用于根据接收到的信息缺失图片，实时判断舞台上表演者的动作信息，并将重建出的图片信息输出至步骤三中；其中，所述图片部分缺失为表演者在表演过程中出现表演者部分体征被遮挡物遮挡而出现采集信息不完整的图片；其中所述多特征融合识别深度网络学习模型的建立为：首先，建立用于所述模型训练的数据集；其次，将所述数据集放入建立的多特征融合识别深度网络学习模型中，并训练多特征融合识别深度网络学习模型学习从缺失图像到完整图像的学习映射；再次，将输出重建的图像信息与标签集中的图片信息进行误差进行计算，并更新网络权值；最后，根据完成学习的多特征融合识别深度网络学习模型实现确实图像信息的图片重建；其中所述数据集由包含舞者动作信息的图片构成，其中数据集进一步包含训练集和标签集；所述训练集与标签集一一对应，所述一一对应为训练集为含有缺失图像信息的图片，标签集为对应的不含缺失图片信息的图片；特征提取为首先通过金字塔网络进行不同尺度特征的加深提取，然后在将各个特征上采样至原图大小，并进行融合；所述神经网络包含的特征提取阶段包含预定个残差模块，所述残差模块用于提取人体姿态的节点图；其中涉及卷积网络采用部分卷积的模式，即采用一个二值化的掩码将卷积分为有效卷积和无效卷积：其中，w
i
表示当前卷积层的特征值，w
i+1
表示下一层的卷积特征值，W表示卷积核，b表示偏置值，M表示与接收图像相同尺寸的二值化掩码，表示对应元素相乘的卷积运算；其中值是0表示该部分为确实的区域，值是1表示部分为保留区域；下一层卷积的更新掩码为：其中，M
i+1
表示下一层的卷积码；用于提取特征的卷积层，通过权重和对比结果进行特征的计算，即：
其中，X
j
表示卷积层中第j个特征，X
i
表示卷积层中第i个特征，M
j
表示特征映射集合，K
ij
表示权重，W
j
表示权重；表示卷积相乘运算；对特征进行融合的池化层通过池化层的特征映射和权重实现得到；对于图片缺失部分的预测采用回归方式的损失函数进行权值的优化；其中损失函数为范数优化欧氏距离的损失函数，即：其中，θ表示待优化的表演者动作识别参数，N表示训练集图片的总数，X
i
表示当前学习的表演者样本图片，F
i
表示训练集中用于作为训练集对比，并与之对应的标签集数值。4.根据权利要求1所述的一种基于体感交互的舞台灯光调控方法，其特征在于，所述步骤三进一步为：利用骨骼追踪技术，从步骤一获得的深度信息并结合步骤二中神经网络对缺失信息的重建中定位人体的骨骼节点信息；所述定位方法为通过确定人体的预定个关节点，对人体动作实时追踪；所述关节点具体信息为建立单位空间立体坐标，以三维坐标来表示每个关节点的位置；其中空间立体坐标中横轴表示水平移动距离，竖轴表示垂直距离，纵轴表示和坐标系原点的距离；其中，对于关键点的定位通过坐标转换将三维坐标系中的节点，进行关键点的几何转变，即：其中，H表示骨骼关键点的节点坐标，H
′
表示转换之后的骨骼关键点坐标，a表示采集三维坐标系中节点定位的横坐标数值，b表示采集三维坐标系中节点定位的竖坐标数值，c表示采集三维坐标系中节点定位的纵坐标数值；上述通过对骨骼关键点归一化的处理，进一步使得不同身体比例的姿势骨架具备一致性。5.根据权利要求1所述的一种基于体感交互的舞台灯光调控方法，其特征在于，所述步骤四进一步为：接收步骤三中输出的节点数据格式，并通过信号转换设备完成数据格式的转换，将对应的灯光调控信号传送至舞台灯中，完成灯光调控；其中灯光的调控方法为根据舞台表演者的动作信号标记出节点，其中节点的整体的表现形式对应不同的灯光调控方案；所述灯光调控方案的制定为舞台表演者的左右半边动作信息，各控制预定个舞台灯的调控，定位节点坐标系中的纵轴表示的是表演者与坐标原点的距离，用于控制灯光的照射强度；所述坐标原点为以舞台前方边缘正中间的位置。6.一种基于体感交互的舞台灯光调控系统，用户实现上述权利要求1～5任意一项所述方法，其特征在于，包括以下模块：
用于采集实时信...

【专利技术属性】
技术研发人员：鲁广玲，
申请(专利权)人：南京飞赫电器有限公司，
类型：发明
国别省市：