多自由度的舞美灯光控制方法及系统技术方案

本公开提供一种多自由度的舞美灯光控制方法及系统，包括获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象，并实时获取所述目标对象在所述目标舞台的位置信息；基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。本公开的方法能够提供沉浸式舞台灯光效果。开的方法能够提供沉浸式舞台灯光效果。开的方法能够提供沉浸式舞台灯光效果。

【技术实现步骤摘要】
多自由度的舞美灯光控制方法及系统


[0001]本公开涉及舞台灯光控制
，尤其涉及一种多自由度的舞美灯光控制方法及系统。

技术介绍

[0002]在舞美灯光设计中，通常需要控制灯光的亮度、颜色、位置、运动、形状等多个参数，以创造出丰富多样的灯光效果。在舞台表演中，灯光是其中关键的一环，这决定了舞台上的表演者是否能够为台下观众所见。例如，灯光追随表演者移动，观众就可根据所述灯光来寻找表演者，当舞台灯光机构出现故障或控制不佳而偏离表演者时，就会导致观众因视线被灯光影响而错过表演者，这就会影响舞台表演的质量。目前的舞台灯光均是由专业的灯光师以人工的方式进行调节，易产生误差，且具有专业水平的灯光师的数量难以满足日益增多的舞台演出。

技术实现思路

[0003]本公开实施例提供一种多自由度的舞美灯光控制方法及系统，能够至少解决现有技术中的部分问题，也即解决需要专业的灯光师控制舞台灯光才能跟随表演者的问题。
[0004]本公开实施例的第一方面，提供一种多自由度的舞美灯光控制方法，包括：获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象，并实时获取所述目标对象在所述目标舞台的位置信息；基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
[0005]在一种可选的实施方式中，所述基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息包括：对所述运动图像信息的每一帧进行运动目标检测，并提取每一帧的运动目标的运动特征，基于所述姿态估计算法确定所述运动特征对应的人体关键点信息；基于所述人体关键点信息，以及预设标记信息，分别构建所述人体关键点信息对应的关键点向量场矩阵以及所述预设标记信息对应的标记向量场矩阵，根据所述人体关键点信息、所述预设标记信息以及所述关键点向量场矩阵、所述标记向量场矩阵确定所述人体关键点信息与人体关节点信息的亲合度；将亲合度大于预设关节阈值的人体关键点信息进行连接构建为所述目标舞台中目标对象的姿态信息。
[0006]在一种可选的实施方式中，
根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象包括：对于所获取的运动图像信息的每一帧进行运动目标检测，确定所述运动目标的运动轨迹，计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵；将所述每一帧的运动目标作为节点，并连接相邻的节点形成连接边，根据所述关联关系得分矩阵设置所述节点的权重，遍历所有的节点，通过节点搜索算法确定增广路径，对所述增广路径进行图分割，将图分割为包括节点关联部分和节点不关联部分；对增广路径进行迭代分割，直至节点关联部分节点权重最小，实现对运动目标进行动态跟踪。
[0007]在一种可选的实施方式中，所述计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵包括：
[0008]其中，W、V分别表示外观相似度和运动相似度的数量，w
i
、v
j
分别表示外观相似度对应的第i个权重系数和运动相似度对应的第j个权重系数，h表示正则化系数，Reg()表示正则化项，SIM(I,K)表示外观相似度，S
F
表示运动相似度；
[0009]其中，SIM(I,K)表示外观相似度，u
I
表示当前帧的像素均值，u
K
表示前一帧的像素均值，C表示外观属性值，其为常数；
[0010]其中，S
F
表示运动相似度，I
max
表示光流向量的数量，F
i
、分别表示当前帧的光流向量和前一帧的光流向量。
[0011]在一种可选的实施方式中，所述基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射包括：根据预设的坐标系分别确定所述目标舞台中每个区域的坐标信息，以及舞台灯光的坐标信息，基于所述目标对象在所述目标舞台的位置信息以及预先确定的舞台位置与舞台灯光角度的对应关系，分别确定所述舞台灯光与所述目标对象的第一方向向量、所述舞台灯光与所述目标舞台的中心的第二方向向量以及每个舞台灯光与所述目标对象的距离信息；基于所述第一方向向量、所述第二方向向量以及每个舞台灯光与所述目标对象的距离信息，确定每个舞台灯光与目标对象的方向夹角；
遍历所述方向夹角，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。
[0012]在一种可选的实施方式中，所述基于所述第一方向向量、所述第二方向向量以及每个舞台灯光与所述目标对象的距离信息，确定每个舞台灯光与目标对象的方向夹角包括：按照如下公式确定每个舞台灯光与目标对象的方向夹角：；；；；其中，angle表示舞台灯光与目标对象的方向夹角，表示所述第一方向向量，表示第二方向向量，表示所述舞台灯光与所述目标对象的距离信息，目标对象的中心坐标为(x_target,y_target)，舞台灯光的坐标表示为(x_light,y_light)，舞台中心的坐标为（x_stage，y_stage）；在一种可选的实施方式中，所述方法还包括：将与舞美灯光适配的舞美音乐转换为时域信号，并对所述时域信号进行采样，确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列；将所述自相关序列和所述能量序列进行合并去重后，筛选出所述时域信号对应的音频特征，其中，所述音频特征包括音频节拍频率、音频节拍强度以及音频节拍稳定性中至少一种；根据所述音频特征，以及预设的音频映射函数，将所述音频特征映射为舞美灯光控制策略，并通过所述舞美灯光控制策略控制所述舞美灯光与所述舞美音乐适配。
[0013]在一种可选的实施方式中，所述确定所采样的时域信号对应的自相关序列以及所述时域信号中每一帧信号的能量序列如下公式所示：
[0014]其中，E(n)表示第n帧时域信号对应的能量序列，N表示窗口长度，x[i]表示时域信号的第i个采样值，M表示对音频信息进行音频帧划分的数量，S（n）表示第n帧时域信号的滤波序列；
[0015]其中，R(n)表示第n帧时域信号对应的自相关序列，k表示延迟步长，K表示延迟总时长，r(k)表示延迟步长为k的离散信号序列，r(k+1)表示延迟步长为k的离散信号序列的相邻序列，T表示时域信号峰值，R表示自相关系数；
所述根据所述音频特征，以及预设的音频映射函数，将所述音频特征映射为舞美灯光控制策略如下公式所示：
[0016]其中，C
L
表示舞美灯光控制策略，U(n)=[E(n),R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多自由度的舞美灯光控制方法，其特征在于，包括：获取目标舞台中多个运动对象的运动图像信息，基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息；根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象，并实时获取所述目标对象在所述目标舞台的位置信息；基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射。2.根据权利要求1所述的方法，其特征在于，所述基于所述运动图像信息通过姿态估计算法以及预设标记信息确定所述目标舞台中目标对象的姿态信息包括：对所述运动图像信息的每一帧进行运动目标检测，并提取每一帧的运动目标的运动特征，基于所述姿态估计算法确定所述运动特征对应的人体关键点信息；基于所述人体关键点信息，以及预设标记信息，分别构建所述人体关键点信息对应的关键点向量场矩阵以及所述预设标记信息对应的标记向量场矩阵，根据所述人体关键点信息、所述预设标记信息以及所述关键点向量场矩阵、所述标记向量场矩阵确定所述人体关键点信息与人体关节点信息的亲合度；将亲合度大于预设关节阈值的人体关键点信息进行连接构建为所述目标舞台中目标对象的姿态信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述姿态信息，通过动态跟踪算法在所述运动图像信息中锁定所述目标对象包括：根据所述姿态信息，对于所获取的运动图像信息中与所述姿态信息对应的每一帧进行运动目标检测，确定所述运动目标的运动轨迹，计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵；将所述每一帧的运动目标作为节点，并连接相邻的节点形成连接边，根据所述关联关系得分矩阵设置所述节点的权重，遍历所有的节点，通过节点搜索算法确定增广路径，对所述增广路径进行图分割，将图分割为包括节点关联部分和节点不关联部分；对增广路径进行迭代分割，直至节点关联部分节点权重最小，实现对运动目标进行动态跟踪。4.根据权利要求3所述的方法，其特征在于，所述计算当前帧运动目标与前一帧运动目标的外观特征的外观相似度以及运动特征的运动相似度，并根据所述外观相似度以及所述运动相似度确定关联关系得分矩阵包括：，其中，W、V分别表示外观相似度和运动相似度的数量，w
i
、v
j
分别表示外观相似度对应的第i个权重系数和运动相似度对应的第j个权重系数，h表示正则化系数，Reg()表示正则化项，SIM(I,K)表示外观相似度，S
F
表示运动相似度；，
其中，SIM(I,K)表示外观相似度，u
I
表示当前帧的像素均值，u
K
表示前一帧的像素均值，C表示外观属性值，其为常数；，其中，S
F
表示运动相似度，I
max
表示光流向量的数量，F
i
、分别表示当前帧的光流向量和前一帧的光流向量。5.根据权利要求1所述的方法，其特征在于，所述基于预先确定的舞台位置与舞台灯光角度的对应关系，根据所述目标对象在所述目标舞台的位置信息，调用偏转角度最小的舞台灯光对所述目标对象进行跟踪照射包括：根据预设的坐标系分别确定所述目标舞台中每个区域的坐标信息，以及舞台灯光的坐标信息，基于所述目标对象在所述目标舞台的位置信息以及预先确定的舞台位置与舞台灯光角度的对应关系，分别确定所述舞台灯...

【专利技术属性】
技术研发人员：包珊陌，
申请(专利权)人：良业科技集团股份有限公司，
类型：发明
国别省市：