一种基于自适应层实例归一化GAN的演唱会拍摄方法技术

本发明专利技术涉及一种基于自适应层实例归一化GAN的演唱会拍摄方法。可以改善由于光线问题造成图像质量不佳的情况。U

【技术实现步骤摘要】
一种基于自适应层实例归一化GAN的演唱会拍摄方法


[0001]本专利技术涉及无监督机器学习的人工智能算法领域，具体涉及一种基于自适应层实例归一化GAN的演唱会拍摄方法。

技术介绍

[0002]大型演唱会相较于眼镜式框架式演出舞台，常常设计种类繁多、总数庞大的灯具来呈现氛围感极佳的音乐现场，除了常规的观众灯、回光灯以及叠加效果的激光灯、LED灯以外，还会布置摇头图案灯、染色灯来打光束和调焦。根据自动控制系统命令，灯具会伴随歌曲的节奏感做上、下、左、右、转动、交叉式等姿势的改变，自我调节粗细和亮度，展现演出和故事情节所必须的灯光明暗交界线、高低、颜色、图样等变化，相比于较亮的舞台，观众席往往处于较暗的环境中。好的灯光效果为大型演唱会建立了牢靠的硬件条件，烘托了舞美，衬托了氛围，但是变化不定的舞台灯光会造成局部强烈的照度，而舞台后区仍然光线不足，给现场拍摄带来了一定的挑战性。在现场拍摄过程中，由于舞台某个瞬间的光线不足或者逆光拍摄常常导致曝光现象，甚至出现“大黑脸”的情况，或者由于机顶闪光灯太过生硬、光圈镜头使用不当、演唱者舞步跳脱，增加了图像的噪声和曝光量，让测光点之外的区域形成过曝或者欠曝。在演唱会现场的拍摄无法补光、相机参数也无法调整的情况下，后期就只能调整优化曝光量、高光、阴影、对比度等，过程繁琐且效果差强人意。

技术实现思路

[0003]本专利技术的目的在于提供一种基于自适应层实例归一化GAN的演唱会拍摄方法，来解决演唱会现场拍摄的影像由于光线问题出现的过曝、欠曝问题。首先图像经过下采样模块、残差块，得到编码后的特征图；然后编码后的特征图分两路，一路通过辅助分类器，得到包含每个特征图的权重信息，该权重与另外一路编码后的特征图相乘，得到有注意力的特征图；接着注意力特征图依然分两路，一路经过1
×
1卷积和激活函数层得到a1...an特征图，并通过全连接层得到解码器中Adaptive Layer
‑
Instance Normalization层的gamma和beta，另外一路作为解码器的输入，经过一个自适应的残差块(含有Adaptive Layer
‑
Instance Normalization)以及上采样模块得到生成结果。其中解码器的残差网络部分用AdaILN，upsample上采样部分用ILN，ILN中的所有超参数是可学习的，同样的attention操作作用于判别器。
[0004]为实现上述目的，本专利技术的技术方案是：一种基于自适应层实例归一化GAN的演唱会拍摄方法，包括如下步骤：
[0005]步骤S1、分别采集演唱会舞台现场处于两种曝光强度下的、成像效果差的图像和视频数据集；
[0006]步骤S2、搭建自适应层实例归一化的无监督生成对抗网络UGATIT网络模型，确定模型参数，神经网络的损失函数，将模型性能优化至最佳；
[0007]步骤S3、根据训练结果，优化UGATIT网络模型，减小冗余度；
[0008]步骤S4、使用设置好参数的专业相机和变焦镜头，以此获得画质较好的影像，提高UGATIT图像转换的效果，最大限度地发挥UGATIT网络模型的性能。
[0009]在本专利技术一实施例中，所述步骤S1具体实现如下：
[0010]步骤S11、收集演唱会舞台现场拍摄过程中光线过曝的图像；
[0011]步骤S12、收集昏暗的观众席拍摄到的欠曝的图像。
[0012]在本专利技术一实施例中，步骤S1中数据集收集所使用到的影像器材，包括照相机、摄像机、闪光灯、摄像灯、变焦镜头、定焦镜头、滤色镜、柔光箱、反光板、摄影灯、石英灯、快门线、相机滤镜、引闪器。
[0013]在本专利技术一实施例中，所述步骤S2具体实现如下：
[0014]步骤S21、UGATIT网络模型的生成器采用新的注意力机制，即采用全局和平均池化下的类激活图CAM来实现；
[0015]在Position Attention Module中，通过UGATIT网络的encode编码阶段得到的特征图A(C
×
H
×
W)，特征图首先通过卷积层得到3个特征图B，C，D，然后reshape为C
×
N，其中N＝H
×
W，之后将reshape后的B的转置与reshape后的C相乘再通过softmax得到spatial attention map S(N
×
N)，接着把S的转置与D做乘积再乘以尺度系数a再reshape为原来形状，最后与A相加得到最后的输出E；其中A初始化为0，并逐渐的学习分配到更大的权重；E的每个位置的值是原始特征每个位置的加权求和得到的；
[0016]步骤S22、UGATIT网络模型采用的新的正则化方式，即自适应图层实例归一化AdaLIN，它是将自适应layer norm与instance norm结合起来；
[0017]首先IN和LN的归一化公式如下：
[0018][0019]然后将IN和LN的归一化公式合并得到AdaLIN的归一化公式：
[0020][0021]最后，为防止AdaLIN的学习参数超出[0，1]的范围，对参数进行了区间裁剪：
[0022]ρ
←
clip
[0，1](ρ
‑
τΔρ)步骤S23、UGATIT网络模型采用的判别器采用条件概率判别模型，即基于统计特性的判别方法，通过训练图像的特征获得条件概率分布，即样本x属于类别y的p(y|x)概率分布，随后输入图像的特征属于各个类别的条件概率，概率最大的那个类别就是该图像所属的类别；U
‑
GATIT网络模型的判别器采用全局判别器和局部判别器的结合，通过extend将全局判别器和局部判别器的结果进行连接。
[0023]在本专利技术一实施例中，所述步骤S3具体实现如下：
[0024]步骤S31、UGATIT网络模型对于图像到图像转换的损失函数有四个，包括对抗损失、循环一致性损失、身份损失、CAM损失即交叉熵损失；
[0025]步骤S32、去除UGATIT网络模型的cycle部分，将UGATIT网络模型简化成一个生成器和一个判别器配套使用；
[0026]步骤S33、根据训练的结果调整特征值的权重，在UGATIT网络模型中，生成器G用ReLU做激活，判别器D用Leaky ReLU(slope＝0.2)激活；训练时，对lr前500个iterations固定1e
‑
4，然后线性衰减，共1000k个iterations，对权重的正则化项系数取0.02。
[0027]在本专利技术一实施例中，所述步骤S4具体实现如下：
[0028]步骤S41、选用高感好的单反相机，提高感光度，增强进光量来缩短快门时间去凝固舞蹈动作的瞬间性；
[0029]步骤S42、根据摄影席距离舞台中区的距离来决定变焦镜头选择的焦段，采用两只变焦镜头配合拍摄，选择70mm
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应层实例归一化GAN的演唱会拍摄方法，其特征在于，包括如下步骤：步骤S1、分别采集演唱会舞台现场处于两种曝光强度下的、成像效果差的图像和视频数据集；步骤S2、搭建自适应层实例归一化的无监督生成对抗网络UGATIT网络模型，确定模型参数，神经网络的损失函数，将模型性能优化至最佳；步骤S3、根据训练结果，优化UGATIT网络模型，减小冗余度；步骤S4、使用设置好参数的专业相机和变焦镜头，以此获得画质较好的影像，提高UGATIT图像转换的效果，最大限度地发挥UGATIT网络模型的性能。2.根据权利要求1所述的一种基于自适应层实例归一化GAN的演唱会拍摄方法，其特征在于，所述步骤S1具体实现如下：步骤S11、收集演唱会舞台现场拍摄过程中光线过曝的图像；步骤S12、收集昏暗的观众席拍摄到的欠曝的图像。3.根据权利要求1所述的一种基于自适应层实例归一化GAN的演唱会拍摄方法，其特征在于，步骤S1中数据集收集所使用到的影像器材，包括照相机、摄像机、闪光灯、摄像灯、变焦镜头、定焦镜头、滤色镜、柔光箱、反光板、摄影灯、石英灯、快门线、相机滤镜、引闪器。4.根据权利要求1所述的一种基于自适应层实例归一化GAN的演唱会拍摄方法，其特征在于，所述步骤S2具体实现如下：步骤S21、UGATIT网络模型的生成器采用新的注意力机制，即采用全局和平均池化下的类激活图CAM来实现；在Position Attention Module中，通过UGATIT网络的encode编码阶段得到的特征图A(C
×
H
×
W)，特征图首先通过卷积层得到3个特征图B，C，D，然后reshape为C
×
N，其中N＝H
×
W，之后将reshape后的B的转置与reshape后的C相乘再通过softmax得到spatial attention map S(N
×
N)，接着把S的转置与D做乘积再乘以尺度系数a再reshape为原来形状，最后与A相加得到最后的输出E；其中A初始化为0，并逐渐的学习分配到更大的权重；E的每个位置的值是原始特征每个位置的加权求和得到的；步骤S22、UGATIT网络模型采用的新的正则化方式，即自适应图层实例归一化AdaLIN，它是将自适应layer norm与instance ...

【专利技术属性】
技术研发人员：陈国栋，黄梅玲，
申请(专利权)人：福州大学，
类型：发明
国别省市：