一种用于网络社交平台颜色畸变的网络视频恢复方法技术

本发明专利技术属于网络视频图像修复领域，具体涉及一种用于网络社交平台颜色畸变的网络视频恢复方法。本发明专利技术包括进行视频图像的中间传输图像估计；将视频图像输入，将中间传输图像作为标签，进行编码解码网络自监督网络训练，得到编码解码网络自监督网络的固定参数；将步骤(2)的固定参数插入到视频图像颜色恢复网络，进行训练；将训练后的视频图像颜色恢复网络中的第一生成器T提取出来，用于视频图像颜色的恢复。本发明专利技术依赖神经网络，结合中间传输图像，融合风格损失与结构相似性损失，实现对具有严重颜色畸变图像的颜色准确恢复。重颜色畸变图像的颜色准确恢复。重颜色畸变图像的颜色准确恢复。

【技术实现步骤摘要】
一种用于网络社交平台颜色畸变的网络视频恢复方法


[0001]本专利技术属于网络视频图像修复领域，具体涉及一种用于网络社交平台颜色畸变的网络视频恢复方法。

技术介绍

[0002]随着网络平台短视频技术的迅速发展，在进行立体视频采集时，会出现局部或者整体的颜色差异，当人们直接观看这样的立体视频或立体图像时，就会产生不适。因此需要网络后台进行。目前，网络视频颜色校正的算法较多，整体上可以分为基于模型参数和非参数颜色校正方法。基于模型方法缺点是设置繁琐，精确度易会受采集环境的干扰，构造一个相关矩阵搜索最小距离路径来找到校正函数，但校正函数不能保证完全正确；非参数方法应用范围有限，或者计算过程复杂，并且其中大部分并没有考虑到校正图像和参考图像中重叠区域中遮挡部分对校正信息的影响。此外在传统的深度学习方法中，需要大量的成对数据进行训练。

技术实现思路

[0003]本专利技术的目的是提供一种克服深度学习技术对于成对训练数据需求的用于网络社交平台颜色畸变的网络视频恢复方法。
[0004]本专利技术的目的是这样实现的：
[0005]一种用于网络社交平台颜色畸变的网络视频恢复方法，包括如下步骤：
[0006](1)进行视频图像的中间传输图像估计；
[0007]确定红通道与蓝、绿通道的最大差异：
[0008][0009]V
p
表示通道p属于红、蓝、绿的像素值，ν为图像中的块；
[0010]中间传输图像为：
[0011][0012](2)将视频图像输入，将中间传输图像作为标签，进行编码解码网络自监督网络训练，得到编码解码网络自监督网络的固定参数；
[0013](3)将步骤(2)的固定参数插入到视频图像颜色恢复网络，进行训练；
[0014](4)将训练后的视频图像颜色恢复网络中的第一生成器T提取出来，用于视频图像颜色的恢复。
[0015]由2个生成器与2个鉴别器组组成所述视频图像颜色恢复网络，其中第一生成器T生成视频图像，设置固定参数的编码解码网络自监督网络位于所述第一生成器T的上部，设置在中间层中加入三层深度可分离卷积的固定参数的编码解码网络自监督网络位于所述第一生成器T的上部；第二生成器S通过视频图像生成矫正图像；第一鉴别器与其辅助鉴别器组Q
L
，鉴定视频图像是否为拍摄图像；第二鉴别器与其辅助鉴别器组Q
K
，鉴定矫正图像是
否为真实；
[0016]所述进行训练的过程为：
[0017](3.1)训练鉴别器；
[0018]将已有的矫正图像与拍摄图像、固定生成器参数和开放鉴别器参数，依次经过第一生成器T与第二生成器S生成标签为“假”的矫正图像和拍摄图像，再将标签为“假”的矫正图像和拍摄图像依次输入给第一鉴别器与其辅助鉴别器组Q
L
与第二鉴别器与其辅助鉴别器组Q
K
分别得到鉴定结果，将此鉴定结果都与标签
‘
假
’
做绝对值损失得到鉴别器的“假”损失值；再将矫正图像和拍摄图像直接输入到第一鉴别器与其辅助鉴别器组Q
L
与第二鉴别器与其辅助鉴别器组Q
K
中得到鉴定结果，将此鉴定结果与标签“真”做绝对值损失得到鉴别器的“真”损失值；“真”损失值与“假”损失值相加，得到鉴别器的全部损失值，通过全部损失值更新鉴别器的参数，完成鉴别器训练；
[0019](3.2)训练生成器：
[0020]将已有的矫正图像与拍摄图像、固定生成器参数和开放鉴别器参数，依次经过第一生成器T与第二生成器S生成标签为“假”的矫正图像和拍摄图像，利用矫正图像与拍摄图像、标签为“假”的矫正图像和拍摄图像以及其的还原图像进行计算分别得到生成器的损失后，对两个生成器的参数进行更新即完成了第一生成器的训练；
[0021]采集第一生成器T和第二鉴别器与其辅助鉴别器组Q
K
的对抗样本损失L
n
(T,Q
K
)；第二生成器S和第一鉴别器与其辅助鉴别器组Q
L
的对抗样本损失L
n
(S,Q
L
)；采集第一生成器T与第二生成器S循环一致损失L
p
(T,S)；采集第一生成器T与第二生成器S生成图像的ID损失L
id
(T,S)；采集第一生成器T与第二生成器S的风格损失L
fgl
(T,S)；采集第一生成器T与第二生成器S的结构相似性损失L
FF
(T,S)；采集第一生成器T与第二生成器S的总变差损失L
GI
(T,S)；
[0022]计算图像颜色恢复网络的整体损失函数：
[0023]L(T,S,Q
L
,Q
K
)＝α[L
n
(T,Q
K
)+L
n
(S,Q
L
)]+ξL
p
(T,S)+βL
id
(T,S)+οL
fgl
(T,S)+γL
FF
(T,S)+πL
GI
(T,S)；
[0024]其中，α为对抗样本损失权重系数,ξ为循环一致损失权重系数，β为ID损失权重系数，ο为风格损失权重系数，γ为结构相似性损失权重系数，π为总变差损失权重系数。
[0025]计算退化结构相似性损失：
[0026][0027]k、l分别表示源域的拍摄图像与目标域的矫正图像；ω、δ分别表示图像的均值和标准差；P1、P2分别表示第一生成器T与第二生成器S的设置参数。
[0028](3.3)不断循环步骤(3.1)和(3.2)，直至鉴别器无法区分输入图像是真还是假，即完成图像颜色恢复网络训练。
[0029]本专利技术的有益效果在于：
[0030]本专利技术依赖神经网络，结合中间传输图像，融合风格损失与结构相似性损失，实现
对具有严重颜色畸变图像的颜色准确恢复。本专利技术利用真是图像的中间传输图像向无监督网络提供矫正指标从而能够更加准确的恢复矫正图像的颜色。本方法可以从具有严重色调失真图片中很好的恢复图像的颜色，通过循环生成对抗网络进行学习，实现拍摄图像颜色的准确还原。通过本方法可以摆脱深度学习技术对于成对训练数据的依赖，而且还能保证快速性和准确性，满足网络视频拍摄颜色补偿的需求。
附图说明
[0031]图1为本专利技术流程图。
具体实施方式
[0032]下面结合附图对本专利技术做进一步描述。
[0033]本方法首先拍摄图像利用红通道的先验方法估计出中间传输图像，中间传输图像中具有着拍摄图像颜色畸变的重要信息。当光线进行传播时，波长最长的红光衰减最快，后面依次是绿光与蓝光，拍摄图像颜色畸变通常是呈现出绿色调或者是蓝色调。得到拍摄图像及其中间传输图像后，利用编码解码神经网络进行训练。将编码解码神经网络固定参数，用于向无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于网络社交平台颜色畸变的网络视频恢复方法，其特征在于，包括如下步骤：(1)进行视频图像的中间传输图像估计；(2)将视频图像输入，将中间传输图像作为标签，进行编码解码网络自监督网络训练，得到编码解码网络自监督网络的固定参数；(3)将步骤(2)的固定参数插入到视频图像颜色恢复网络，进行训练；(4)将训练后的视频图像颜色恢复网络中的第一生成器T提取出来，用于视频图像颜色的恢复。2.根据权利要求1所述的一种用于网络社交平台颜色畸变的网络视频恢复方法，其特征在于，所述步骤(1)包括：确定红通道与蓝、绿通道的最大差异：V
p
表示通道p属于红、蓝、绿的像素值，ν为图像中的块；中间传输图像为：3.根据权利要求1所述的一种用于网络社交平台颜色畸变的网络视频恢复方法，其特征在于，所述视频图像颜色恢复网络由2个生成器与2个鉴别器组组成，其中第一生成器T生成视频图像，设置固定参数的编码解码网络自监督网络位于所述第一生成器T的上部，设置在中间层中加入三层深度可分离卷积的固定参数的编码解码网络自监督网络位于所述第一生成器T的上部；第二生成器S通过视频图像生成矫正图像；第一鉴别器与其辅助鉴别器组Q
L
，鉴定视频图像是否为拍摄图像；第二鉴别器与其辅助鉴别器组Q
K
，鉴定矫正图像是否为真实。4.根据权利要求1所述的一种用于网络社交平台颜色畸变的网络视频恢复方法，所述进行训练的过程为：(3.1)训练鉴别器；将已有的矫正图像与拍摄图像、固定生成器参数和开放鉴别器参数，依次经过第一生成器T与第二生成器S生成标签为“假”的矫正图像和拍摄图像，再将标签为“假”的矫正图像和拍摄图像依次输入给第一鉴别器与其辅助鉴别器组Q
L
与第二鉴别器与其辅助鉴别器组Q
K
分别得到鉴定结果，将此鉴定结果都与标签
‘
假
’
做绝对值损失得到鉴别器的“假”损失值；再将矫正图像和拍摄图像直接输入到第一鉴别器与其辅助鉴别器组Q
L
与第二鉴别器与其辅助鉴别器组Q
K
中得到鉴定结果，将此鉴定结果与标签“真”做绝对值损失得到鉴别器的“真”损失值；“真”损失值与“假”损失值相加，得到鉴别器的全部损失值，通过全部损失值更新鉴别器的参数，完成鉴别器训练；(...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：