一种视频对比度增强方法及系统技术方案

本发明专利技术是一种一种视频对比度增强方法及系统，特别是基于自监督学习的视频对比度增强算法，利用无监督图像质量评价模型引导训练视频对比度增强算法模型，本发明专利技术可在cpu上实现实时的视频对比度增强。本发明专利技术受图像直方图均衡化算法的启发，设计了一种自适应的灰度映射机制，利用无监督图像质量评价模型作为引导，回归得到了Map映射矩阵；根据不同的图像，会得到不同Map映射矩阵用于视频对比度增强，无需人为干预，在算法的使用上特别友好。在算法的使用上特别友好。在算法的使用上特别友好。

【技术实现步骤摘要】
一种视频对比度增强方法及系统


[0001]本专利技术涉及一种视频处理技术，尤其涉及一种视频对比度增强方法及系统。

技术介绍

[0002]现有的关于视频对比度增强的算法，主要是对图像的Y分量数据进行某种操作，实现图像的对比度的增强，一般有直方图均衡化、伽马变换以及对图像数据乘以一个常数等等的方法。这些方法依赖于人为对于参数的设置，不能很好的适用于各个场景，在算法的使用上存在不友好性。
[0003]基于深度学习的方法可分为基于无监督和有监督两类，自监督方法属于无监督的一种。在基于深度学习的有监督方法中，往往需要成对的低照度图像和正常照度图像进行训练，该类方法一般可以很好的抑制增强结果中的噪声。在202010097457.4中公开了一种基于深度学习的自监督低照度图像增强方法，它包括以下步骤：将待增强低照度图像输入图像增强网络；所述的图像增强网络的输入为低照度图像S及其最大值通道图像Smax，S为M*N*3的矩阵，M为行数，N为列数，3为{r,g,b}三个颜色通道，Smax通过取三个颜色通道中的最大值得到，为M*N*1的矩阵，将S和Smax合并为M*N*4的矩阵作为网络的输入：图像增强网络输出的反射图像R即为增强后图像。图像增强网络结构如下：输入分别输入第一卷积层和第二卷积层，第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层；第一卷积层连接第三卷积单元，所述第三卷积单元为3*3的卷积层后连接一个ReLU层；第三卷积单元连接第四卷积单元，第四卷积单元连接第五卷积单元，第五卷积单元连接第六卷积单元，第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层；第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元，第七卷积单元为3*3的卷积层后连接一个ReLU层；第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积层，第八卷积层连接第九卷积层，第八卷积层、第九卷积层均为3*3的卷积层；第九卷积层连接一个Sigmoid激活函数层；Sigmoid激活函数层连接输出层，输出为反射图像R和照度图像I。
[0004]图像增强网络为训练好的图像增强网络，所述的训练过程如下：
[0005]A1、采集任意n张低照度图像，n＞＝1，构建训练数据集；A2、对于训练数据集中每一张低照度图像S，提取其对应的最大值通道图像Smax，利用直方图均衡化对Smax进行处理，得到直方图均衡化后最大值通道图像SHe_max；A3、以直方图均衡化后最大值通道图像SHe_max作为监督，结合Retinex理论和照度图像I平滑的假设构建损失函数，训练图像增强网络。
[0006]这种处理的结果直接受训练影响，并且不能很好的适用于各个场景，在算法的使用上存在不友好性。

技术实现思路

[0007]本专利技术提供一种视频对比度增强方法及系统，以解决现有技术中不能很好的适用
于各个场景，在算法的使用上存在不友好性的技术问题。
[0008]一种视频对比度增强方法，包括：
[0009]S1:通过深度神经网络学习得到模型权重weights[1024][256]；
[0010]S2:获得Map映射矩阵，其进一步包括：通过所述模型权重weights[1024][256]计算得到Map映射矩阵Map[1024]，并将Map映射矩阵Map[1024]从小到大排序，后每四位求平均，得到最终的Map[256]；
[0011][0012]histY[k]是在Y分量上计算直方图；
[0013]S3:获得待处理图像的当前YCbCr数据，并从中获得Y分量数据，根据步骤S2的Map映射矩阵，得到后视频对比度增强之后的图像的Y分量当前数据y：
[0014]y＝Map[x]ꢀꢀꢀꢀꢀ
x∈[0,255][0015]其中x是输入视频的Y分量数据.
[0016]本专利技术还包括：
[0017]S4:采用L1loss和IQAloss有效的监督学习方式；
[0018][0019]其中函数F的表达式如下：
[0020][0021]N表示图像Y分量像素的个数；T是一个常数；iqa表示无参考图像质量评价模型。
[0022]本专利技术是一种基于自监督学习的视频对比度增强算法，利用无监督图像质量评价模型引导训练视频对比度增强算法模型，本专利技术可在cpu上实现实时的视频对比度增强。本专利技术受图像直方图均衡化算法的启发，设计了一种自适应的灰度映射机制，利用无监督图像质量评价模型作为引导，回归得到了Map映射矩阵；根据不同的图像，会得到不同Map映射矩阵用于视频对比度增强，无需人为干预，在算法的使用上特别友好。
附图说明
[0023]图1为一种视频对比度增强方法的原理流程图。
具体实施方式
[0024]以下结合附图，具体说明本专利技术。
[0025]本申请人发现，直方图均衡化是将灰度值分布动态范围偏小的图像(如灰度值集中在直方图右部，此时图像过于明亮)扩大其动态范围，改变后的图像的灰度级数有可能降低。表1中已知条件有：共有灰度级个数为8，原始图像的每一级对应的分布概率为p
s
(s
k
)，经
过直方图均衡化之后，灰度级0映射到1，灰度级1映射到3，灰度级2映射到5，灰度级3、4映射到6，灰度级5、6、7映射到7。由此可见，直方图均衡化算法使得图像的灰度级从0,1,2,3,4,5,6,7这8个灰度级缩少到1,3,5,6,7这5个灰度级，从数值上不难看出，图像的某些局部的对比度一定是得到了加强。
[0026]表1直方图均衡化计算流程
[0027][0028]而对比度增强算法是对于YUV420p的视频，其亮度分量为y，根据公式可以得到调整之后的亮度分量y
′
：
[0029]y
′
＝α
·
(y
‑
127)+127+β
·
255
[0030]其中y取值范围为[0，255]；α是对比度增强因子，
[0031]如何在视频对比度增强算法中不用设计各个参数？为此，本申请人参阅直方图均衡化对视频对比度增强方法进行改进，如图1所示。
[0032]一种视频对比度增强方法，包括：
[0033]S110：通过深度神经网络学习得到模型权重weights[1024][256]；
[0034]S120：获得Map映射矩阵，其进一步包括：通过所述模型权重weights[1024][256]计算得到Map映射矩阵Map[1024]，并将Map映射矩阵Map[1024]从小到大排序，后每四位求平均，得到最终的Map[256]；
[0035][0036]histY[k]是在Y分量上计算直方图；
[0037]S130：获得待处理图像的当前YCbCr数据，并从中获得Y分量数据，根据步骤S2的Map映射矩阵，得到后视频对比度增强之后的图像的Y分量当前数据y：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频对比度增强方法，其特征在于：包括：S1:通过深度神经网络学习得到模型权重weights[1024][256]；S2:获得Map映射矩阵，其进一步包括：通过所述模型权重weights[1024][256]计算得到Map映射矩阵Map[1024]，并将Map映射矩阵Map[1024]从小到大排序，后每四位求平均，得到最终的Map[256]；histY[k]是在Y分量上计算直方图；S3:获得待处理图像的当前YCbCr数据，并从中获得Y分量数据，根据步骤S2的Map映射矩阵，得到后视频对比度增强之后的图像的Y分量当前数据y：y＝Map[x] x∈[0,255]其中x是输入视频的Y分量数据。2.如权利要求1所述的方法，其特征在于，还包括：S4:采用L1loss和IQAloss有效的监督学习方式；其中函数F的表达式如下：N表示图像Y分量像素的个数；T是一个常数；iqa表示无参考图像质量评价模型。3.如权利要求2所述的方法，其特征在于，在模型训练中T设置为0.0784。4.如权利要求1所述的方法，其特征在于，还包括：学习有效性的方式是L1loss，下面是L1loss指标的计算公式：其中N表示图像单个通道像素的个数；U
gt
表示fiveK开源数据集中GT的U分量数据；V
gt
表示fiveK开源数据集中GT的V分量数据；U
′
表示模型训练过程输出的预测数据集中的U分量；V
′
表示模型训练过程输出的预测数据集中的V分量；这一部分是模型训练的最外层框架，用于判断训练结果是否达到最佳效果，这里使用了模型的预测数据，通过预测数据和源数据进行L1Loss的一个计算，当L1Loss的变化一直稳定在预设变化范围内，认为训练已经达到效果，这里的预测数据是指计算的是Y分量，在Y分量上计算直方图histY[256]，训练的模型也是一个线性模型，通过应用pytorch.nn.linear来进行训练,其工作原理就是输入一个维度为256维度的Y分量直方图数据，经过线性变化，得到Y分量的模型权...

【专利技术属性】
技术研发人员：唐杰，朱运平，张聪聪，李庆瑜，戴立言，
申请(专利权)人：上海网达软件股份有限公司，
类型：发明
国别省市：