一种低照度视频增强方法及系统技术方案

本发明专利技术公开了一种低照度视频增强方法及系统，属于图像处理技术领域，方法包括：获取不同类别的初始视频，提取正常光视频帧序列，并通过正常光视频序列生成低照度视频序列；将两个序列作为一组对比视频帧序列，构造包含多组对比视频帧序列的低照度视频数据集，并将低照度视频数据集按照预设比例划分为训练集、验证集和测试集；结合自注意力机制和卷积原理，构造低照度视频增强网络模型；采用孪生网络结构，对低照度视频增强网络模型进行训练，训练时损失函数采用一致性损失、重构损失、SSIM损失和颜色损失；将测试集中的低照度视频帧序列输入至训练后得到的低照度视频增强网络模型，得到增强视频帧序列。得到增强视频帧序列。得到增强视频帧序列。

【技术实现步骤摘要】
一种低照度视频增强方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种低照度视频增强方法及系统。

技术介绍

[0002]低照度视频增强是指通过图像处理技术和算法，提高在低光条件下拍摄的视频的可见性和质量。在低照度环境下，由于光线不足，拍摄的视频可能出现暗影、噪声、低对比度等问题，导致图像细节难以辨别。低照度视频增强的目标是改善这些问题，使得视频更加明亮、清晰，并突出细节。低照度视频增强在很多领域都有应用，包括夜间监控、无人驾驶、计算摄影等。通过提高低照度视频的质量，可以改善图像的识别和分析能力，提升系统的性能和可靠性。
[0003]近年来深度学习方法在低照度视频增强中取得了显著的进展。通过使用深度神经网络，可以学习低照度图像与正常光图像之间的映射关系，生成更具可见性的图像。但是现有的低照度视频增强技术受限于用于训练的数据集规模和多样性，没有足够的不均匀曝光弱光视频和正常光视频对，使网络难以学习到不均匀曝光弱光视频到正常光视频的映射关系，而且现有技术主要针对光照均匀的低照度视频进行增强，没有设计针对含有不均匀曝光的弱光视频的网络模型，在处理含有不均匀曝光的视频时，可能会过度增强过曝光区域，造成过曝光区域细节丢失。
[0004]由于现有技术中用于训练的数据集规模和多样性存在限制，没有足够的不均匀曝光弱光视频和正常光视频对，使网络难以学习到不均匀曝光弱光视频到正常光视频的映射关系。此外，对于含有不均匀曝光的弱光视频，缺乏专门针对此类视频的网络模型的设计，因此在处理这类视频时，可能会过度增强过曝光区域，导致细节丢失。

技术实现思路

[0005]本专利技术旨在解决现有技术在低照度视频增强方面存在的问题。现有技术中用于训练的数据集规模和多样性存在限制，没有足够的不均匀曝光弱光视频和正常光视频对，使网络难以学习到不均匀曝光弱光视频到正常光视频的映射关系。此外，对于含有不均匀曝光的弱光视频，缺乏专门针对此类视频的网络模型的设计，因此在处理这类视频时，可能会过度增强过曝光区域，导致细节丢失的问题。针对这些问题，本专利技术提供了一种低照度视频增强方法及系统。
[0006]第一方面
[0007]本专利技术提供一种低照度视频增强方法，应用于低照度视频增强系统，包括：
[0008]S101：获取不同类别的初始视频，从初始视频中提取正常光视频帧序列，并通过所述正常光视频序列生成低照度视频序列，其中，类别包括场景、时间、曝光强度；
[0009]S102：将正常光视频帧序列和与正常光视频帧序列对应的低照度视频帧序列作为一组对比视频帧序列，构造包含多组对比视频帧序列的低照度视频数据集，并将低照度视频数据集按照预设比例划分为训练集、验证集和测试集；
[0010]S103：结合自注意力机制和卷积原理，构造低照度视频增强网络模型，其中，低照度视频增强网络模型包括第一卷积层、第二卷积层、步长为2的第三卷积层、自适应特征提取模块和depth_to_space层，其中，自适应特征提取模块包括依次连接的第一自适应特征提取模块至第七自适应特征提取模块，每个自适应特征提取模块由局部特征提取模块、自注意力模块和特征融合模块依次连接组成，同时，局部特征提取模块和特征融合模块之间建立一个残差连接，其中，第一自适应特征提取模块和第五自适应特征提取模块、第二自适应特征提取模块和第六自适应特征提取模块、第三自适应特征提取模块和第七自适应特征提取模块均为跳跃连接，第三卷积层与第一自适应特征提取模块的局部特征提取模块连接，第七自适应特征提取模块的特征融合模块与depth_to_space层连接；
[0011]S104：从训练集中选取对比视频帧序列，采用孪生网络结构，将低照度视频帧序列中的第N
‑
1、N、N+1和N
‑
2、N、N+2帧图像作为输入图像分别输入至两个相同且共享权重的低照度视频增强网络模型，对低照度视频增强网络模型进行训练，训练中使用正常光视频帧序列的第N帧作为标准视频帧，训练时的损失函数使用一致性损失、重构损失、SSIM损失和颜色损失；
[0012]S105：将测试集中的对比视频帧序列输入至训练后得到的低照度视频增强网络模型，得到增强视频帧序列。
[0013]第二方面
[0014]本专利技术提供一种低照度视频增强系统，包括：
[0015]获取模块，用于获取不同类别的初始视频，从初始视频中提取正常光视频帧序列，并通过所述正常光视频序列生成低照度视频序列，其中，类别包括场景、时间、曝光强度；
[0016]第一构造模块，用于将正常光视频帧序列和与正常光视频帧序列对应的低照度视频帧序列作为一组对比视频帧序列，构造包含多组对比视频帧序列的低照度视频数据集，并将低照度视频数据集按照预设比例划分为训练集、验证集和测试集；
[0017]第二构造模块，用于结合自注意力机制和卷积原理，构造低照度视频增强网络模型，其中，低照度视频增强网络模型包括第一卷积层、第二卷积层、步长为2的第三卷积层、自适应特征提取模块和depth_to_space层，其中，自适应特征提取模块包括依次连接的第一自适应特征提取模块至第七自适应特征提取模块，每个自适应特征提取模块由局部特征提取模块、自注意力模块和特征融合模块依次连接组成，同时，局部特征提取模块和特征融合模块之间建立一个残差连接，其中，第一自适应特征提取模块和第五自适应特征提取模块、第二自适应特征提取模块和第六自适应特征提取模块、第三自适应特征提取模块和第七自适应特征提取模块均为跳跃连接，第三卷积层与第一自适应特征提取模块的局部特征提取模块连接，第七自适应特征提取模块的特征融合模块与depth_to_space层连接；
[0018]训练模块，用于从训练集中选取低照度视频帧序列，采用孪生网络结构，将低照度视频帧序列中的第N
‑
1、N、N+1和N
‑
2、N、N+2帧图像作为输入图像分别输入至两个相同的低照度视频增强网络模型，对低照度视频增强网络模型进行训练，训练中使用正常光视频帧序列的第N帧作为标准视频帧，训练时的损失函数使用一致性损失、重构损失、SSIM损失和颜色损失；
[0019]输入模块，用于将测试集中的对比视频帧序列输入至训练后得到的低照度视频增强网络模型，得到增强视频帧序列。
[0020]与现有技术相比，本专利技术至少具有以下有益效果：
[0021]在本专利技术中，通过采集不同类别的初始视频，并提取出正常光视频帧序列和生成相对应的低照度视频帧序列，组成包括多个场景，不同时间，不同曝光强度的低照度视频数据集作为数据集，对于构造的低照度视频增强网络模型的训练效果，大规模的数据集，能提升视频增强能力，降低在处理新的输入数据时产生过拟合或欠拟合的概率，增强模型泛化能力。此外，低照度视频增强网络模型的构建结合了自注意力机制和卷积原理，每一层自注意力模块的输出特征图和该自注意力模块前一层的局部特征提取模块的特征图进行通道方向上的连接后作为特征融合模块的输入，增强网络反向传播能力，以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低照度视频增强方法，应用于低照度视频增强系统，其特征在于，包括：S101：获取不同类别的初始视频，从所述初始视频中提取正常光视频帧序列，并通过所述正常光视频序列生成低照度视频序列，其中，所述类别包括场景、时间、曝光强度；S102：将所述正常光视频帧序列和所述与所述正常光视频帧序列对应的低照度视频帧序列作为一组对比视频帧序列，构造包含多组对比视频帧序列的低照度视频数据集，并将所述低照度视频数据集按照预设比例划分为训练集、验证集和测试集；S103：结合自注意力机制和卷积原理，构造低照度视频增强网络模型，其中，所述低照度视频增强网络模型包括第一卷积层、第二卷积层、步长为2的第三卷积层、自适应特征提取模块和depth_to_space层，其中，所述自适应特征提取模块包括依次连接的第一自适应特征提取模块至第七自适应特征提取模块，每个所述自适应特征提取模块由局部特征提取模块、自注意力模块和特征融合模块依次连接组成，同时，局部特征提取模块和特征融合模块之间建立一个残差连接，其中，所述第一自适应特征提取模块和所述第五自适应特征提取模块、所述第二自适应特征提取模块和所述第六自适应特征提取模块、所述第三自适应特征提取模块和所述第七自适应特征提取模块均为跳跃连接，所述第三卷积层与所述第一自适应特征提取模块的局部特征提取模块连接，所述第七自适应特征提取模块的特征融合模块与所述depth_to_space层连接；S104：从所述训练集中选取所述对比视频帧序列，采用孪生网络结构，将所述低照度视频帧序列中的第N
‑
1、N、N+1和N
‑
2、N、N+2帧图像作为输入图像分别输入至两个相同且共享权重的所述低照度视频增强网络模型，对所述低照度视频增强网络模型进行训练，训练中使用所述正常光视频帧序列的第N帧作为标准视频帧，训练时的损失函数使用一致性损失、重构损失、SSIM损失和颜色损失；S105：将所述测试集中的对比视频帧序列输入至训练后得到的低照度视频增强网络模型，得到增强视频帧序列。2.根据权利要求1所述的低照度视频增强方法，其特征在于，所述S101具体包括：S1011：拍摄不同类别的所述初始视频并转化成对应的初始视频帧序列；S1012：从所述初始视频帧序列中抽取多个视频帧，计算各所述视频帧的像素亮度和颜色熵的平均值；S1013：从所述原始视频帧序列中选择符合预设亮度阈值和预设颜色熵阈值的正常光视频帧序列；S1014：调整所述正常光视频帧序列的大小；S1015：将调整后得到的视频帧序列进行数据增强处理，获得第一预设数量的视频帧序列，其中，每个所述视频帧序列包括第二预设数量的帧数；S1016：对数据增强后得到的所述视频帧序列进行调暗处理，获取与所述视频帧序列相对应的低照度视频帧序列。3.根据权利要求2所述的低照度视频增强方法，其特征在于，所述S1016具体包括：S1016A：通过自适应阈值法确定含有过曝光区域的视频帧序列的过曝光区域阈值；S1016B：根据所述过曝光区域阈值生成过曝光区域的蒙版，利用所述蒙版提取出每一视频帧的过曝光区域；S1016C：通过自适应直方图均衡方法降低所述过曝光区域的过曝光程度，最后将处理
后的过曝光区域重新赋值回原视频帧中，减弱其过曝光效果，得到处理后的含有过曝光区域的视频帧序列；S1016D：添加高斯、椒盐噪声模拟所述低照度视频中的噪声，通过gamma变换同时对所述处理后的含有过曝光区域的视频帧序列和所述均匀曝光视频帧序列进行调暗。4.根据权利要求1所述的低照度视频增强方法，其特征在于，所述S102具体包括：S1021：将调整后的低照度视频帧序列和所述正常光视频序列进行配对，得到所述低照度视频增强数据集；S1022：将所述低照度视频增强数据集按7：2：1的比例划分为所述训练集、所述验证集和所述测试集。5.根据权利要求1所述的低照度视频增强方法，其特征在于，所述特征融合模块由归一化层、第一1
×
1卷积模块、第一卷积残差模块、第二1
×
1卷积模块、第二卷积残差模块和第...

【专利技术属性】
技术研发人员：杨羊，竺钰成，刘占豪，蒋国庆，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：