暗光视频增强方法及装置制造方法及图纸

本发明专利技术提供一种暗光视频增强方法及装置，所述方法包括：获取待处理的连续N个视频帧V

【技术实现步骤摘要】
暗光视频增强方法及装置


[0001]本专利技术属于视频处理
，尤其涉及一种暗光视频增强方法 及装置。

技术介绍

[0002]受限于客观世界光照条件不足以及拍摄设备性能有限，暗光视频 在真实世界中无处不在。
[0003]暗光视频亮度低，充满噪音、模糊等退化信息，难以表达真实被 摄场景信息，可利用价值低，客观上限制了应用场景，相关技术通常 利用伽马校正与Retinex方法等处理技术进行暗光视频增强，但是在 增强过程中无法感知输入的视频特征，容易造成过增强或者增强结果 不自然等问题，而利用基于机器学习的方法进行视频增强时，手工设 计的算子不能准确的表达真实世界的暗光视频信息，导致视频增强结 果的鲁棒性较差，上述问题都降低了视频单帧的增强效果，导致视频 增强的效果较差。

技术实现思路

[0004]本专利技术提供的一种暗光视频增强方法及装置，用以解决现有技术 进行暗光视频增强时因手工设计的算子并不能准确的表达真实世界 的暗光视频信息，导致暗光视频增强的鲁棒性较差的缺陷，提升了暗 光视频的增强效果。
[0005]本专利技术提供一种暗光视频增强方法，该方法包括：
[0006]获取待处理的连续N个视频帧V
i
，其中，1≤i≤N，且i为自然 数，N为大于1的自然数；
[0007]将所述N个视频帧V
i
中任意连续的两个视频帧V
t
‑1和V
t
输入至 目标视频增强模型，得到所述目标视频增强模型输出的与视频帧V/>t
对应的增强视频帧O
t
，t为大于1的自然数；
[0008]其中，所述目标视频增强模型通过与孪生增强模型联合训练得到， 所述目标视频增强模型为以两个连续样本视频帧V
j
‑1和V
j
为样本，以 与所述样本视频帧V
j
对应的样本标签训练得到，所述孪生增强模型 为以连续的两个样本视频帧V
′
j
‑1和V
j
为样本，以与所述样本视频帧 V
j
‑1对应的样本标签训练得到，所述样本视频帧V
′
j
‑1为所述样本视频 帧V
j
‑1融合所述样本视频帧V
j
‑1和V
j
之间的光流信息得到，其中，j为 大于1的自然数。
[0009]根据本专利技术提供的一种暗光视频增强方法，所述样本视频帧V
′
j
‑1通过如下步骤确定：
[0010]对所述样本视频帧V
j
‑1和V
j
进行处理，得到V
j
‑1和V
j
之间的光流 图
[0011]融合所述光流图与样本视频帧V
j
，得到样本融合帧V
′
j
‑1。
[0012]根据本专利技术提供的一种暗光视频增强方法，所述目标视频增强模 型通过如下步骤确定：
[0013]将样本视频帧V
j
‑1和V
j
以及与V
j
对应的样本标签输入到预设的 第一有监督模型中进行训练，同时将样本视频帧V
′
j
‑1和V
j
以及与V
′
j
‑1对应的样本标签输入到预设的第二有监
督模型中进行训练，其中，所 述第一有监督模型和所述第二有监督模型为相同的深度网络和损失 函数确定；所述第一有监督模型和所述第二有监督模型在训练时的权 重为共享权重；
[0014]当所述损失函数收敛时，将训练后的第一有监督模型作为所述目 标视频增强模型，将训练后第二有监督模型作为所述孪生增强模型。
[0015]根据本专利技术提供的一种暗光视频增强方法，所述第一有监督模型 和所述第二有监督模型均由相同的多尺度网络确定，所述多尺度网络 包括特征编码层和权重重分配层；
[0016]其中，所述特征编码层用于从输入至所述多尺度网络的样本视频 帧中获取全局特征，所述权重重分配层用于将所述全局特征进行分配， 以完成各所述多尺度网络之间的权重重分配。
[0017]根据本专利技术提供的一种暗光视频增强方法，所述第一有监督模型 和所述第二有监督模型为基于时序一致性损失函数和图像质量损失 函数确定。
[0018]根据本专利技术提供的一种暗光视频增强方法，所述第一有监督模型 和所述第二有监督模型的损失函数为：
[0019][0020]其中，是结构相似性损失函数，用于表示不同图像之间的相似 性，ω
s
为的系数；是感知质量损失函数，用于计算样本中监督 集和训练集的距离，ω
p
为的系数；是光滑损失函数，用于表示 输出图像的光滑程度，ω
h
为的系数；是总变分损失函数，用于 表示相邻像素的总变分，ω
tv
为的系数；是颜色损失函数，用于 表示对图像中颜色的约束程度，ω
c
为的系数；是时序一致性 损失函数，用于表示视频帧之间的时序一致性程度，λ为的系 数。
[0021]根据本专利技术提供的一种暗光视频增强方法，所述样本视频帧包括 暗光视频数据和标准视频数据，所述目标视频增强模型与所述孪生增 强模型的样本视频帧通过如下步骤进行预处理：
[0022]利用随机水平翻转、垂直翻转以及旋转操作对所述暗光视频数据 进行数据扩充，并将扩充后的暗光视频数据和标准视频数据的分辨率 调整至目标范围。
[0023]本专利技术还提供一种视频增强装置，包括：
[0024]视频获取模块，用于获取待处理的连续N个视频帧V
i
，其中， 1≤i≤N，且i为自然数，N为大于1的自然数；
[0025]视频增强模块，用于将所述N个视频帧V
i
中任意连续的两个视 频帧V
t
‑1和V
t
输入至目标视频增强模型，得到所述目标视频增强模型 输出的与视频帧V
t
对应的增强视频帧O
t
，t为大于1的自然数；
[0026]其中，所述目标视频增强模型通过与孪生增强模型联合训练得到， 所述目标视频增强模型为以两个连续样本视频帧V
j
‑1和V
j
为样本，以 与所述样本视频帧V
j
对应的样本标签训练得到，所述孪生增强模型 为以连续的两个样本视频帧V
′
j
‑1和V
j
为样本，以与所述样本视频帧 V
j
‑1对应的样本标签训练得到，所述样本视频帧V
′
j
‑1为所述样本视频 帧V
j
‑1融合所述样本视频帧V
j
‑1和V
j
之间的光流信息得到，其中，j为 大于1的自然数。
[0027]本专利技术还提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种暗光视频增强方法，其特征在于，所述方法包括：获取待处理的连续N个视频帧V
i
，其中，1≤i≤N，且i为自然数，N为大于1的自然数；将所述N个视频帧V
i
中任意连续的两个视频帧V
t
‑1和V
t
输入至目标视频增强模型，得到所述目标视频增强模型输出的与视频帧V
t
对应的增强视频帧O
t
，t为大于1的自然数；其中，所述目标视频增强模型通过与孪生增强模型联合训练得到，所述目标视频增强模型为以两个连续样本视频帧V
j
‑1和V
j
为样本，以与所述样本视频帧V
j
对应的样本标签训练得到，所述孪生增强模型为以连续的两个样本视频帧V
′
j
‑1和V
j
为样本，以与所述样本视频帧V
j
‑1对应的样本标签训练得到，所述样本视频帧V
′
j
‑1为所述样本视频帧V
j
‑1融合所述样本视频帧V
j
‑1和V
j
之间的光流信息得到，其中，j为大于1的自然数。2.根据权利要求1所述的暗光视频增强方法，其特征在于，所述样本视频帧V
′
j
‑1通过如下步骤确定：对所述样本视频帧V
j
‑1和V
j
进行处理，得到V
j
‑1和V
j
之间的光流图融合所述光流图与样本视频帧V
j
，得到样本融合帧V
′
j
‑1。3.根据权利要求1所述的暗光视频增强方法，其特征在于，所述目标视频增强模型通过如下步骤确定：将样本视频帧V
j
‑1和V
j
以及与V
j
对应的样本标签输入到预设的第一有监督模型中进行训练，同时将样本视频帧V
′
j
‑1和V
j
以及与V
′
j
‑1对应的样本标签输入到预设的第二有监督模型中进行训练，其中，所述第一有监督模型和所述第二有监督模型为相同的深度网络和损失函数确定；所述第一有监督模型和所述第二有监督模型在训练时的权重为共享权重；当所述损失函数收敛时，将训练后的第一有监督模型作为所述目标视频增强模型，将训练后第二有监督模型作为所述孪生增强模型。4.根据权利要求3所述的暗光视频增强方法，其特征在于，所述第一有监督模型和所述第二有监督模型均由相同的多尺度网络确定，所述多尺度网络包括特征编码层和权重重分配层；其中，所述特征编码层用于从输入至所述多尺度网络的样本视频帧中获取全局特征，所述权重重分配层用于将所述全局特征进行分配，以完成各所述多尺度网络之间的权重重分配。5.根据权利...

【专利技术属性】
技术研发人员：林诗登，唐帆，董未名，沈思成，潘兴甲，徐常胜，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：