一种视频去雾的方法技术

本申请涉及一种视频去雾的方法

【技术实现步骤摘要】
一种视频去雾的方法、装置、计算机设备、存储介质


[0001]本申请涉及图像处理
，特别是涉及一种视频去雾的方法
、
装置
、
计算机设备
、
存储介质
。

技术介绍

[0002]雾霾是陆地和海洋上常见的现象，在雾霾天气里，大气中有许多相当大的颗粒，不仅会吸收和散射场景中的反射光，还会将一些大气光散射到相机上
。
在雾霾天气下，视觉系统获取的视频和图像会严重退化，影响目标的检测
、
跟踪和识别
。
[0003]随着计算机技术的发展，视频和图像的去雾算法收到了广泛的关注，对图像进行特征提取
、
目标跟踪和目标识别
。
但是，现有的去雾算法在恢复图像细节的同时，往往引入了一定程度的感知失真
。
这可能表现为图像变得过于平滑或出现边缘模糊等现象，影响了图像的视觉质量
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供了一种视频去雾的方法
、
装置
、
计算机设备
、
存储介质
。
[0005]第一方面，本申请提供了一种视频去雾的方法
。
所述方法包括：获取待去雾视频，对所述待去雾视频进行二值化处理，得到每一个图像帧的亮度直方图，其中，所述待去雾视频由连续的图像帧构成；基于所述图像帧对应的聚散熵将所述待去雾视频分割为多个子视频，所述聚散熵是基于所述亮度直方图
、
图像帧的像素点数计算得到的；对所述子视频中的图像帧进行相似度计算，得到所述相似度符合相似度阈值的关键帧；将所述关键帧输入至目标检测模型，得到包含雾霾的关键帧；将所述包含雾霾的关键帧输入至图像去雾模型中，得到去雾后的关键帧，所述图像去雾模型是基于图像降噪和图像超分辨率重建的原则构建得到的；基于所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧，得到关联参数；基于所述关联参数计算其他包含雾霾的关键帧，得到所有的去雾后的关键帧，将所述去雾后的关键帧与不包含雾霾的关键帧拼接，得到去雾后的视频
。
[0006]在其中一个实施例中，所述基于所述图像帧对应的聚散熵将所述待去雾视频分割为多个子视频包括：基于所述亮度直方图得到像素点在某一位置出现的概率值；基于所述概率值
、
像素点数，计算得到所述图像帧对应的聚散熵；基于所述聚散熵的变化规律将所述待去雾视频分割为多个子视频，其中，所述聚散熵在
0~1
之间变化
。
[0007]在其中一个实施例中，所述对所述子视频中的图像帧进行相似度计算，得到所述
相似度符合相似度阈值的关键帧包括：选取任一图像帧作为关键帧；将所述视频中的当前图像帧与关键帧使用相位相关法计算得到当前图像帧与关键帧之间的相关系数；当所述相关系数大于相关系数阈值时，确定所述当前图像帧为非旋转状态；将该当前图像帧与所述关键帧使用相位相关法计算得到当前图像帧相对关键帧的位移矢量；当所述位移矢量大于所述位移矢量阈值时，将所述当前图像帧作为关键帧
。
[0008]在其中一个实施例中，所述将所述关键帧输入至目标检测模型，得到包含雾霾的关键帧包括：获取所述关键帧，通过骨干网络对所述关键帧进行特征提取，得到特征金字塔；将所述特征金字塔转换为特征图；根据所述特征图生成预测锚定框，将所述预测锚定框与预设自定义锚定框进行匹配，得到所述关键帧的检测结果
。
[0009]在其中一个实施例中，所述基于所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧，得到关联参数包括：构建所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧之间的关联式；基于所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧对所述关联式中的关联参数进行调整，得到所述关联参数，所述关联参数包括透射率
、
背景光
。
[0010]在其中一个实施例中，所述将所述包含雾霾的关键帧输入至图像去雾模型中，得到去雾后的关键帧包括：将包含雾霾的关键帧输入至图像去雾模型，通过特征提取模块与空间特征提取模块分别提取包含雾霾的关键帧的光谱特征与空间特征；使用下采样减小特征图的尺寸，得到压缩后的特征图；将所述压缩后的特征图输入反向解码网络，通过上采样恢复特征图尺寸，得到重构的去雾后的关键帧
。
[0011]第二方面，本申请还提供了一种视频去雾的装置，获取模块，用于获取待去雾视频，对所述待去雾视频进行二值化处理，得到每一个图像帧的亮度直方图，其中，所述待去雾视频由连续的图像帧构成；分割模块，用于基于所述图像帧对应的聚散熵将所述待去雾视频分割为多个子视频，所述聚散熵是基于所述亮度直方图
、
图像帧的像素点数计算得到的；计算模块，用于对所述子视频中的图像帧进行相似度计算，得到所述相似度符合相似度阈值的关键帧；检测模块，用于将所述关键帧输入至目标检测模型，得到包含雾霾的关键帧；重构模块，用于将所述包含雾霾的关键帧输入至图像去雾模型中，得到去雾后的关键帧，所述图像去雾模型是基于图像降噪和图像超分辨率重建的原则构建得到的；关联模块，用于基于所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧，得到关联参数；拼接模块，用于基于所述关联参数计算其他包含雾霾的关键帧，得到所有的去雾
后的关键帧，将所述去雾后的关键帧与不包含雾霾的关键帧拼接，得到去雾后的视频
。
[0012]在其中一个实施例中，所述基于所述图像帧对应的聚散熵将所述待去雾视频分割为多个子视频包括：基于所述亮度直方图得到像素点在某一位置出现的概率值；基于所述概率值
、
像素点数，计算得到所述图像帧对应的聚散熵；基于所述聚散熵的变化规律将所述待去雾视频分割为多个子视频，其中，所述聚散熵在
0~1
之间变化
。
[0013]在其中一个实施例中，所述对所述子视频中的图像帧进行相似度计算，得到所述相似度符合相似度阈值的关键帧包括：选取任一图像帧作为关键帧；将所述视频中的当前图像帧与关键帧使用相位相关法计算得到当前图像帧与关键帧之间的相关系数；当所述相关系数大于相关系数阈值时，确定所述当前图像帧为非旋转状态；将该当前图像帧与所述关键帧使用相位相关法计算得到当前图像帧相对关键帧的位移矢量；当所述位移矢量大于所述位移矢量阈值时，将所述当前图像帧作为关键帧
。
[0014]在其中一个实施例中，所述将所述关键帧输入至目标检测模型，得到包含雾霾的关键帧包括：获取所述关键帧，通过骨干网络对所述关键帧进行特征提取，得到特征金字塔；将所述特征金字塔转换为特征图；根据所述特征图生成预测锚定框，将所述预测锚定框与预设自定义锚定框进行匹配，得到所述关键帧的检测结果
。
[0015]在其中一个实施例中，所述基于所述去雾后的关键帧<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频去雾的方法，其特征在于，所述方法包括：获取待去雾视频，对所述待去雾视频进行二值化处理，得到每一个图像帧的亮度直方图，其中，所述待去雾视频由连续的图像帧构成；基于所述图像帧对应的聚散熵将所述待去雾视频分割为多个子视频，所述聚散熵是基于所述亮度直方图
、
图像帧的像素点数计算得到的；对所述子视频中的图像帧进行相似度计算，得到所述相似度符合相似度阈值的关键帧；将所述关键帧输入至目标检测模型，得到包含雾霾的关键帧；将所述包含雾霾的关键帧输入至图像去雾模型中，得到去雾后的关键帧，所述图像去雾模型是基于图像降噪和图像超分辨率重建的原则构建得到的；基于所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧，得到关联参数；基于所述关联参数计算其他包含雾霾的关键帧，得到所有的去雾后的关键帧，将所述去雾后的关键帧与不包含雾霾的关键帧拼接，得到去雾后的视频
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述图像帧对应的聚散熵将所述待去雾视频分割为多个子视频包括：基于所述亮度直方图得到像素点在某一位置出现的概率值；基于所述概率值
、
像素点数，计算得到所述图像帧对应的聚散熵；基于所述聚散熵的变化规律将所述待去雾视频分割为多个子视频，其中，所述聚散熵在
0~1
之间变化
。3.
根据权利要求1所述的方法，其特征在于，所述对所述子视频中的图像帧进行相似度计算，得到所述相似度符合相似度阈值的关键帧包括：选取任一图像帧作为关键帧；将所述视频中的当前图像帧与关键帧使用相位相关法计算得到当前图像帧与关键帧之间的相关系数；当所述相关系数大于相关系数阈值时，确定所述当前图像帧为非旋转状态；将该当前图像帧与所述关键帧使用相位相关法计算得到当前图像帧相对关键帧的位移矢量；当所述位移矢量大于所述位移矢量阈值时，将所述当前图像帧作为关键帧
。4.
根据权利要求1所述的方法，其特征在于，所述将所述关键帧输入至目标检测模型，得到包含雾霾的关键帧包括：获取所述关键帧，通过骨干网络对所述关键帧进行特征提取，得到特征金字塔；将所述特征金字塔转换为特征图；根据所述特征图生成预测锚定框，将所述预测锚定框与预设自定义锚定框进行匹配，得到所述关键帧的检测结果
。5.
根据权利要求1所述的方法，其特征在于，所述基于所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧，得到关联参数包括：构建所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧之间的关联式；基于所述去雾后的关键帧
、
所述去雾后的关键帧对应的图像帧对所述关联式中的关联参数进行调整，得到所述关联参数，所述关联参数包括透射率
、
背景光
。
6.
根据权利要求1所述的方法，其特征在于，所述将所述包含雾霾的关键帧输入至图像去雾模型中，得到去雾后的关键帧包括：将包含雾霾的关键帧输入至图像去雾模型，通过特征提取模块与空间特征提取模块分别提取包含雾霾的关键帧的光谱特征与空间特征；使用下采样减小特征图的尺寸，得到压缩后的特征图；将所述压缩后的特征图输入反向解码网络，通过上采样恢复特征图尺寸，得到重构的去雾后的关键帧
。7.
一种视频去雾的装置，其特征在于，所述装置包括：获取模块，用于获取待去雾视频，对所述待去雾视频进行二值化处理，得到每一个图像帧的亮度直方图，其中，所述待去雾视频由连续的图像帧构成；分割模块，用于基于所述图像帧对应的聚...

【专利技术属性】
技术研发人员：赵本升，王永帅，王方圆，
申请(专利权)人：企查查科技股份有限公司，
类型：发明
国别省市：