图像去雨模型训练方法、图像去雨方法及设备技术

本申请实施例提供一种图像去雨模型训练方法、图像去雨方法及设备，本申请实施例为了消除长雨条纹，使用递归卷积结构，通过多个卷积核分别提取输入的带雨条纹的图像的特征向量，并进行向量融合，将融合特征向量与输入图像的特征向量相加，经LSTM网络模块输出，更好的联系长距离的上下文信息，扩大感受野。并且将输出的特征向量与相应的无雨图像的特征向量进行对比，若对比不为预设结果，则根据对比结果调整递归卷积模块的参数，重新执行上述操作，即通过循环卷积，使得模型学习跨阶段的特征之间的内在联系，更好的恢复图像的细节，而且有效减少模型的大小，在内存和计算能力不足的便携式的嵌入式设备和移动设备上，也可以取得良好的去雨效果。得良好的去雨效果。得良好的去雨效果。

【技术实现步骤摘要】
图像去雨模型训练方法、图像去雨方法及设备


[0001]本申请实施例涉及计算机视觉
，尤其涉及一种图像去雨模型训练方法、图像去雨方法及设备。

技术介绍

[0002]对图片或者视频进行去雨的研究一直以来都是计算机视觉和图像处理领域内的一个重要课题。在现实生活中，因为雨雪会对道路上的路况造成一定程度的遮挡，驾驶车辆行驶在下大雨或大雪的恶劣天气下是非常危险的；不仅如此，在重要位置设置的摄像头也会因为风沙雨雪的遮挡，导致无法提供给相关人员足够的信息来进行对目标的身份确定；另外，人们在出去旅游的时候会拍摄很多美景的照片，但是有的照片会因为天气状况等原因无法得到清晰的效果。以上所述的情况都需要对图像进行后期的处理，因此，对图像去雨的研究是非常有现实意义的。
[0003]相关技术中，对图像去雨，实际上是一个将图像看作是两层:无雨层和雨水层，然后将雨水层从原图像中分离出来，留下无雨图的一个分类过程。
[0004]然而，现有的去雨方法，使得带大雨条纹的图像丢失大量的图像细节，在雨条纹被分离出去后，这些丢失的细节无法完全修复，从而造成去雨后的图像中存在白色斑点。

技术实现思路

[0005]本申请实施例提供一种图像去雨模型训练方法、图像去雨方法及设备，以克服现有带大雨条纹的图像去雨后，丢失大量的图像细节，造成去雨后的图像中存在白色斑点的问题。
[0006]第一方面，本申请实施例提供一种图像去雨模型训练方法，所述图像去雨模型包括递归卷积模块，所述递归卷积模块包括多个卷积核和一个长短期记忆网络(Long Short-Term Memory，简称LSTM)网络模块；
[0007]所述方法包括以下操作(1)-(2)：
[0008](1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；
[0009](2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；
[0010]若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。
[0011]在一种可能的设计中，所述图像去雨模型还包括卷积层和角度信息提取层；
[0012]在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还包括：
[0013]通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像
的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；
[0014]基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；
[0015]所述根据所述对比结果调整所述递归卷积模块中的参数，包括：
[0016]根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。
[0017]在一种可能的设计中，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；
[0018]所述操作(1)包括：
[0019]通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；
[0020]将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；
[0021]通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；
[0022]将相加后的特征向量经过所述LSTM网络模块输出。
[0023]在一种可能的设计中，所述预设结果包括特征向量的对比相似度达到预设阈值。
[0024]第二方面，本申请实施例提供一种图像去雨方法，包括：
[0025]获取待处理带雨条纹的图像；
[0026]将所述待处理带雨条纹的图像输入如上第一方面以及第一方面各种可能的设计所述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像对应的无雨条纹的图像。
[0027]第三方面，本申请实施例提供一种图像去雨模型训练装置，所述图像去雨模型包括递归卷积模块，所述递归卷积模块包括多个卷积核和一个LSTM网络模块；
[0028]所述装置包括训练模块，用于执行以下操作(1)-(2)：
[0029](1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；
[0030](2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；
[0031]所述训练模块，还用于若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。
[0032]在一种可能的设计中，所述图像去雨模型还包括卷积层和角度信息提取层；
[0033]所述训练模块在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还用于：
[0034]通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；
[0035]基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；
[0036]所述根据所述对比结果调整所述递归卷积模块中的参数，包括：
[0037]根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。
[0038]在一种可能的设计中，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；
[0039]所述训练模块执行操作(1)包括：
[0040]通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；
[0041]将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；
[0042]通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；
[0043]将相加后的特征向量经过所述LSTM网络模块输出。
[0044]第四方面，本申请实施例提供一种图像去雨装置，包括：
[0045]获取模块，用于获取待处理带雨条纹的图像；
[0046]去雨模块，用于将所述待处理带雨条纹的图像输入如上第一方面以及第一方面各种可能的设计所述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像去雨模型训练方法，其特征在于，所述图像去雨模型包括递归卷积模块，所述递归卷积模块包括多个卷积核和一个长短期记忆网络LSTM网络模块；所述方法包括以下操作(1)-(2)：(1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；(2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。2.根据权利要求1所述的方法，其特征在于，所述图像去雨模型还包括卷积层和角度信息提取层；在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还包括：通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；所述根据所述对比结果调整所述递归卷积模块中的参数，包括：根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。3.根据权利要求1所述的方法，其特征在于，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；所述操作(1)包括：通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；将相加后的特征向量经过所述LSTM网络模块输出。4.根据权利要求1所述的方法，其特征在于，所述预设结果包括特征向量的对比相似度达到预设阈值。5.一种图像去雨方法，其特征在于，包括：获取待处理带雨条纹的图像；将所述待处理带雨条纹的图像输入权利要求1至4中任一项所述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像对应的无雨条纹的图像。6.一种图像去雨模型训练装置，其特征在于，所述图像去雨模型包括递归卷积模块，所述递归卷积模块包括多个卷积核和一个LSTM网络模块；
所述装置包括训练模块，用于执行以下操作(1)-(2)：(1)通过所述多个卷积核...

【专利技术属性】
技术研发人员：徐绍君，祝闯，刘军，王泽凡，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：