一种针对附着水雾水珠去除的图像处理方法和系统技术方案

本申请实施例公开了一种图像处理方法、系统、设备和可读存储介质，所述方法包括：输入图像至分类卷积神经网络；所述分类卷积神经网络针对所述图像进行分类，并根据目标分类结果生成空域注意力掩膜，将所述空域注意力掩膜与原输入图像叠加，输入至特征编码模块；所述特征编码模块过滤所述叠加图像中的无用特征，将过滤后的特征图输入至平滑空洞卷积模块；所述平滑空洞卷积模块针对所述过滤后的特征图提取特征，并增强目标保留特征，将处理后的特征图输入至解码模块；所述解码模块针对所述处理后的特征图进行恢复图像的操作；进一步，输出恢复后的图像。可以将模糊的图像清晰化，例如将被附着水雾及附着水珠干扰的不清晰图像恢复为清晰的图像。

【技术实现步骤摘要】
一种针对附着水雾水珠去除的图像处理方法和系统
本申请实施例涉及人工智能
，具体涉及一种针对附着水雾水珠去除的图像处理方法和系统。
技术介绍
近十年来，随着以深度学习为代表的人工智能技术飞速发展，不少基于视觉的人工智能应用已经普及(如人脸识别、智能美颜等)，也有一些对社会生活生产会产生巨大变革的应用尚在完善中(如自动驾驶、姿态识别等)。这些高层次应用都建立在清晰的输入图像这一基础上。然而，在大量的室外场景中，采集图像的相机镜头(或其前方起保护作用的玻璃)会被水雾或水珠附着，进而导致采集到的图像质量严重下降、无法被后续算法使用。这种现象往往是由玻璃内外温度差异、天气变化、或工作环境恶劣导致的。以基于视觉的自动驾驶算法这一应用为例：若不开空调，乘车人冬天在车内略微呼吸一两分钟后，车内温度将高于车外温度，车内水蒸气在挡风玻璃上遇冷液化为水雾，自动驾驶算法无法获取清晰图像，极可能导致严重交通事故。再以户外安防摄像头为例：当发生骤雨时，镜头前保护玻璃可能会被溅有雨滴，玻璃迅速降温，而摄像头内部温度暂时相对较高，此时会出现玻璃内侧附着上液化的水本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n输入图像至分类卷积神经网络；/n所述分类卷积神经网络针对所述图像进行分类，并根据目标分类结果生成空域注意力掩膜，将所述空域注意力掩膜与原输入图像叠加，输入至特征编码模块；/n所述特征编码模块过滤所述叠加图像中的无用特征，将过滤后的特征图输入至平滑空洞卷积模块；/n所述平滑空洞卷积模块针对所述过滤后的特征图提取特征，并增强目标保留特征，将处理后的特征图输入至解码模块；/n所述解码模块针对所述处理后的特征图进行恢复图像的操作；/n输出恢复后的图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
输入图像至分类卷积神经网络；
所述分类卷积神经网络针对所述图像进行分类，并根据目标分类结果生成空域注意力掩膜，将所述空域注意力掩膜与原输入图像叠加，输入至特征编码模块；
所述特征编码模块过滤所述叠加图像中的无用特征，将过滤后的特征图输入至平滑空洞卷积模块；
所述平滑空洞卷积模块针对所述过滤后的特征图提取特征，并增强目标保留特征，将处理后的特征图输入至解码模块；
所述解码模块针对所述处理后的特征图进行恢复图像的操作；
输出恢复后的图像。


2.如权利要求1所述的方法，其特征在于，所述分类卷积神经网络针对所述图像进行分类，包括：
判断所述图像为清晰的、或被附着水珠和/或附着水雾影响的图像；
所述分类卷积神经网络由七层特征图尺寸不断缩小的卷积层提取图像特征，再由一个全局池化层将二维特征转化为一维特征，再用含有三个神经元的全连接层来产生分类输出。


3.如权利要求1所述的方法，其特征在于，所述根据目标分类结果按照如下公式生成空域注意力掩膜：



其中，t指对应的分类结果，M是分类激活图计算结果，即为空域注意力掩膜，f指最后一层卷积层的特征图，k指该特征图的第k个通道，ωk是该通道对应的后续全连接层权重，(x,y)指空域位置坐标。


4.如权利要求1所述的方法，其特征在于，所述特征编码模块包括三个卷积层以及三个双注意力机制子模块，每个卷积层后分别跟随一个双注意力机制；其中，前两个卷积层的卷积步长为1，最后一个卷积层卷积步长为2，使得网络中传递的特征图长宽分别缩小为原尺寸的一半。


5.如权利要求1所述的方法，其特征在于，所述平滑空洞卷积模块针对所述过滤后的特征图提取特征，并增强目标保留特征，包括：
所述平滑空洞卷积将过滤后的特征图输入一个空洞卷积层，再被一个普通卷积层平滑；接着又是一个空洞卷积层和一个普通卷积层；最后将处理后的特征图与输入的过滤后的特征图叠加形成残差学习机制；所述平滑空洞卷积模块包括六个平滑空洞...

【专利技术属性】
技术研发人员：罗家佳，何达，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11