图像处理方法及装置制造方法及图纸

本申请公开了一种图像处理方法及装置，方法包括：构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一SE模块、第二SE模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；对所述改进的全卷积网络进行训练；利用训练完成后的改进的全卷积网络处理目标图像。本申请的图像处理方法，通过对FCN网络中加入SE模块，通过挤压和激励自适应为例如图案和形状等特征分配权重，提升了FCN网络在图像处理方面的性能，降低了误检率和漏检率，在综合评价指标方面取得了较好的效果。

Image processing method and device

【技术实现步骤摘要】
图像处理方法及装置
本申请涉及计算机
，具体涉及一种图像处理方法及装置。
技术介绍
图像处理技术广泛应用于例如路面裂缝图像处理等多个领域。随着人们对行车安全性、舒适性和经济性要求的不断提高，加上我国公路交通正处于高速发展时期，路面养护的重要性和紧迫性日渐凸显出来。作为病害检测的主要工作之一的路面裂缝检测，依靠传统的人工检测方式显然已经不能满足路面检测需求。因此，加强路面裂缝图象识别技术的研究具有重要的意义。目前，已有技术的图像处理方法用于裂缝检测的方法在误检率、漏检率和综合评价指标等方面的表现不佳，难以满足实际应用的需要。研发一种图像处理方法以便应用于路面裂缝图像识别等领域是当务之急。
技术实现思路
本申请的目的是提供一种图像处理方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。根据本申请实施例的一个方面，提供一种图像处理方法，包括：构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一SE模块、第二SE模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；其中，所述全卷积神经网络的第四池化层、所述第一SE模块和所述第一特征融合模块依次连接；所述全卷积神经网络的第三全卷积层、所述第一上采样模块、所述第一特征融合模块、所述第二上采样模块和所述第二特征融合模块依次连接；所述全卷积神经网络的第三池化层、所述第二SE模块、所述第二特征融合模块和所述第三上采样模块依次连接；对所述改进的全卷积网络进行训练；利用训练完成后的改进的全卷积网络处理目标图像。进一步地，所述利用训练完成后的改进的全卷积网络处理目标图像，包括：将所述目标图像输入所述全卷积神经网络进行处理，得到第一特征图、第二特征图和第三特征图；其中，所述第一特征图是经过所述第四池化层处理后得到的特征图，所述第二特征图是经过整个所述全卷积神经网络处理后得到的特征图，所述第三特征图是经过所述第三池化层处理后得到的特征图；将第五特征图和第六特征图输入第一特征融合模块处理后得到第七特征图；其中，所述第五特征图为所述第二特征图经过所述第一上采样模块处理后得到的特征图；所述第六特征图为将所述第一特征图输入第一SE模块处理后得到的特征图；将第八特征图和第九特征图输入第二特征融合模块处理后得到第十特征图；其中，所述第八特征图为所述第七特征图经过第二上采样模块处理后得到的特征图；所述第九特征图为将所述第三特征图输入所述第二SE模块处理后得到的特征图；将所述第十特征图输入所述第三上采样模块处理后得到输出特征图。进一步地，所述对所述改进的全卷积网络进行训练，包括：将采集的图像样本集输入所述改进的全卷积网络进行处理，根据处理结果对所述改进的全卷积网络进行反向传播以逐层调整层级权重直至完成训练。进一步地，所述第一SE模块和所述第二SE模块均包括挤压运算和激励运算。进一步地，所述挤压运算包括：得到多个特征后采用全局平均池化操作对每个特征进行压缩，使其得到C个特征变成1×1×C的实数数列，其中C为正整数。进一步地，所述激励运算包括：在得到特征输出后，所述实数数列先经过一个全连接层由1×1×C变成1×1×C/r，然后用ReLU激活后再经过一个全连接层变回1×1×C，最后经过Sigmoid输出，其中r为正整数。根据本申请实施例的另一个方面，提供一种图像处理装置，包括：构建模块，用于构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一SE模块、第二SE模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；其中，所述全卷积神经网络的第四池化层、所述第一SE模块和所述第一特征融合模块依次连接；所述全卷积神经网络的第三全卷积层、所述第一上采样模块、所述第一特征融合模块、所述第二上采样模块和所述第二特征融合模块依次连接；所述全卷积神经网络的第三池化层、所述第二SE模块、所述第二特征融合模块和所述第三上采样模块依次连接；训练模块，用于对所述改进的全卷积网络进行训练；处理模块，用于利用训练完成后的改进的全卷积网络处理目标图像。进一步地，所述处理模块包括：第一模块，用于将所述目标图像输入所述全卷积神经网络进行处理，得到第一特征图、第二特征图和第三特征图；其中，所述第一特征图是经过所述第四池化层处理后得到的特征图，所述第二特征图是经过整个所述全卷积神经网络处理后得到的特征图，所述第三特征图是经过所述第三池化层处理后得到的特征图；第二模块，用于将第五特征图和第六特征图输入第一特征融合模块处理后得到第七特征图；其中，所述第五特征图为所述第二特征图经过所述第一上采样模块处理后得到的特征图；所述第六特征图为将所述第一特征图输入第一SE模块处理后得到的特征图；第三模块，用于将第八特征图和第九特征图输入第二特征融合模块处理后得到第十特征图；其中，所述第八特征图为所述第七特征图经过第二上采样模块处理后得到的特征图；所述第九特征图为将所述第三特征图输入所述第二SE模块处理后得到的特征图；第四模块，用于将所述第十特征图输入所述第三上采样模块处理后得到输出特征图。进一步地，所述训练模块具体用于将采集的图像样本集输入所述改进的全卷积网络进行处理，根据处理结果对所述改进的全卷积网络进行反向传播以逐层调整层级权重直至完成训练。根据本申请实施例的另一个方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现所述的图像处理方法。本申请实施例提供的技术方案可以包括以下有益效果：本申请实施例提供的图像处理方法，通过在FCN网络中加入SE模块，通过挤压和激励自适应为例如图案和形状等特征分配权重，提升了FCN网络在图像处理方面的性能，降低了误检率和漏检率，在综合评价指标方面取得了较好的效果。本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请的一个实施例的图像处理方法的流程图；图2示出了本申请的一个实施例的图像处理装置的结构框图；图3为FCN三种模型卷积过程示意图；图4为本申请的一个实施例的改进的全卷积网络的结构本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一SE模块、第二SE模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；其中，所述全卷积神经网络的第四池化层、所述第一SE模块和所述第一特征融合模块依次连接；所述全卷积神经网络的第三全卷积层、所述第一上采样模块、所述第一特征融合模块、所述第二上采样模块和所述第二特征融合模块依次连接；所述全卷积神经网络的第三池化层、所述第二SE模块、所述第二特征融合模块和所述第三上采样模块依次连接；/n对所述改进的全卷积网络进行训练；/n利用训练完成后的改进的全卷积网络处理目标图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
构建改进的全卷积网络；所述改进的全卷积网络包括全卷积神经网络、第一SE模块、第二SE模块、第一上采样模块、第二上采样模块、第三上采样模块、第一特征融合模块和第二特征融合模块；其中，所述全卷积神经网络的第四池化层、所述第一SE模块和所述第一特征融合模块依次连接；所述全卷积神经网络的第三全卷积层、所述第一上采样模块、所述第一特征融合模块、所述第二上采样模块和所述第二特征融合模块依次连接；所述全卷积神经网络的第三池化层、所述第二SE模块、所述第二特征融合模块和所述第三上采样模块依次连接；
对所述改进的全卷积网络进行训练；
利用训练完成后的改进的全卷积网络处理目标图像。


2.根据权利要求1所述的方法，其特征在于，所述利用训练完成后的改进的全卷积网络处理目标图像，包括：
将所述目标图像输入所述全卷积神经网络进行处理，得到第一特征图、第二特征图和第三特征图；其中，所述第一特征图是经过所述第四池化层处理后得到的特征图，所述第二特征图是经过整个所述全卷积神经网络处理后得到的特征图，所述第三特征图是经过所述第三池化层处理后得到的特征图；
将第五特征图和第六特征图输入第一特征融合模块处理后得到第七特征图；其中，所述第五特征图为所述第二特征图经过所述第一上采样模块处理后得到的特征图；所述第六特征图为将所述第一特征图输入第一SE模块处理后得到的特征图；
将第八特征图和第九特征图输入第二特征融合模块处理后得到第十特征图；其中，所述第八特征图为所述第七特征图经过第二上采样模块处理后得到的特征图；所述第九特征图为将所述第三特征图输入所述第二SE模块处理后得到的特征图；
将所述第十特征图输入所述第三上采样模块处理后得到输出特征图。


3.根据权利要求1所述的方法，其特征在于，所述对所述改进的全卷积网络进行训练，包括：将采集的图像样本集输入所述改进的全卷积网络进行处理，根据处理结果对所述改进的全卷积网络进行反向传播以逐层调整层级权重直至完成训练。


4.根据权利要求1所述的方法，其特征在于，所述第一SE模块和所述第二SE模块均包括挤压运算和激励运算。


5.根据权利要求4所述的方法，其特征在于，所述挤压运算包括：得到多个特征后采用全局平均池化操作对每个特征进行压缩，使其得到C个特征变成1×1×C的实数数列，其中C为正整数。


6.根据权利要求5所述的方法，其特征在于，所述激励运算包括...

【专利技术属性】
技术研发人员：王育坚，韩静园，李深圳，谭卫雄，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京;11