一种基于空洞异构卷积的图像分割方法技术

本发明专利技术公开了一种基于空洞异构卷积的图像分割方法，包括：S1、构建卷积神经网络模型，卷积神经网络模型中的一个或多个滤波器被替换为空洞异构卷积滤波器；S2、利用数据集对构建的卷积神经网络模型进行训练及验证，获得最终卷积神经网络模型；S3、将待分割图像输入最终卷积神经网络模型获得输出特征图；S4、利用图像分割网络模型对输出特征图进行处理获得图像分割结果。本发明专利技术通过空洞异构卷积滤波器的设置可以在不增加参数量的同时向单个滤波器中加入多尺度，从而提升卷积核的有效感受野，大大提高了图像分割的准确性。大大提高了图像分割的准确性。大大提高了图像分割的准确性。

【技术实现步骤摘要】
一种基于空洞异构卷积的图像分割方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于空洞异构卷积的图像分割方法。

技术介绍

[0002]传统分割网络会在编码器中使用降采样或是池化层来压缩特征图以获得更大的感受野，这使得网络能够有效提取图像中的全局特征和语义信息，随后再通过上采样的方式恢复特征图的分辨率，以此做到端到端地输出像素级别的预测值。然而分辨率的减小所带来的特征图细节信息丢失问题却是无法避免的。为了克服上述困难，既有FCN、Unet等方法使用跳跃连接方式向解码器中补充未经压缩的高分辨率特征图，也有像HRNet那样另辟蹊径在主干网络保持高分辨率的同时融合并行子网络的低分辨率特征。空洞卷积作为基础模块，由于其扩充感受野的同时可以保留特征图高分辨率的特性被广泛应用于替代传统编码器中的池化层，它的出现有效解决了特征压缩所带来的瓶颈。与此同时，基于空洞卷积的多尺度方案也逐渐成为了研究方向之一，例如ASPP、ESPNet利用多种膨胀率的并行的空洞卷积模块实现多尺度融合，亦或是像HDC、DRN、YOLOF那样在分割或目标检测网络中使用不同膨胀率的空洞卷积以达到提取多尺度上下文信息的效果。
[0003]空洞卷积的优势都要归功于网格化结构带来的结构增益，然而其缺点依旧相当明显：受到空洞卷积只允许单一感受野的限制，现有方法只能通过在网络不同层级的滤波器上进行空洞率的设置，来达到获取多尺度上下文信息的效果，然而这些方法不能像基础卷积模块那样自由的在网络各处使用，使得空洞卷积的多尺度应用存在诸多不便。
专利
技术实现思路

[0004]本专利技术的目的在于针对上述问题，提出一种基于空洞异构卷积的图像分割方法，可以在不增加参数量的同时向单个滤波器中加入多尺度，从而提升卷积核的有效感受野，大大提高了图像分割的准确性。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]本专利技术提出的一种基于空洞异构卷积的图像分割方法，包括如下步骤：
[0007]S1、构建卷积神经网络模型，卷积神经网络模型中的一个或多个滤波器被替换为空洞异构卷积滤波器，空洞异构卷积滤波器的设置如下：
[0008]S11、将各空洞异构卷积滤波器按其通道数C等分为n个组别，每个组别包含个卷积核；
[0009]S12、预设空洞率组合为一组不重复的超参数r＝[r1,r2,
…
,r
i
,
…
,r
n
]，r
i
为第i个空洞率，i＝1,2,
…
,n，对应分配给每个组别上的卷积核，使每个组别的卷积核具有相同的空洞率，且不同组别之间的卷积核具有不同的空洞率，具体如下：
[0010]首先按照超参数r中的原有顺序得到序列S1＝<r1‑
r2‑…‑
r
i
‑…‑
r
n
>，并将序列S1中
的值作为空洞率按序对应分配至第一个空洞异构卷积滤波器的n组卷积核上；到第二个空洞异构卷积滤波器时，将序列S1中的值整体向右平移，则位于序列S1中末尾的值被移接到首位得到序列S2＝<r
n
‑
r1‑
r2‑…‑
r
i
‑…‑
r
n
‑1>，并将序列S2中的值作为空洞率按序对应分配至第二个空洞异构卷积滤波器的n组卷积核上；同理第j个空洞异构卷积滤波器依次类推，j＝1,2,
…
,N，N为空洞异构卷积滤波器的总数，且当N大于序列的排列组合总数n时循环操作，最终会有序形成N个空洞异构卷积滤波器；
[0011]S2、利用数据集对构建的卷积神经网络模型进行训练及验证，获得最终卷积神经网络模型；
[0012]S3、将待分割图像输入最终卷积神经网络模型获得输出特征图；
[0013]S4、利用图像分割网络模型对输出特征图进行处理获得图像分割结果。
[0014]优选地，卷积神经网络模型为Resnet50网络。
[0015]优选地，Resnet50网络包括依次连接的卷积层、池化层、第一残差块、第二残差块、第三残差块和第四残差块，第一残差块包括三个串接的瓶颈层，第二残差块包括四个串接的瓶颈层，第三残差块包括六个串接的瓶颈层，第四残差块包括三个串接的瓶颈层，各瓶颈层由卷积核大小为1*1的滤波器、卷积核大小为3*3的滤波器、卷积核大小为1*1的滤波器、BN层和RELU激活函数串接组成，且第四残差块的三个瓶颈层的卷积核大小为3*3的滤波器被替换为卷积核大小为3*3的空洞异构卷积滤波器。
[0016]优选地，卷积层的卷积核大小为7*7。
[0017]优选地，数据集为ade20k数据集。
[0018]优选地，利用数据集对构建的卷积神经网络模型进行训练及验证，具体为将数据集中大小为512*512的图像以12的batchsize输入卷积神经网络模型训练120个epoch。
[0019]优选地，图像分割网络模型为deeplabv3网络模型、pspnet网络模型、upernet网络模型其中之一。
[0020]与现有技术相比，本专利技术的有益效果为：
[0021]该方法的卷积神经网络模型采用空洞异构卷积滤波器，与采用传统滤波器不同，空洞异构卷积滤波器通过对卷积核通道进行分组，并为每一个通道分组分配不同的空洞率，使得每个通道分组都采用不同的空洞率来降低采样时空洞区域的重叠，实现了有效覆盖区域的提升，从而提升空洞卷积的感受野，并通过卷积核有效采样区域的错位来实现投影后有效像素互补，可有效解决网格化问题，且该方法提出的空洞异构卷积滤波器不会带来任何额外的参数量，其参数量与传统滤波器完全相同，因此，性能的提升并没有付出任何额外的代价，可在不提高参数量的情况下大大提高图像分割的准确性，且通用性更强。
附图说明
[0022]图1为本专利技术基于空洞异构卷积的图像分割方法的流程图；
[0023]图2为本专利技术卷积神经网络模型的结构示意图；
[0024]图3为现有技术的空洞卷积滤波器(a)和本专利技术的空洞异构卷积滤波器(b)的结构示意图；
[0025]图4为本专利技术空洞异构卷积滤波器的设置过程示意图；
[0026]图5为现有技术的空洞卷积滤波器(a)和本专利技术的空洞异构卷积滤波器(b)有效空
间覆盖面积可视化图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空洞异构卷积的图像分割方法，其特征在于：所述基于空洞异构卷积的图像分割方法包括如下步骤：S1、构建卷积神经网络模型，所述卷积神经网络模型中的一个或多个滤波器被替换为空洞异构卷积滤波器，所述空洞异构卷积滤波器的设置如下：S11、将各空洞异构卷积滤波器按其通道数C等分为n个组别，每个组别包含个卷积核；S12、预设空洞率组合为一组不重复的超参数r＝[r1,r2,
…
,r
i
,
…
,r
n
]，r
i
为第i个空洞率，i＝1,2,
…
,n，对应分配给每个组别上的卷积核，使每个组别的卷积核具有相同的空洞率，且不同组别之间的卷积核具有不同的空洞率，具体如下：首先按照超参数r中的原有顺序得到序列S1＝<r1‑
r2‑…‑
r
i
‑…‑
r
n
>，并将序列S1中的值作为空洞率按序对应分配至第一个空洞异构卷积滤波器的n组卷积核上；到第二个空洞异构卷积滤波器时，将序列S1中的值整体向右平移，则位于序列S1中末尾的值被移接到首位得到序列S2＝<r
n
‑
r1‑
r2‑…‑
r
i
‑…‑
r
n
‑1>，并将序列S2中的值作为空洞率按序对应分配至第二个空洞异构卷积滤波器的n组卷积核上；同理第j个空洞异构卷积滤波器依次类推，j＝1,2,
…
,N，N为空洞异构卷积滤波器的总数，且当N大于序列...

【专利技术属性】
技术研发人员：陈琦，余承翰，胡海根，周乾伟，管秋，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：