【技术实现步骤摘要】
本专利技术属于图像分割，具体涉及一种基于金字塔深度卷积的图像对协同分割方法、系统及电子设备。
技术介绍
1、随着计算机性能的提升，深度学习得到了蓬勃的发展，大量研究完全舍弃了传统特征。一种使用孪生编码器-解码器的网络架构被设计来解决图像协同分割任务。在编码器中，该架构的方法使用卷积神经网络来获取图像的特征映射，并引入互相关层来进行特征匹配获得对应映射。解码器将特征映射和对应映射连接起来进行上采样直至恢复原始图像的尺寸，以此获得协同分割的结果。使用此架构的方法中有一种引入语义感知注意力机制的方法，其语义感知注意力机制有三种结构，分别是通道注意力模块，混合通道注意力模块和通道空间注意力模块。注意力机制可以关注高响应的特征通道，并降低无光特征通道的响应。
2、以上基于深度学习的图像协同分割方法，无论哪一种都需要分割线索作为获得协同分割结果的依据。分割线索是从图像中识别待分割对象的依据，包括对象线索和相关线索。对象线索指的是本幅图像上的“对象”特征，相关线索是多幅图像中获取的协同分割对象的相关特征。与传统的语义分割分割只需要对单幅图像中包含的对象进行特征提取不同，图像协同分割在没有干扰的情况下要分割的图像对中应该至少有一个相同语义的对象，这是一种难以利用的线索信息。怎么利用这一线索信息构建简单高效的协同特征提取与相关线索提取模型，完成图像协同分割任务，是图像协同分割任务最需要解决的关键问题。
3、图像中可能存在大量包含遮挡关系、背景杂乱和小目标前景对象的图像。这些图像对于任务图像任务来说都是一个巨大的挑战，对仅仅
4、图像协同分割需要处理两幅或更多图像，这会导致处理图像协同分割的网络架构较大。有的方法未来避免这种情况对网络进行压缩或简化，但这种方法会带来性能下降的后果。如何合理优化网络模型，在性能和资源之间取得好的平衡，也是图像协同分割领域中需要解决的问题之一。图像协同分割领域中现有技术对图像对之间的相同语义信息的高精度挖掘能力不够，这可能导致分割结果不够精确甚至出现多分割或少分割的错误。而且现有技术对包含遮挡、背景杂乱或小目标前景对象的图像的处理不够理想。最后现有技术一般只能接受固定尺寸的输入，但是在实际应用中，很难保证需要处理的图像都是同样尺寸的，这就导致现有技术的灵活性有限，难以很好地应用于真实场景。
技术实现思路
1、鉴于现有技术的以上不足，本专利技术的目的是提供一种基于金字塔深度卷积的图像对协同分割方法、系统及电子设备，能在一定程度上解决空间上的多尺度问题，然后通过深度卷积进行通道上的语义特征相关性计算，以此在降低计算复杂度的同时突出相同语义对象的位置信息。
2、为达到上述目的，本专利技术方法的技术方案为：
3、一种基于金字塔深度卷积的图像对协同分割方法，包括以下步骤：
4、s1:采集图像对ia和ib，对图像对ia和ib进行预处理并统一尺寸；
5、s2:将图像对ia和ib输入到孪生编码器中进行高级语义特征提取，获取高级语义特征映射fa和fb；
6、s3:对高级语义特征映射fa和fb使用池化操作，构造特征金字塔，得到对应的强化映射fa和fb；
7、s4:将特征映射fa和fb以及对应的强化映射fa和fb级联得到特征图fab和fba，使用孪生解码器上采样生成公共对象掩码ma和mb；
8、s5:采用上采样来分割出与原始图像具有同样分辨率的分割掩码pa、pb。
9、进一步地，所述步骤s2中孪生编码器设有多个个卷积层和池化层，该孪生编码器可以采用不同的backbone组成。在一个示例中，我们采用vgg16的网络结构和预训练权重(最后一个卷积层除外)，并在每个卷积层后都添加relu激活函数。
10、进一步地，所述步骤s3中用不同步长的池化层对高级语义特征fa和fb进行处理，构建一个三层结构的多尺度的特征金字塔fa’和fb’。
11、进一步地，将金字塔特征fb’的第i层的每一个通道作为深度卷积的卷积核，对fa对应的每一个通道进行卷积操作，得到通道数为ixc的特征图，之后再对这个通道数为ixc的特征图按通道逐像素相加求平均，然后再接一个1x1卷积得到通道数为c的特征图，输出结果记为：fa，数学描述如下：
12、
13、其中，l2(·)表示l2归一化，表示深度卷积，m为金字塔的层数，表示尺寸为1x1，带relu激活函数的卷积层。
14、进一步地，将金字塔特征fa’的第i层的每一个通道作为深度卷积的卷积核，对fa对应的每一个通道进行卷积操作，得到通道数为ixc的特征图，之后再对这个通道数为ixc的特征图按通道逐像素相加求平均，然后再接一个1x1卷积得到通道数为c的特征图，输出结果记为：fb，数学描述如下：
15、
16、其中，l2(·)表示l2归一化，表示深度卷积，m为金字塔的层数，表示尺寸为1x1，带relu激活函数的卷积层。
17、进一步地，所述步骤s4中，所述步骤s4中孪生解码器用来提取两幅输入图像的共同对象的前景掩码，首先将步骤s3的强化映射fa和fb和相应的高级语义特征图fb、fa按通道维度连接，获得通道数两倍于原特征的特征图fab、fba，然后使用卷积层来融合输入的特征图，同时降低高级语义特征图的通道数。融合后的256通道的特征图随后被上采样，上采样后的尺寸等于编码阶段中第二个卷积块的输出尺寸，之后，将孪生编码器的第二个卷积块输出的低层次特征图与之前上采样的高层次语义特征图连接起来，然后，孪生编码器使用两个3x3卷积层和一个没有激活函数的1x1卷积层来获得两个概率图ma、mb。
18、第二方面，本专利技术提供一种基于金字塔深度卷积的图像对协同分割系统，包括：
19、预处理模块:其用于采集图像对ia和ib，对图像对ia和ib进行预处理并统一尺寸；
20、孪生编码模块:其用于将图像对ia和ib输入到孪生编码器中进行高级语义特征提取，获取高级语义特征映射fa和fb；
21、特征金字塔模块:其用于对高级语义特征映射fa和fb使用池化操作，构造特征金字塔，得到对应的强化映射fa和fb；
22、孪生解码模块:其用于将特征映射fa和fb以及对应的强化映射fa和fb级联得到特征图fab和fba，使用孪生解码器上采样生成公共对象掩码pa和pb；
23、分割掩码获取模块:其用于采用上采样来分割出与原始图像具有同样分辨率的分割掩码ma、mb。
24、所述基于金字塔深度卷积的图像对协同分割系统用于执行所述基于金字塔深度卷积的图像对协同分割方法中的步骤。
25、第三方面本文档来自技高网...
【技术保护点】
1.一种基于金字塔深度卷积的图像对协同分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，所述步骤S2中孪生编码器设有多个个卷积层和池化层，该孪生编码器采用不同的backbone组成。
3.根据权利要求1所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，所述步骤S3中用不同步长的池化层对高级语义特征fA和fB进行处理，构建一个三层结构的多尺度的特征金字塔fA’和fB’。
4.根据权利要求3所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，将金字塔特征fB’的第i层的每一个通道作为深度卷积的卷积核，对fA对应的每一个通道进行卷积操作，得到通道数为i xc的特征图，之后再对这个通道数为ixc的特征图按通道逐像素相加求平均，然后再接一个1x1卷积得到通道数为c的特征图，输出结果记为：FA，数学描述如下：
5.根据权利要求4所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，将金字塔特征fA’的第i层的每一个通道作为深度卷积的卷积核，对fA对应的每一个通道进
6.根据权利要求3所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，所述步骤S4中，所述步骤S4中孪生解码器用来提取两幅输入图像的共同对象的前景掩码，首先将步骤S3的强化映射FA和FB和相应的高级语义特征图fB、fA按通道维度连接，获得通道数两倍于原特征的特征图FAB、FBA，然后使用卷积层来融合输入的特征图，同时降低两个高级语义特征图的通道数，融合后的特征图随后被上采样，上采样后的尺寸等于编码阶段中第二个卷积块的输出尺寸，之后，将孪生编码器的第二个卷积块输出的低层次特征图与之前上采样的高层次语义特征图连接起来，然后，孪生编码器使用两个3x3卷积层和一个没有激活函数的1x1卷积层来获得两个概率图PA、PB。
7.一种基于金字塔深度卷积的图像对协同分割系统，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于金字塔深度卷积的图像对协同分割方法。
...【技术特征摘要】
1.一种基于金字塔深度卷积的图像对协同分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，所述步骤s2中孪生编码器设有多个个卷积层和池化层，该孪生编码器采用不同的backbone组成。
3.根据权利要求1所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，所述步骤s3中用不同步长的池化层对高级语义特征fa和fb进行处理，构建一个三层结构的多尺度的特征金字塔fa’和fb’。
4.根据权利要求3所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，将金字塔特征fb’的第i层的每一个通道作为深度卷积的卷积核，对fa对应的每一个通道进行卷积操作，得到通道数为i xc的特征图，之后再对这个通道数为ixc的特征图按通道逐像素相加求平均，然后再接一个1x1卷积得到通道数为c的特征图，输出结果记为：fa，数学描述如下：
5.根据权利要求4所述的基于金字塔深度卷积的图像对协同分割方法，其特征在于，将金字塔特征fa’的第i层的每一个通道作为深度卷积的卷积核，对fa对应的每一个通道进行卷积操作，得到通道数为i xc的特征图，之后再对这个通道...
【专利技术属性】
技术研发人员：陈加，袁科，卫阳钰，庞世燕，董石，田元，刘智，罗恒，肖克江，蔡欣芷，陈迪，童名文，左明章，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。