一种确定主体和精准化边缘相结合的图像前景分割方法技术

本发明专利技术公开了一种确定主体和精准化边缘相结合的图像前景分割方法，将用于定位显著性区域的确定主体过程和精准分割目标的边缘精准化过程相结合，首先确定主体部分设计了上下文感知金字塔特征提取模块得丰富的上下文特征，结合上下文感知金字塔特征提取模块特征映射后的通道注意机制CA模块和低层次特征映射后的空间注意机制SA模块，用一种使用交叉熵损失来监督显著边界定位信息的生成从而得到定位信息；然后精准化边缘过程，以光谱消光技术为基础获取图像中非局部颜色特征，用ResNet

【技术实现步骤摘要】
一种确定主体和精准化边缘相结合的图像前景分割方法


[0001]本专利技术涉及信息
，具体涉及一种确定主体和精准化边缘相结合的图像前景分割方法。

技术介绍

[0002]当人们在获得一张图像时，更引入注目的部分往往为显著的主体区域，这部分区域称为前景。前景部分的某些空间信息(颜色、轮廓、纹理、灰度等)与周围环境存在差别。前景分割就是基于这些差异，将把图像具有独特性质的前景区域进行分割和提取的技术。该技术如Fasr R
‑
CNN、Mask R
‑
CNN、MaskLab在人们的实际生活中有广泛的应用：医学领域中的测量图像中组织大小、在遥感领域中的提取云图中的云系、在交通领域对车辆轮廓特征提取与行人检测等。虽然前景分割技术已为人们提供便利，但是至今仍未存在一种通用的前景分割方法适用于所有应用场景，且对图像的低层特征信息和高层特征信息很难达到合理且平衡的使用。
[0003]图像的低层特征信息是在早期经典的图像分割方法中(如基于边缘检测的图像分割、基于阂值的图像分割、基于区域分割方法)经常使用的信息，利用图像的纹理与灰度等图像信息完成前景分割。但是基于低层特征信息的分割方法有很大的局限性：图像同一区域内需具有相似性和连续性，分割效果的优劣对相似性条件很强的依赖性，分割结果极易出现过分割的情况。近年来，研究者逐渐将研究重点转移到高层特征信息，利用人工神经网络技术或遗传算法获取上下文特征信息或高级语义信息，为图像分割提供了新的思路。但基于高层特征信息的分割方法发展还未成熟，其普适性和速率仍有待加强。因此，在现阶段，更好的将发展相对成熟的提取低层特征信息方法和有利于边缘处理精确化的提取高层特征信息方法相结合，是推进前景分割方法取得突破的途径之一。
[0004]前景分割技术作为图像处理和分析环节的关键技术，在未来将更加广泛被应用到人们的生活中。前景分割技术上的进步和突破会给计算机图像视觉处理的分支，如图像语义分割、图像目标检测提供更好的思路和图像处理方法。

技术实现思路

[0005]为了克服现有技术的不足，本专利技术提出了一种确定主体和精准化边缘相结合的图像前景分割方法。确定主体分割方法使用低层特征信息与高层特征信息相结合来确认图像前景主体，再使用交叉熵损失来监督显著边界定位信息的生成。而精准化边缘分割方法，结合光谱消光的所得图像信息和卷积神经网络所得的高级语义信息，通过图结构形成拉普拉斯矩阵得到特征向量，更加注重边缘的细节和特点。最后，将主体分割得到的边界信息与拉普拉斯矩阵的特征向量点乘，得到结果图像层。该专利技术可以在确认主体轮廓的基础上，更加精准化边缘细节特征，提升了前景分割的准确性。引入高层特征信息，增加图像分割应用场景的普适性的同时，也更容易处理复杂背景的图像前景分割。
[0006]本专利技术提供如下的技术方案：
[0007]一种确定主体和精准化边缘相结合的图像前景分割方法，包括如下步骤：
[0008]1)确定主体；
[0009]1.1)输入图像，采用上下文感知金字塔特征提取模块CPFE用于多尺度高层次特征映射，以获得丰富的上下文特征；CPFE将VGG
‑
16网络架构中的Conv3
‑
3、Conv4
‑
3和Conv5
‑
3作为基本的高层特征；
[0010]1.2)在上下文感知金字塔特征提取后，添加并使用通道注意力机制CA模型，通过使用CA对上下文感知金字塔特征进行加权，输出的新的高层特征；
[0011]1.3)获取自然图像的低层特征，将VGG
‑
16网络架构中的Conv1
‑
2和Conv2
‑
2作为基本的低层特征作为输入；采用空间注意力机制SA模型更多地关注显著性物体和背景之间的边界，助于生成用于包含更多边界信息的有效低层特征；
[0012]1.4)将通过通道注意机制CA加权后的高层特征和通过空间注意机制SA加权后的低层特征输出融合在一起，使用交叉熵损失来监督显著边界定位信息的生成；根据定位信息，输出图像前景轮廓的灰度图；
[0013]2)边缘精准化；
[0014]2.1)首先是输入图像后，进行收集图像信息特征；图像的信息特征主要来自两个方面：一是基于光谱消光，从谱分析的角度，得到来自输入图像的非局部的颜色关系信息；二是使用用于场景分析的卷积神经网络，生成的高级语义关系信息；
[0015]2.2)随后将图像的非局部的颜色关系信息和高级语义关系信息相结合，建立图像层，在拉普拉斯矩阵L的特征向量中揭示语义对象以及语义对象之间的软过渡关系；
[0016]2.3)接着提取L矩阵的100个最小特征值对应的特征向量，再使用k
‑
means聚类处理特征向量；边缘精准化处理过程完毕，将输出由拉普拉斯矩阵构成的图像图层；
[0017]3)确定主体结果与边缘精准化结果的融合；
[0018]3.1)首先，处理确定主体部分的结果：通过步骤1.4)的输出结果所得到灰度图进行二值化处理，保留主体轮廓以及明显的主体白色区域；
[0019]3.2)接着，处理边缘精准化部分的结果：遍历整个矩阵集合，找到每个像素点所属的最大透明度的类所在的矩阵，认为是其属于的类，除了该类外其他矩阵中的透明度均设置为0；
[0020]3.3)最后，将3.2)步骤中输出的拉普拉斯矩阵集合分别和显著性检测结果的灰度图进行点乘，再确定所需保留以及保留类之间交集部分，将所有保留记录的部分结合起来就是最终所需前景主体部分；
[0021]3.4)确定主体结果与边缘精准化结果的融合过程处理完毕，输出图像的前景部分。
[0022]所述的一种确定主体和精准化边缘相结合的图像前景分割方法，其特征在于，所述步骤1.1)具体过程如下：
[0023]1.1.1)为了使得最终提取的高层特征满足尺度不变性和形状不变性特征，采用不同扩张率的多孔卷积，并进一步分别设置扩张率为3、5和7来捕捉上下文信息；多孔卷积向卷积层引入了扩张率参数，该参数定义了卷积核处理数据时各值的间距，多孔卷积的优势在于可以得到更大的感受野，获得更加密集的数据且提高小物体识别分割的的效果；
[0024]1.1.2)通过跨通道连接，将来自不同多孔卷积层的特征图与1
×
1降维特征进行拼
接，然后，利用上下文感知信息得到三种不同尺度的特征，三种不同尺度的特征两两组合，将每两个较小的尺度特征上采样得到较大的尺度特征，因此输出三个尺度的高级特征；其中，上采样又称图像插值，即在原有图像像素的基础上在像素点之间采用插值算法插入新的元素，从而放大原图像。
[0025]1.1.3)最后，通过跨通道连接将上采样得到的高级特征组合起来，作为上下文感知金字塔特征提取模块的输出。
[0026]所述的一种确定主体和精准化边缘相结合的图像前景分割方法，其特征在于，所述步骤1.2)具体过程如下：
[0027]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定主体和精准化边缘相结合的图像前景分割方法，其特征在于，包括如下步骤：1)确定主体；1.1)输入图像，采用上下文感知金字塔特征提取模块CPFE用于多尺度高层次特征映射，以获得丰富的上下文特征；CPFE将VGG
‑
16网络架构中的Conv3
‑
3、Conv4
‑
3和Conv5
‑
3作为基本的高层特征；1.2)在上下文感知金字塔特征提取后，添加并使用通道注意力机制CA模型，通过使用CA对上下文感知金字塔特征进行加权，输出的新的高层特征；1.3)获取自然图像的低层特征，将VGG
‑
16网络架构中的Conv1
‑
2和Conv2
‑
2作为基本的低层特征作为输入；采用空间注意力机制SA模型关注显著性物体和背景之间的边界，助于生成用于包含边界信息的有效低层特征；1.4)将通过通道注意机制CA加权后的高层特征和通过空间注意机制SA加权后的低层特征输出融合在一起，使用交叉熵损失来监督显著边界定位信息的生成；根据定位信息，输出图像前景轮廓的灰度图；2)边缘精准化；2.1)首先是输入图像后，进行收集图像信息特征；图像的信息特征主要来自两个方面：一是基于光谱消光，从谱分析的角度，得到来自输入图像的非局部的颜色关系信息；二是使用用于场景分析的卷积神经网络，生成的高级语义关系信息；2.2)随后将图像的非局部的颜色关系信息和高级语义关系信息相结合，建立图像层，在拉普拉斯矩阵L的特征向量中揭示语义对象以及语义对象之间的软过渡关系；2.3)接着提取L矩阵的100个最小特征值对应的特征向量，再使用k
‑
means聚类处理特征向量；边缘精准化处理过程完毕，将输出由拉普拉斯矩阵构成的图像图层；3)确定主体结果与边缘精准化结果的融合；3.1)首先，处理确定主体部分的结果：通过步骤1.4)的输出结果所得到灰度图进行二值化处理，保留主体轮廓以及明显的主体白色区域；3.2)接着，处理边缘精准化部分的结果：遍历整个矩阵集合，找到每个像素点所属的最大透明度的类所在的矩阵，认为是其属于的类，除了该类外其他矩阵中的透明度均设置为0；3.3)最后，将3.2)步骤中输出的拉普拉斯矩阵集合分别和显著性检测结果的灰度图进行点乘，再确定所需保留以及保留类之间交集部分，将所有保留记录的部分结合起来就是最终所需前景主体部分；3.4)确定主体结果与边缘精准化结果的融合过程处理完毕，输出图像的前景部分。2.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法，其特征在于，所述步骤1.1)具体过程如下：1.1.1)为了使得最终提取的高层特征满足尺度不变性和形状不变性特征，采用不同扩张率的多孔卷积，并进一步分别设置扩张率为3、5和7来捕捉上下文信息；1.1.2)通过跨通道连接，将来自不同多孔卷积层的特征图与1
×
1降维特征进行拼接，然后，利用上下文感知信息得到三种不同尺度的特征，三种不同尺度的特征两两组合，将每两个较小的尺度特征上采样得到较大的尺度特征，因此输出三个尺度的高级特征；其中，上
采样又称图像插值，即在原有图像像素的基础上在像素点之间采用插值算法插入新的元素，从而放大原图像；1.1.3)最后，通过跨通道连接将上采样得到的高级特征组合起来，作为上下文感知金字塔特征提取模块的输出。3.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法，其特征在于，所述步骤1.2)具体过程如下：1.2.1)首先将进行上下文感知金字塔特征提取后高层特征f
h
∈R
W
×
H
×
C
展开为其中表示表示高层特征f
h
的第i层，R表示空间位置集合，W表示尺寸的宽度，H表示尺寸的高度，C表示总通道数；随后平均池化高级特征每层的以获得通道特征向量v
h
，其中平均池化的目的是减小因邻域大小受限造成估计值方差增大的误差，从而有利于保留图像更多的背景信息，平均池化的结果S
j
通过下述公式求得：其中，T表示选择参与池化的激活值的序位阈值，R
j
表示在第j个特征图内的池化域，i表示在这个池化域内激活值的索引值，r
i
和a
i
分别表示激活值i的序位和激活数值；1.2.2)然后，将上一步获得的通道特征向量v
h
，通过全连接层FC，输出到ReLU层；1.2.3)随后，通道特征向量通过使用Sigmoid运算，映射到[0，1]之间，完成归一化处理并得到ca值，即高层特征每层的权重矩阵；因此ca＝F(v
h
，W)＝σ1(fc2(δ(fc1(v
h
，W1))，W2))，其中W1、W2为通道注意力机制的参数，σ1指的是sigmoid操作，fc指的是全连接层，δ指的是ReLU函数；1.2.4)最后，输出对上下文感知金字塔特征进行加权后的高层特征其中
·
表示点乘；4.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法，其特征在于，所述步骤1.3)具体过程如下：1.3.1)输入对上下文感知金字塔特征进行加权后的高层特征来捕获空间关注点；为了获得全局信息而不增加参数，采用了两个卷积层，一个核为1
×<...

【专利技术属性】
技术研发人员：陆佳炜，朱冰倩，陈纬鉴，姜钦凯，董振兴，朱明杰，程振波，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：