一种基于多分割图融合的图像像素级分类方法技术

本发明专利技术公开了一种基于多分割图融合的图像像素级分类方法。该方法有三个主要步骤,首先在多个分割图间引入指导机制，使用较高精度分割图指导较低精度分割图提高精度。接着引入一种共识机制，在各个图中可能产生分类冲突的边缘区域像素点间，通过协商策略达成分类共识。最后使用一种基于全卷积神经网络的融合策略，有效结合前述两种机制，得到最终输出。本发明专利技术能够有效地解决边缘区域的像素分类冲突问题，将多个分割图进行融合得到粒度更细的像素级分类结果。可与多种技术结合使用，包括但不限于深度神经网络、随机森林与支持向量机等有监督学习方法。该方法的使用，可以有效弥补现有方法对冲突像素点重视的不足，得到质量更高的融合分割结果。

【技术实现步骤摘要】
一种基于多分割图融合的图像像素级分类方法
本专利技术涉及一种图像处理与分析技术,属于图像内容理解

技术介绍
图像内容理解是计算机视觉领域的一个重要的研究目标。随着计算机视觉技术的不断发展，对于图像内容的理解也在往更细粒度的方向发展。分割，也即像素粒度图像分类，作为实现图像内容理解的重要方法之一，如何在当前已有的技术基础上实现更细粒度的分类效果，是当前研究的重点所在。这其中不可避免地会涉及到不同现有技术间的像素点分类冲突问题，这种冲突一般发生在不同部分分割内容间的边缘部分。现有方法对于目前存在的几类冲突问题仍未提出有效的解决方案：1)相同前景物体不同分割间的分类冲突。2)相同背景内容不同分割间的分类冲突。3)前景物体与背景内容相接部分的分类冲突。
技术实现思路
本专利技术的目的是为解决相同前景物体不同分割间的分类冲突、相同背景内容不同分割间的分类冲突、前景物体与背景内容相接部分的分类冲突的问题，本专利技术提出了一种分割图融合技术，该方法有针对性地解决了不同分割图间的三类像素分类冲突问题，提高了本文档来自技高网...

【技术保护点】
1.一种基于多分割图融合的图像像素级分类方法，其特征在于，包括以下步骤：/n(1)引入指导机制，根据各部分分割内容的分割质量，使用注意力机制将高精度内容提供给低精度部分使其着重关注，对相应区域的语义信息进行补充，提高低精度部分的分割精度；/n(2)引入共识机制，在损失函数相应项的指导下，通过在有监督学习方法的学习阶段不断地协商习得一个边缘区域像素点上的共识掩码，化解边缘区域可能存在的分类冲突；/n(3)使用一种基于全卷积神经网络的融合策略，综合前述两种机制结果得到最终输出。/n

【技术特征摘要】
1.一种基于多分割图融合的图像像素级分类方法，其特征在于，包括以下步骤：
(1)引入指导机制，根据各部分分割内容的分割质量，使用注意力机制将高精度内容提供给低精度部分使其着重关注，对相应区域的语义信息进行补充，提高低精度部分的分割精度；
(2)引入共识机制，在损失函数相应项的指导下，通过在有监督学习方法的学习阶段不断地协商习得一个边缘区域像素点上的共识掩码，化解边缘区域可能存在的分类冲突；
(3)使用一种基于全卷积神经网络的融合策略，综合前述两种机制结果得到最终输出。


2.根据权利要求1所述的一种基于多分割图融合的图像像素级分类方法，其特征在于，所述步骤(1)中的指导机制通过以下子步骤来实现：
(1.1)定义待融合输入为前景物体分割图mentorfo与背景内容分割图inbc，定义outbc为背景内容部分经过指导后的输出，则它们之间的关为其中与分别为逐像素乘与逐像素加操作，rescale(·)用于分割图间尺寸的配准，norm(·)为归一化操作，与分割图数目负相关；
(1.2)在相应有监督学习方法中中配合如下损失项对指导效果进行衡量：定义p与g为预测输出与标注输出，此场景下指导损失项为


3.根据权利要求1所述的一种基于多分割图融合的图像像素级分类方法，其特征在于，所述步骤(2)中的共识机制通过以下子步骤来实现：
(2.1)初始化共识掩码，将两部分分别编码为0与1，共识掩码为二值掩码，初始时为0值掩码，若(i,j)位置值为0表示双方达...

【专利技术属性】
技术研发人员：姚莉，乔昂，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32