【技术实现步骤摘要】
本案涉及弱监督显著性目标检测领域，尤其涉及一种基于互补图推理网络的涂鸦式弱监督显著性目标检测方法。
技术介绍
1、弱监督显著性目标检测在借助卷积神经网络时，上下文信息能够转换为表达能力更强的特征，比如piao等人针对图像级标签提出了带有多个过滤器的显著性网络，从嘈杂的伪标签中提取和过滤更准确的显著性线索。而yu等人提出通过涂鸦标注来进行弱监督显著性目标检测的单轮端到端训练方法，引入门控条件随机场损失，根据图像特征与像素距离来将标签传播到未标记的区域，从而预测具有一致目标结构的整体显著性区域。但该方法由于涂鸦注释非常稀疏，模型很难从中获得足够完善的监督信息，进而导致预测到的显著性区域不完整。其次，显著性对象边界附近的低对比度区域具有很强的不确定性，其中的难像素很难进行正确的分类，最终产生边界模糊的显著性图。一些方法通过生成伪标签以得到可靠的标注信息，但这实际上只是转移了注释稀疏的问题，伪标签通常存在大量的噪声，并且整体方案复杂，难以复现。另外，一些工作还引入边缘标签进行监督训练，但此类方法只是利用边缘信息指导显著性目标分割，没有考虑到两者之间联系，一个潜在的可能是这会增加了模型对边缘检测精确度的依赖，导致更多全局性的信息丢失。而且，引入的边缘特征很可能包含噪声，甚至反过来会降低显著性目标检测模型的性能，陷入局部最优的状况。
技术实现思路
1、为了解决现有弱监督显著性目标检测方法无法从涂鸦注释中恢复完整的显著性对象结构的问题，本案提出了一种基于互补图推理网络的涂鸦式弱监督显著性目标检测
2、为实现上述技术目的，本案的具体技术方案如下。
3、第一方面，本案提出一种基于互补图推理网络的涂鸦式弱监督显著性目标检测方法，是在目标检测过程中可有效利用上下文信息并考虑其与全局信息关系，克服了现有弱监督显著性目标检测方法无法从稀疏的涂鸦注释中恢复完整的显著对象结构且对局部特征和全局特征间的联系欠缺考虑的缺陷。具体地，所述方法将待分割图像输入训练好的目标检测模型，输出目标分割结果；其中：所述目标检测模型采用涂鸦标注进行弱监督训练，步骤包括：
4、提取样本图像的多尺度特征，进而获取基础边缘特征、基础显著性特征、粗粒度显著性特征；
5、基于基础边缘特征和基础显著性特征，获得各自对应的图表征，在对表征交叉互补后，利用图卷积网络传播表征信息，进而获得增强边缘特征和增强显著性特征；
6、将增强边缘特征进行修正，获得显著性边缘特征；
7、将显著性边缘特征、增强显著性特征和粗粒度显著性特征进行融合，进而获得目标分割结果；
8、其中，目标检测模型训练损失由门控条件随机场损失llsc、边缘预测损失le、涂鸦标注像素区域的显著性预测损失lpce构成。
9、在上述技术方案中，基础边缘特征、基础显著性特征、粗粒度显著性特征，获取步骤包括，一种获取的实施方式中，步骤包括：
10、采用五层卷积神经网络提取图像特征，依次得到各层特征fi(i＝1，2，3，4，5)；
11、将低层特征f1和f2重采样后进行拼接得到基础边缘特征，将层特征f3、f4和f5重采样后进行拼接得到基础显著性特征；
12、基于高层特征f5获得粗粒度显著性特征。
13、在上述技术方案中，增强边缘特征和增强显著性特征，一种实施方式中步骤包括：
14、基于基础边缘特征、基础显著性特征，利用图投影分别获取边缘图表征ze、显著性图表征zs；
15、将边缘图表征ze、显著性图表征zs分别进行空间位置编码，利用多层感知器模型实现两者的表征交叉互补得到边缘图表征z′e、显著性图表征z′s，进而经图卷积网络传播表征信息，获得增强边缘图表征增强显著性图表征再利用反投影还原获得两者对应原始空间坐标的特征，分别为增强边缘特征和增强显著性特征
16、在上述技术方案中，表征交叉的一种实施规则为：
17、
18、式中：关系矩阵通过计算图表征间的对应关系获得，ge(·)和gs(·)代表1维卷积、批归一化和激活函数relu的组合，gcu1为第一表征交叉单元，gcu2为第二表征交叉单元，表示将ze经过mlp层初步处理之后进行表征交叉之前的边缘图表征，表示将zs经过mlp层初步处理之后进行表征交叉之前的显著性图表征，d为通道维数，v为图投影中预设的聚类中心数，r为边缘图表征z′e或显著性图表征z′s的数域。
19、在上述技术方案中，图卷积网络传播表征信息的一种实施方式中，采用的计算方法为：
20、
21、式中：gcn(·)为图卷积网络，σ(·)是非线性激活函数，相似度矩阵ae＝z′et×z′e，as＝z′st×z′s，和是一组可学习参数。
22、在上述技术方案中，增强边缘特征和增强显著性特征获取步骤包括，一种实施方式中获取步骤包括：
23、基于基础边缘特征fe获取对应的软分配矩阵qe，基于基础显著性特征fs，获取对应的软分配矩阵qs；
24、按下式进行反投影计算，得到原始空间坐标特征，计算式如下：
25、
26、其中：rh×w×d是原始空间坐标的特征维度空间，h为边缘特征或显著性特征的高，w为边缘特征或显著性特征的宽，d表示边缘特征或显著性特征的通道维度。
27、在上述技术方案中，显著性边缘特征，一种实施方式中获取步骤包括：
28、将增强边缘特征经卷积处理得到特征f′e，并计算特征f′e的通道权重d，进而得到修正边缘特征
29、
30、
31、式中：c3和c4代表卷积层，gap(·)表示全局平均池化，relu(·)是非线性激活函数，δ(·)表示sigmoid函数，表示逐像素乘法；
32、使用修正边缘特征获得增强边缘特征并与使用canny算子提取修正的输入图像的边缘特征进行连接，然后利用卷积层调整通道数，生成显著性边缘特征fe，即：
33、
34、式中：canny(·)是canny边缘提取算子，i表示输入图像，concat(·)为按通道拼接操作，代表逐像素相加。
35、在上述技术方案中，融合的一种实现方式，步骤包括：
36、基于增强显著性特征进行通道调整，获得增强显著性特征fs；
37、将增强显著性特征fs、显著性边缘特征fe以及粗粒度显著性特征sc进行融合，密集融合策略的计算规则如下：
38、
39、
40、sr＝conv(concat(conv(up(s1))，s2))
41、式中：con本文档来自技高网...
【技术保护点】
1.一种基于互补图推理网络的涂鸦式弱监督显著性目标检测方法，其特征在于：
2.根据权利要求1所述的方法，其特征在于，基础边缘特征、基础显著性特征、粗粒度显著性特征，获取步骤包括：
3.根据权利要求1所述的方法，其特征在于，增强边缘特征和增强显著性特征，获取步骤包括：
4.根据权利要求3所述的方法，其特征在于，表征交叉规则为：
5.根据权利要求3所述的方法，其特征在于，图卷积网络传播表征信息的计算方法为：
6.根据权利要求3所述的方法，其特征在于，增强边缘特征和增强显著性特征获取步骤包括：
7.根据权利要求1所述的方法，其特征在于，显著性边缘特征获取步骤包括：
8.根据权利要求1所述的方法，其特征在于，融合的实现步骤包括：
9.根据权利要求1所述的方法，其特征在于，目标检测模型训练损失的计算如下：
10.一种显著性目标检测系统，其特征在于：
【技术特征摘要】
1.一种基于互补图推理网络的涂鸦式弱监督显著性目标检测方法，其特征在于：
2.根据权利要求1所述的方法，其特征在于，基础边缘特征、基础显著性特征、粗粒度显著性特征，获取步骤包括：
3.根据权利要求1所述的方法，其特征在于，增强边缘特征和增强显著性特征，获取步骤包括：
4.根据权利要求3所述的方法，其特征在于，表征交叉规则为：
5.根据权利要求3所述的方法，其特征在于，图卷积网络...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。