【技术实现步骤摘要】
一种基于混合标签的弱监督显著性检测方法及训练策略
[0001]本专利技术涉及图像处理
，具体说是一种基于混合标签的弱监督显著性检测方法及训练策略。
技术介绍
[0002]图像作为人可以直观感受到的最直接的信息，相比于人为加工的文字，能包含更多的信息，因此人们经常使用图像进行信息获取、信息表达和信息传递等重要活动。而人眼从图像中所注意到的图像往往有先后之分，往往最先注意到的图像最能体现人眼所最关注的部分，显著性检测就是这样一项图像处理技术。从一张RGB彩色照片或者一段视频中，检测出最受人眼关注的物体，有助于快速提炼一张图像的信息，在信息量如此庞大的互联网时代，能大大有助于图像检索，提高图像检索的效率。此外，互联网时代信息的传递也是纷繁复杂，如何能在同样的带宽下传递更多的信息往往代表着更属实的网络体验，而通过显著性检测技术，可以将图像或者视频进行处理，提取出主要物体，对图像或者视频进行压缩，从而减少图像或者视频大小，提高网络传输效率。这些应用只是显著性目标检测的一部分，比如目标跟踪、图像/视频编辑等领域，显著性目标检测技术...
【技术保护点】
【技术特征摘要】
1.一种基于混合标签的弱监督显著性检测方法，其特征在于，包括R
‑
Net和S
‑
Net；R
‑
Net整体采用编码器
‑
解码器架构，用以接收主流分支和引导分支的信息，形成双流编码结构；R
‑
Net中还包括带有引导和聚合机制的混合器BGA，用以实现引导阶段和聚合阶段的特征解码；S
‑
Net用于在真实标签监督下对待预测的RGB图片进行显著性检测；上述R
‑
Net指修正网络，S
‑
Net指显著性预测网络；主流分支指主流修复分支，包括RGB图片和粗糙标签；引导分支指独立的RGB图片引导分支；上述引导阶段指使用引导分支的信息补充主流分支；聚合阶段指整合相应层的编码器特征、前一层的解码器特征和来自编码器顶层的全局特征。2.如权利要求1所述的一种基于混合标签的弱监督显著性检测方法，其特征在于：所述引导阶段中，将主流分支和引导分支中对应层的编码器串联起来进行补充，然后用通道注意力来突出必要的通道特征以进行过滤，表述为式(1)：上式中，表示通道注意力处理后的互补特征，CA为通道注意力操作，和分别表示主流分支和引导分支中第i层的编码器特征，[,]表示沿通道维度进行的级联操作；表示有信道维度广播的逐元素乘法；从RGB信息角度生成需要强调的空间位置掩码，并以此来更新细化分支的特征，表述为式(2)：上式中，为空间注意力增强后引导阶段的最终输出的编码器特征，SA为空间注意力操作，
⊙
为逐元素相乘操作，Conv1×1表示卷积核大小为1
×
1的卷积层。3.如权利要求1所述的一种基于混合标签的弱监督显著性检测方法，其特征在于：所述聚合阶段中，整合引导阶段生成的相应层的编码器特征、来自顶层编码器的全局特征以及前一层的解码器特征，具体为：通过重要性加权策略将主流分支和引导分支的语义特征和引导阶段生成的编码器特征相结合，表述为式(3)：上式中，表示来自两个分支的融合语义特征，也就是来自顶层编码器的全局特征；为相应层的编码器特征；P
i
是学习的重要性权重，用于控制f
g
和特征的融合占比；然后，含有全局语义信息的融合特征被激活为语义掩码，用于修正上采样的解码器特征，表达为式(4)：上式中，是第i层的修正解码器特征；代表第i+1层的原始解码器特征，也就是前一层的解码器特征；Up代表双线性插值的上采样操作，σ代表sigmoid激活函数；
通过空间注意力机制进一步用过滤过的特征来补充修正的解码器特征，以获得更全面的与显著性相关的解码器特征，表达为式(5)：上式中，是第i层修正的解码器特征，SA表示空间注意力操作。4.一种基于混合标签的弱监督显著性检测训练策略，其特征在于，包括以下步骤：步骤1、在数据集中随机选取一定数量的样本作为真实标签的训练子集，并使用最小化栅格方法生成上述数据集中所有样本的相应粗略标签；步骤2、将步骤1中得到的包括真实标签和粗略标签的所有训练样本进行平均分成n组，其中的真实标签归入组1，其他粗略标签归入组2至组n；步骤3、使用步骤2得到的各组训练样本利用交替增量迭代机制训练R
‑
Net和S
【专利技术属性】
技术研发人员：丛润民，秦萁，熊航，刘鸿羽，白慧慧，赵耀，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。