【技术实现步骤摘要】
本专利技术涉及计算机视觉及显著性检测领域，具体涉及基于双分支预测和多尺度特征的显著性检测方法及系统。
技术介绍
1、显著性检测作为计算机视觉的重点研究方向之一，其任务是在图像中检测出最明显被人眼关注到的目标或区域。近年来，基于卷积神经网络(cnn)的显著目标检测方法取得了显著的性能提升。最近对显著目标检测(sod)的研究主要集中在使用基于完全卷积网络(fcn)的编码器-解码器模型进行像素级分类。例如公布号为cn115546511a的现有专利技术专利申请文献《一种基于图卷积梯度引导的多分支协同显著性检测方法》，该现有方法在相似度提取分支中，用cnn提取输入的一组图片的浅层和中层特征。在图卷积分支中，用gcn对这组图片进行特征提取，剔除背景噪声，得到平滑的深层特征。将此二分支高维特征进行融合，得到一组具备鉴别性的共识表示，再将此共识表示逐次与组内单张图片特征信息进行融合，得到一组高维图像级信息，利用反向传播中的梯度信息来引导模型关注具有鉴别性的特征。进一步利用坐标轴注意力机制，协助在引导深层信息指导上采样过程中恢复目标边界，最终获得协同显著性图。以及公布号为cn116883818a的现有专利技术专利申请文献《一种基于特征强化和对比学习的协同显著性检测方法及系统》，该现有方法包括：将一组训练图像输入vgg16编码器，提取图像不同层次的特征，其中，vgg16编码器根据卷积层的深度将特征由浅至深记为x1,x2,x3,x4,x5；将特征x5经残差卷积层后，输入到协同显著性检测器gam中进行编码，得到一组图像的共同显著性对象，记为协同显著性原
2、综上，现有技术中的显著性检测方法存在只关注于前景信息，而忽略背景信息导致的生成的显著图不清晰的技术问题。
技术实现思路
1、本专利技术所要解决的技术问题在于：如何解决现有技术中的显著性检测方法只关注于前景信息，而忽略背景信息导致的生成的显著图不清晰的技术问题。
2、本专利技术是采用以下技术方案解决上述技术问题的：基于双分支预测和多尺度特征的显著性检测方法包括：
3、s1、获取并划分预置常规显著性检测数据集，以得到训练集、验证集以及测试集；
4、s2、利用主干网络efficient-net，从预置常规显著性检测数据集中提取主要特征，并根据差异种类特征增强策略，构建显著性检测网络dbnet，其中，新双分支模块包括：前景分支模块fm、背景分支模块bm，差异种类特征增强策略包括：目标细化模块orm、傅里叶边界提取模块fee以及gcm模块，利用前景模块fm提取前景信息，利用背景模块bm提取背景信息，利用显著性检测网络dbnet各能级前景信息及背景信息，进行显著性检测，以得到训练完成网络；
5、s3、在测试集上，测试训练完成网络得到测试结果，根据预置评价指标对测试结果进行指标测试，以得到网络训练结果模型供显著性检测操作。
6、本专利技术针对现有技术中训练监督阶段只针对前景信息进行损失函数计算及反向传播的问题，采用双分支的显著性检测网络，同时对前景背景信息进行关注，本专利技术构建的显著性检测网络dbnet，通过双分支检测结构实现了对前景和背景信息的关注，提升了显著性检测的精度。
7、本专利技术在网络的上采样阶段构建了一种多特征增强策略以充分利用多重特征，构建并采用提出的对象细化模块orm和傅里叶边界提取模块fee。前述模块分别关注多尺度特征融合和边界信息提取，实现了对多层级特征的有效利用，有效提升了显著性检测网络精度。此外为了更好的利用最后一层的高级特征，本专利技术构建了gcm模块来从最后一层中提取全局语义特征帮助更好的目标检测定位性能，进一步提高了显著图生成清晰度。
8、在更具体的技术方案中，步骤s1中，预置常规显著性检测数据集包括：duts、dut-o、ecssd、hku-is以及pascal-s。
9、在更具体的技术方案中，步骤s2中的差异种类特征增强策略执行过程包括：
10、s21、构建并利用目标细化模块orm，根据主要特征，融合多尺度上下文特征，以得到对象显著性增强特征；
11、s22、构建并利用傅里叶边界提取模块fee，从频域提取边界特征，获取对象边界清晰度增强特征；
12、s23、构建并利用gcm模块，将最后一层的对象显著性增强特征、对象边界清晰度增强特征，逐层次地融合到之预置前层数的特征，以得到适用显著性增强特征。
13、在更具体的技术方案中，步骤s21包括：
14、s211、在目标细化模块orm中，进行通道级注意力操作，以挖掘出表达能力增强通道；
15、s212、利用目标细化模块orm的多尺度卷积层及表达能力增强通道，提取目标信息特性，以对差异膨胀率、大卷积核大小卷积进行结合，以完成膨胀卷积操作。
16、本专利技术构建的双分支模块分别提取前景和背景信息，每个分支采用多种特征增强策略，该策略利用目标细化模块(orm)，融合多尺度的上下文特征，增强对象的显著性。本专利技术通过在orm中引入多尺度卷积层逐渐细化目标，避免了使用固定的卷积层进行特征提取导致的详细信息丢失问题。
17、本专利技术在膨胀卷积之前引入了通道级注意力操作，以挖掘关键通道，从而增强显著特征的表达能力。本专利技术利用目标细化模块orm中的各网络层从多尺度特征中高效提取目标信息，结合不同膨胀率和大卷积核大小的卷积。这使得对象细化模块能够同时关注小目标和大目标，通过膨胀卷积增加感受野，同时不会增加额外的计算量。
18、在更具体的技术方案中，步骤s22中，傅里叶边界提取模块fee包括：fft模块、反傅里叶变换模块ifft、高通滤波器mask以及rfb模块。
19、本专利技术提出了傅里叶边界提取模块(fee)，从频域提取边界特征，采本文档来自技高网...
【技术保护点】
1.基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤S1中，所述预置常规显著性检测数据集包括：DUTS、DUT-O、ECSSD、HKU-IS以及PASCAL-S。
3.根据权利要求1所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤S2中的所述差异种类特征增强策略执行过程包括：
4.根据权利要求3所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤S21包括：
5.根据权利要求3所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤S22中，所述傅里叶边界提取模块FEE包括：FFT模块、反傅里叶变换模块iFFT、高通滤波器Mask以及RFB模块。
6.根据权利要求5所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，利用所述FFT模块进行二维傅里叶变换，以提取频域信息；在所述反傅里叶变换模块iFFT加入所述高通滤波器Mask，以在所述频域信息中消除
7.根据权利要求3所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤S23中的所述GCM模块包括：池化层、上采样层以及叠加层，所述步骤S23包括：
8.根据权利要求7所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤S23中，在所述GCM模块中，通过所述多尺度池化操作提取得到差异细粒度全局目标信息，据以得到并输出二维权重图。
9.根据权利要求1所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤S3中，根据所述前景分支模块FM输出的前景信息，获取并计算输出显著图，进行计算时，假设：
10.基于双分支预测和多尺度特征的显著性检测系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤s1中，所述预置常规显著性检测数据集包括：duts、dut-o、ecssd、hku-is以及pascal-s。
3.根据权利要求1所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤s2中的所述差异种类特征增强策略执行过程包括：
4.根据权利要求3所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤s21包括：
5.根据权利要求3所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，所述步骤s22中，所述傅里叶边界提取模块fee包括：fft模块、反傅里叶变换模块ifft、高通滤波器mask以及rfb模块。
6.根据权利要求5所述的基于双分支预测和多尺度特征的显著性检测方法，其特征在于，利用所述fft模块进行二维傅里叶变换，以提...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。