应对多任务的少信息损失的特征提取方法技术

技术编号:43519235 阅读:25 留言:0更新日期:2024-12-03 12:09
一种应对多任务的少信息损失的特征提取方法,包括:将一输入信息同时输入至两条独立路径中,第一路径为卷积神经网络路径,第二路径为Vision Transformer路径;输入信息为一张图片或一组原始特征矩阵;通过第一路径关注到第一组特征矩阵,对应输入信息中的局部特征;通过第二路径关注到第二组特征矩阵,对应输入信息中的全局特征;将两组特征矩阵的相似区域选出并进行融合,并且进行融合的特征分别对应两组特征矩阵中的不同深度层;将两组特征矩阵中未融合的特征进行信息恢复,并将恢复后的特征叠加到已融合的特征上。本发明专利技术采用了错位融合策略,促进了具有相似表现的特征的融合,从而有效地减轻了信息损失,提升了下游任务的准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域,具体涉及一种应对多任务的少信息损失的特征提取方法,该方法可用于在深度学习网络中,提取输入图片的特征,用于应对分割、分类、生成、检测等机器视觉有关任务。


技术介绍

1、基于卷积神经网络的特征提取器可用于提取局部特征,但缺乏提取全局特征的能力。在基于卷积神经网络的特征提取器基础上改良的,基于自适应网络的特征提取器,可以提取全局特征,但缺乏对部分局部特征的提取能力,从而不具有预测多尺寸目标的能力。

2、虽然现有的技术尝试对卷积神经网络和自适应网络进行融合,使特征提取器同时拥有提取局部特征和全局特征的能力。然而,现有技术未考虑到不同网络的特征分布不同,若直接融合上述这两种特征,则会由于特征分布差异过大造成信息损失。信息损失将导致特征提取器的信息提取能力下降,从而对下游任务,例如分类、分割、检测、生成等造成不利的影响,使下游任务的准确率下降或是生成的质量降低。

3、现有的使传统卷积神经网络提取器获得提取全局信息能力的一种简单方式是:将它的一部分或所有模块都替换为自适应网络。在transclaw u-net中,自适本文档来自技高网...

【技术保护点】

1.一种应对多任务的少信息损失的特征提取方法,其特征在于:包括:

2.根据权利要求1所述的应对多任务的少信息损失的特征提取方法,其特征在于:于步骤二中,判定两组特征矩阵中相似区域的方式为:

3.根据权利要求2所述的应对多任务的少信息损失的特征提取方法,其特征在于:多组所述数据集由多组不同的任务产生。

4.根据权利要求1所述的应对多任务的少信息损失的特征提取方法,其特征在于:于步骤二中,所述融合的方式为:

5.根据权利要求1所述的应对多任务的少信息损失的特征提取方法,其特征在于:于步骤三中,通过解码器中的反卷积增加特征图的空间维度,通过跳跃连...

【技术特征摘要】

1.一种应对多任务的少信息损失的特征提取方法,其特征在于:包括:

2.根据权利要求1所述的应对多任务的少信息损失的特征提取方法,其特征在于:于步骤二中,判定两组特征矩阵中相似区域的方式为:

3.根据权利要求2所述的应对多任务的少信息损失的特征提取方法,其特征在于:多组所述数据集由多组不同的任务产生。

4.根据权利要求1所述的应对多任务的少信息损失的特征提取方法,其...

【专利技术属性】
技术研发人员:刘添翼江浩川黄开竹
申请(专利权)人:西交利物浦大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1