一种基于注意力机制的多视觉混合任务学习方法技术

本发明专利技术公开了一种基于注意力机制的多视觉混合任务学习方法，涉及图像识别领域，包含多视觉任务数据加载、注意力分支提取特征、多视觉损失平衡训练和多视觉学习整体流程四部分，通过多个注意力分支实现对图像分类和图像检测任务进行同时训练和测试。使用注意力分支共享主干神经网络，同时进行图像检测和分类任务端到端的训练和优化，整体上缩减训练时间，共享多视觉任务的特征，提升多视觉任务的效果。果。果。

【技术实现步骤摘要】
一种基于注意力机制的多视觉混合任务学习方法


[0001]本专利技术属于图像识别领域，尤其涉及一种基于注意力机制的多视觉混合任务学习方法。

技术介绍

[0002]随着互联网的快速发展和智能手机的全面普及，极大地方便了人们的生活，图片也逐渐成为信息传递的一种主要载体。图片中可能包含许多丰富的信息，其中包含很多敏感信息，需要通过计算机视觉的方法来进行审核。
[0003]目前，还没有针对图像检测任务和图像分类任务进行同时训练和测试的方法。现有的方法多为其中计算机视觉任务的一环，包括：基于深度学习的图像检测方法，和基于深度学习的图像分类方法。
[0004]这些现有技术有哪些不足或缺点：
[0005]1.单视觉任务不能共享模型参数，占用内存量大；
[0006]2.单视觉任务不能和其它任务同时进行前向计算，推理速度慢；
[0007]3.单视觉任务无法共享多任务的信息，相互补充。

技术实现思路

[0008]本专利技术所要解决的技术问题是针对
技术介绍
的不足提供一种基于注意力机制的多视觉混合任务学习方法，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的多视觉混合任务学习方法，其特征在于：包含多视觉任务数据加载、注意力分支提取特征、多视觉损失平衡训练，具体包含如下步骤：步骤1，在数据读取阶段，图像分类和图像检测任务通过两个数据加载器将数据并联加载到共享主干网络；步骤2，在共享特征提取阶段，引入注意力机制，通过注意力模块将注意掩码应用于共享主干网络，为每个任务输出特定的特征后，再进入每个任务独立的检测头Head进行学习预测；步骤3，多视觉损失平衡训练：从权重的角度对损失函数进行优化，自适应加权方法，具体如下，loss＝λ
taskA
*loss
taskA
+λ
taskB
*loss
taskB
其中，loss为多个任务的loss总和，loss
taskA
是任务A的损失，loss
taskB
是任务B的损失，λ
taskA
是任务A的损失权重，λ
taskB
是任务B的损失权重；通过每个任务的损失变化率来衡量每个任务的收敛状态，以各自任务的收敛状态来动态确定随时间变化的平均任务权重。2.根据权利要求1所述的一种基于注意力机制的多视觉混合任务学习方法，其特征在于：所述步骤1具体步骤如下：步骤1.1，分别构建检测数据加载器和分类数据加载器，两个数据加载器分别使用目标数据增强方法和分类数据增强方法进行数据增强；步骤1.2，利用检测数据加载器和分类数据加载器同时加载一批检测图片数据和检测图片标签以及一批分类图片数据和分类图片标签；步骤1.3，将加载的检测图片数据和分类图片数据进行某一维度的拼接，然后送入共享模型的主干网络，用于提取特征。3.根据权利要求1所述的一种基于注意力机制的多视觉混合任务学习方法，其特征在于：在步骤2中，引入注意力机制具体如下，任务i在j层学到的mask和第j层的共享特征p
(j)
进行...

【专利技术属性】
技术研发人员：王峥，施必成，曲宝珠，王康，董文君，
申请(专利权)人：南京烽火天地通信科技有限公司，
类型：发明
国别省市：