【技术实现步骤摘要】
基于层次化提示学习的多标签图像识别方法、装置及设备
[0001]本申请涉及图像识别
，特别涉及一种基于层次化提示学习的多标签图像识别方法
、
装置及设备
。
技术介绍
[0002]随着深度学习的快速发展和大规模多标签数据集的出现，不同设置下的多标签分类任务都取得了很大的进展，其中，对于损失函数和骨干网络的各种改进在全标签设置下也取得了显著的成功
。
而针对部分标签的设置，也有许多方法被提出，例如标签矩阵补全和语义分布迁移等
。
[0003]相关技术中，在图像识别过程中，通常采用单一标注策略或者全标注策略，其中，在标签集的单一标注策略下，由于每个图像只有一个正标签这一特殊限制，因此全标签设置和部分标签设置下的大多数方法在单一标注中并不能很好地适用，易存在标签监督信息严重不足的问题，为了缓解这个问题，大多数方法为单一标注设置设计了各种更加鲁棒的损失目标函数，例如，其一，通过
Hill
损失和
SPLC(Self
‑
Paced ...
【技术保护点】
【技术特征摘要】
1.
一种基于层次化提示学习的多标签图像识别方法，其特征在于，包括以下步骤：获取至少一个待分类图像，并根据所述至少一个待分类图像的标签进行分组，且通过预设的文本编译器对分组结果中每个组进行编译，得到每个组的组特征和组间关系先验矩阵；根据所述组间关系先验矩阵生成组间依赖图，并基于所述组间依赖图，利用预设的图卷积网络对所述每个组的组特征捕捉组间依赖关系，得到校正后的每个组的组特征；基于预设的组注意元网络，对每个标签对应的组特征进行处理，得到每个标签的提示向量，并利用预设的文本编码器对所述每个标签的提示向量进行编码，得到所述每个标签的标签特征和标签间关系先验矩阵，并根据所述标签间关系先验矩阵生成标签间依赖图，且基于所述标签间依赖图，利用所述预设的图卷积网络对所述每个标签的标签特征捕捉标签间依赖关系，得到校正后的每个标签的标签特征；以及利用预设的图像编码器获取每个待分类图像的图像特征，并根据所述每个待分类图像的图像特征和所述校正后的每个标签的标签特征计算所述至少一个待分类图像标签间的预测概率，以根据所述预测概率进行分类
。2.
根据权利要求1所述的方法，其特征在于，根据所述至少一个待分类图像的标签进行分组，且通过预设的文本编译器对分组结果中每个组进行编译，得到每个组的组特征和组间关系先验矩阵，包括：基于至少一个待分类图像标签的分组结果，得到所述至少一个待分类图像中标签与组之间的映射关系；根据所述映射关系得到所述至少一个待分类图像中每个组对应的标签的集合；利用所述预设的文本编译器对所述标签的集合进行编译，得到所述每个组的组特征和组间关系先验矩阵
。3.
根据权利要求1所述的方法，其特征在于，所述根据所述组间关系先验矩阵生成组间依赖图，包括：基于所述组间关系先验矩阵，选择所述组间关系先验矩阵中每行标签符合预设关联性标准的至少一个待分类图像标签，并对所述标签以及与所述标签相邻的标签经加权处理后，得到所述组间关系先验矩阵中每个组的组间依赖图
。4.
根据权利要求1所述的方法，其特征在于，基于预设的组注意元网络，对每个标签对应的组特征进行处理，得到每个标签的提示向量，并利用预设的文本编码器对所述每个标签的提示向量进行编码，得到所述每个标签的标签特征和标签间关系先验矩阵，包括：基于所述校正后的每个组的组特征，经过所述预设的组注意元网络，对所述每个标签对应的组特征进行处理，得到每个标签的提示向量；基于所述每个标签的提示向量，经过所述预设的文本编码器对所述每个标签的提示向量进行编码，得到所述每个标签的标签特征和标签间关系先验矩阵
。5.
根据权利要求1所述的方法，其特征在于，所述根据所述标签间关系先验矩阵生成标签间依赖图，包括：基于所述标签间关系先验矩阵，选择所述标签间关系先验矩阵中每行标签符合所述预设关联性标准的至少一个待分类图像标签，并对所述标签以及与所述标签相邻的标签经加权处理后，得到所述标签间关系先验矩阵中每个标签的标签间依赖图
。
6.
根据权利要求1所述的方法，其特征在于，根据所述每个待分类图像的图像特征和所述校正后的每个标签的标签特征计算所述至少一个待分类图像标签间的预测概率，以根据所述预测概率进行分类，包括：利用预设的图像编码器获取每个待分类图像的图像特征，根据所述每个待分类图像的图像特征和所述校正后的每个标签的标签特征计算所述至少一个待分类图像标签间的预测概率；根据所述预测概率对所述至少一个待分类图像标签进行分类，得到多标签图像识别模型；基于预设的多标签分类损失函数对所述多标签图像识别模型进行优化，得到优化后的多标签图像识别模型
。7.
一种基于层次化提示学习的多...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。