本申请提供一种基于局部特征补全的图像分类方法、装置、设备及介质，其中，图像分类方法包括：分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；采用属性特征对第一局部特征进行补全，获取补全后的第三局部特征；根据第三局部特征和第二局部特征，分别获取第一支持集图像的第一全局特征以及第一查询集图像的第二全局特征；根据第二全局特征和第一全局特征中属于各图像类别的特征的相似度，获取第一查询集图像的预测类别。采用用于表征图像类别所对应的类别关键特征的属性特征对第一支持集图像的第一局部特征进行补全，使得补全后局部特征中所包含的信息对于图像分类任务而言更加完整，从而提高图像分类的准确率。分类的准确率。分类的准确率。
【技术实现步骤摘要】
基于局部特征补全的图像分类方法、装置、设备及介质
[0001]本申请涉及图像处理
，具体而言，涉及一种基于局部特征补全的图像分类方法、装置、设备及介质。
技术介绍
[0002]相关技术为了解决机器学习在样本量较少或者标注样本较少场景中效果较差的问题，提出了小样本学习方法，该方法旨在通过少量样本学习到解决问题的模型。
[0003]在基于小样本学习的图像分类任务中，一般采用随机裁剪等方式获取样本图像的局部子图来对样本图像进行扩充，而采用随机裁剪等方式所获取的局部子图存在信息缺失的情况，从而导致图像分类准确率较低。
技术实现思路
[0004]本申请实施例的目的在于提供一种基于局部特征补全的图像分类方法、装置、设备及介质，用以改善基于小样本学习的图像分类任务的图像分类准确率。
[0005]第一方面，本申请实施例提供一种基于局部特征补全的图像分类方法，包括：分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征；所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征；采用全局特征获取模块，根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征；根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度，获取所述第一查询集图像的预测类别。
[0006]在上述方案的实现过程中，采用用于表征图像类别所对应的类别关键特征的属性特征对第一支持集图像的第一局部特征进行补全，使得补全后局部特征中所包含的信息对于图像分类任务而言更加完整，从而提高图像分类的准确率。
[0007]在第一方面的一种实现方式中，所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：确定所述第一局部特征所对应的图像类别；确定所述图像类别所对应的所述属性特征；根据所述第一局部特征与所述属性特征之间的相似度，确定所述属性特征的权重；采用所述属性特征的权重，将所述属性特征与所述第一局部特征进行加权融合，获取补全后的所述第三局部特征。
[0008]在上述方案的实现过程中，基于第一局部特征中各特征与属性特征之间的相似度，确定属性特征的权重，从而将属性特征加权融合到第一局部特征中的各特征中，获得第三局部特征，使得补全后局部特征中所包含的信息对于图像分类任务而言更加完整，进而提高图像分类的准确率。
[0009]在第一方面的一种实现方式中，所述根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征，包括：采用局部特征注意力网络，获取所述第三局部特征的第一注意力系数以及所述第
二局部特征的第二注意力系数；所述第一注意力系数和所述第二注意力系数分别用于表征所述第三局部特征中的每个特征和所述第二局部特征中的每个特征对于分类预测的重要程度；根据所述第一注意力系数，将所述第三局部特征中的每个特征进行加权融合，获取所述第一支持集图像的第一全局特征；根据所述第二注意力系数，将所述第二局部特征中的每个特征进行加权融合，获取所述第一查询集图像的第二全局特征。
[0010]在上述方案的实现过程中，采用属性特征注意力网络分别为第二局部特征和第三局部特征分配注意力系数，使得全局特征获取模块在采用局部特征计算全局特征时，能够聚焦于第一支持集图像与第一查询集图像的公共部分，从而忽略无关的背景噪声，进一步提高了上述图像分类方法的图像分类准确率。
[0011]在第一方面的一种实现方式中，在所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征之前，所述方法还包括：针对所述第一支持集图像中各图像类别，获取各图像类别所标注的属性；针对各所述属性，在训练集中查找标注有相同属性的图像类别，获取该图像类别的全部或部分训练图像；所述局部特征提取模块中的特征提取网络由所述训练集预训练；采用特征提取网络，提取所述训练图像的图像特征，所述特征提取网络由所述训练集预训练；融合所述图像特征，获取当前属性的属性特征。
[0012]在上述方案的实现过程中，通过训练集中对各图像类别所标注的属性即可实现属性特征的提取，从而实现对第一局部特征的补全，提高了上述图像分类方法的图像分类效率以及图像分类准确率。
[0013]在第一方面的一种实现方式中，所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：确定所述第一局部特征中的主体局部特征和背景局部特征；采用所述属性特征对所述主体局部特征进行补全，获取补全后的第三局部特征；所述第三局部特征包括补全后的所述主体局部特征和所述背景局部特征。
[0014]在上述方案的实现过程中，在对局部特征进行补全时，仅对主体局部特征进行补全，而未对背景局部特征进行补全，一方面，减少了数据处理量，提高了上述图像分类方法的图像分类效率；另一方面，有效降低了背景噪声对图像分类任务的干扰，提高了上述图像分类方法的图像分类准确率。
[0015]在第一方面的一种实现方式中，所述确定所述第一局部特征中的主体局部特征和背景局部特征，包括：获取所述第一支持集图像的原图特征；根据所述第一局部特征与所述原图特征的相似度，确定第一局部特征中的主体局部特征和背景局部特征。
[0016]在上述方案的实现过程中，采用第一局部特征与第一支持图像原图特征之间的相似度确定第一局部特征的主体局部特征和背景局部特征，能够快速准确地获得第一局部特征的主体局部特征和背景局部特征，在提高上述图像分类方法的图像分类效率的同时，还提高了图像分类准确率。
[0017]在第一方面的一种实现方式中，提取所述第一局部特征以及所述第二局部特征的步骤、获取补全后的所述第三局部特征的步骤、获取所述第一全局特征以及所述第二全局特征的步骤以及获取所述预测类别的步骤分别由图像分类模型中的局部特征提取模块、局部特征补全模块、全局特征获取模块以及类别预测模块执行；
[0018]所述方法还包括：采用图像分类模型中的局部特征提取模块，分别提取第二支持集图像和第四局部特征以及第二查询集图像的第五局部特征；采用所述图像分类模型中的
局部特征补全模块，根据所述属性特征对所述第四局部特征进行补全，获取补全后的第六局部特征；采用所述图像分类模型中的全局特征获取模块，根据所述第六局部特征和所述第五局部特征，分别获取所述第二支持集图像的第三全局特征以及所述第二查询集图像的第四全局特征；采用所述图像分类模型中的类别预测模块，根据所述第四全局特征和所述第三全局特征中属于各图像类别的特征的相似度，获取所述第二查询集图像的预测类别；根据所述第二查询集图像的所述预测类别和所述第二查询集图像所设置的图像类别标注，计算损失函数值，并根据所述损失函数值更新所述图像分类模型的参数。
[0019]在上述方案的实现过程中，在训练图像分类模型时，采用用于表征图像类别所对应的类别关键特征的属性特征对第二支持集图像的第四局部本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于局部特征补全的图像分类方法，其特征在于，所述方法包括：分别提取第一支持集图像的第一局部特征以及第一查询集图像的第二局部特征；采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征；所述属性特征用以表征所述第一支持集图像中各图像类别所对应的类别关键特征；根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征；根据所述第二全局特征和所述第一全局特征中属于各图像类别的特征的相似度，获取所述第一查询集图像的预测类别。2.根据权利要求1所述的基于局部特征补全的图像分类方法，其特征在于，所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：确定所述第一局部特征所对应的图像类别；确定所述图像类别所对应的所述属性特征；根据所述第一局部特征与所述属性特征之间的相似度，确定所述属性特征的权重；采用所述属性特征的权重，将所述属性特征与所述第一局部特征进行加权融合，获取补全后的所述第三局部特征。3.根据权利要求1所述的基于局部特征补全的图像分类方法，其特征在于，所述根据所述第三局部特征和所述第二局部特征，分别获取所述第一支持集图像的第一全局特征以及所述第一查询集图像的第二全局特征，包括：采用局部特征注意力网络，获取所述第三局部特征的第一注意力系数以及所述第二局部特征的第二注意力系数；所述第一注意力系数和所述第二注意力系数分别用于表征所述第三局部特征中的每个特征和所述第二局部特征中的每个特征对于分类预测的重要程度；根据所述第一注意力系数，将所述第三局部特征中的每个特征进行加权融合，获取所述第一支持集图像的第一全局特征；根据所述第二注意力系数，将所述第二局部特征中的每个特征进行加权融合，获取所述第一查询集图像的第二全局特征。4.根据权利要求1所述的基于局部特征补全的图像分类方法，其特征在于，在所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征之前，所述方法还包括：针对所述第一支持集图像中各图像类别，获取各图像类别所标注的属性；针对各所述属性，在训练集中查找标注有相同属性的图像类别，获取该图像类别的全部或部分训练图像；采用特征提取网络，提取所述训练图像的图像特征，所述特征提取网络由所述训练集预训练；融合所述图像特征，获取当前属性的属性特征。5.根据权利要求1～4中任一项所述的基于局部特征补全的图像分类方法，其特征在于，所述采用属性特征对所述第一局部特征进行补全，获取补全后的第三局部特征，包括：确定所述第一局部特征中的主体局部特征和背景局部特征；采用所述属性特征对所述主体局部特征进行补全，获取补全后的第三局部特征；所述第三局部特征包括补全后的所述主体局部特...
【专利技术属性】
技术研发人员：邹昆，熊欢，董帅，翁佩纯，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。