模型训练方法、图像分类方法和装置制造方法及图纸

本公开的实施例提供的一种模型训练方法，包括：响应于获取到包括样本图像、样本图像对应的标注信息和查询图像，构建样本图像和查询图像对应的图像对，并构建包括局部特征提取器、语义特征提取器和分类判别器的小样本学习网络，将图像对输入局部特征提取器进行局部特征提取，得到样本图像对应的第一局部特征和查询图像对应的第二局部特征，将第一局部特征和第二局部特征分别输入语义特征提取器进行语义特征提取，得到第一局部特征对应的第一语义特征和第二局部特征对应的第二语义特征，并将第一局部特征和第一语义特征、第二局部特征和第二语义特征分别输入分类判别器，基于样本图像对应的标注信息，对小样本学习网络进行训练，得到图像分类模型。得到图像分类模型。得到图像分类模型。

【技术实现步骤摘要】
模型训练方法、图像分类方法和装置


[0001]本公开的实施例涉及计算机
和互联网
，具体涉及人工智能
和图像处理
，尤其涉及模型训练方法、图像分类方法和装置。

技术介绍

[0002]随着深度神经网络的不断发展和广泛应用，深度学习模型在计算机视觉领域迅猛发展，然而这一进展在很大程度上依赖于来自相关类别的海量标记图像样本。在现实场景中如工业制造中的缺陷检测，由于成本较高，对于感兴趣的新类别，并不总是能够获得如此大量的图像样本。随着神经网络的不断发展与进步，提出了从少量标记图像中快速学习的小样本学习方法，目前主要包括：度量学习技术、语义对齐技术和特征聚合技术。
[0003]然而度量学习技术通常聚合图像中所有区域的特征，没有考虑这些图像区域是否与图像语义相关，从而降低了所获得特征的判别性；或者，语义对齐技术侧重于探索有效的配对图像间局部特征相似度量技术，受背景杂波、类内变化或计算代价高等问题限制，在小样本学习中，标记图像的稀缺性使得精确的语义对齐变得更加困难；再者，特征聚合技术缺乏对图像语义的感知，更多的注意力被放在了与任务无关的图像区域上。

技术实现思路

[0004]本公开的实施例提出了一种模型训练方法、图像分类方法、装置、电子设备和计算机可读介质。
[0005]第一方面，本公开的实施例提供了一种模型训练方法，该方法包括：响应于获取到包括样本图像、样本图像对应的标注信息和查询图像，构建样本图像和查询图像对应的图像对；构建包括局部特征提取器、语义特征提取器和分类判别器的小样本学习网络；将图像对输入局部特征提取器进行局部特征提取，得到样本图像对应的第一局部特征和查询图像对应的第二局部特征；将第一局部特征和第二局部特征分别输入语义特征提取器进行语义特征提取，得到第一局部特征对应的第一语义特征和第二局部特征对应的第二语义特征；将第一局部特征和第一语义特征、第二局部特征和第二语义特征分别输入分类判别器，基于样本图像对应的标注信息，对小样本学习网络进行训练，得到图像分类模型。
[0006]在一些实施例中，将第一局部特征和第二局部特征分别输入语义特征提取器进行语义特征提取，得到第一局部特征对应的第一语义特征和第二局部特征对应的第二语义特征，包括：通过语义特征提取器分别对第一局部特征和第二局部特征进行特征压缩，得到压缩后的第一局部特征和压缩后的第二局部特征；通过语义特征提取器分别对压缩后的第一局部特征和压缩后的第二局部特征进行维度扩充和语义特征提取，得到第一局部特征对应的第一语义特征和第二局部特征对应的第二语义特征。
[0007]在一些实施例中，将第一局部特征和第一语义特征、第二局部特征和第二语义特征分别输入分类判别器，基于样本图像对应的标注信息，对小样本学习网络进行训练，得到图像分类模型，包括：将第一局部特征和第一语义特征、第二局部特征和第二语义特征分别
输入分类判别器进行特征聚合，得到第一局部特征对应的第一聚合特征和第二局部特征对应的第二聚合特征；基于第一聚合特征、第二聚合特征和样本图像对应的标注信息，对小样本学习网络进行训练，得到图像分类模型。
[0008]在一些实施例中，将第一局部特征和第一语义特征、第二局部特征和第二语义特征分别输入分类判别器进行特征聚合，得到第一局部特征对应的第一聚合特征和第二局部特征对应的第二聚合特征，包括：通过分类判别器对第一局部特征和第一语义特征进行权重计算，得到第一局部特征的第一权重；基于第一权重和第一局部特征，确定出第一局部特征对应的第一聚合特征；通过分类判别器对第二局部特征和第二语义特征进行权重计算，得到第二局部特征的第二权重；基于第二权重和第二局部特征，确定出第二局部特征对应的第二聚合特征。
[0009]在一些实施例中，基于第一聚合特征、第二聚合特征和样本图像对应的标注信息，对小样本学习网络进行训练，得到图像分类模型，包括：基于第一聚合特征和第二聚合特征，确定交叉熵损失函数；基于交叉熵损失函数和样本图像对应的标注信息，对小样本学习网络进行联合训练，得到图像分类模型。
[0010]第二方面，本公开的实施例提供了一种图像分类方法，该方法包括：获取待分类图像；将待分类图像输入图像分类模型，得到待分类图像的分类结果，其中，图像分类模型基于上述第一方面的方法获取。
[0011]第三方面，本公开的实施例提供了一种模型训练装置，该装置包括：构建模块，被配置成响应于获取到包括样本图像、样本图像对应的标注信息和查询图像，构建样本图像和查询图像对应的图像对；构建包括局部特征提取器、语义特征提取器和分类判别器的小样本学习网络；局部特征提取模块，被配置成将图像对输入局部特征提取器进行局部特征提取，得到样本图像对应的第一局部特征和查询图像对应的第二局部特征；语义特征提取模块，被配置成将第一局部特征和第二局部特征分别输入语义特征提取器进行语义特征提取，得到第一局部特征对应的第一语义特征和第二局部特征对应的第二语义特征；训练模块，被配置成将第一局部特征和第一语义特征、第二局部特征和第二语义特征分别输入分类判别器，基于样本图像对应的标注信息，对小样本学习网络进行训练，得到图像分类模型。
[0012]在一些实施例中，语义特征提取模块，进一步被配置成：通过语义特征提取器分别对第一局部特征和第二局部特征进行特征压缩，得到压缩后的第一局部特征和压缩后的第二局部特征；通过语义特征提取器分别对压缩后的第一局部特征和压缩后的第二局部特征进行维度扩充和语义特征提取，得到第一局部特征对应的第一语义特征和第二局部特征对应的第二语义特征。
[0013]在一些实施例中，训练模块，包括：特征聚合单元，被配置成将第一局部特征和第一语义特征、第二局部特征和第二语义特征分别输入分类判别器进行特征聚合，得到第一局部特征对应的第一聚合特征和第二局部特征对应的第二聚合特征；训练单元，被配置成基于第一聚合特征、第二聚合特征和样本图像对应的标注信息，对小样本学习网络进行训练，得到图像分类模型。
[0014]在一些实施例中，特征聚合单元，进一步被配置成：通过分类判别器对第一局部特征和第一语义特征进行权重计算，得到第一局部特征的第一权重；基于第一权重和第一局
部特征，确定出第一局部特征对应的第一聚合特征；通过分类判别器对第二局部特征和第二语义特征进行权重计算，得到第二局部特征的第二权重；基于第二权重和第二局部特征，确定出第二局部特征对应的第二聚合特征。
[0015]在一些实施例中，训练单元，进一步被配置成：基于第一聚合特征和第二聚合特征，确定交叉熵损失函数；基于交叉熵损失函数和样本图像对应的标注信息，对小样本学习网络进行联合训练，得到图像分类模型。
[0016]第四方面，本公开的实施例提供了一种图像分类装置，该装置包括：获取模块，被配置成获取待分类图像；分类模块，被配置成将待分类图像输入图像分类模型，得到待分类图像的分类结果，其中，图像分类模型基于上述第一方面的方法获取。
[0017]第五方面，本公开的实施例提供了一种电子设备，该电子设备包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，所述方法包括：响应于获取到包括样本图像、样本图像对应的标注信息和查询图像，构建所述样本图像和所述查询图像对应的图像对；构建包括局部特征提取器、语义特征提取器和分类判别器的小样本学习网络；将所述图像对输入所述局部特征提取器进行局部特征提取，得到所述样本图像对应的第一局部特征和所述查询图像对应的第二局部特征；将所述第一局部特征和所述第二局部特征分别输入所述语义特征提取器进行语义特征提取，得到所述第一局部特征对应的第一语义特征和所述第二局部特征对应的第二语义特征；将所述第一局部特征和所述第一语义特征、所述第二局部特征和所述第二语义特征分别输入所述分类判别器，基于所述样本图像对应的标注信息，对所述小样本学习网络进行训练，得到图像分类模型。2.根据权利要求1所述的方法，其中，所述将所述第一局部特征和所述第二局部特征分别输入所述语义特征提取器进行语义特征提取，得到所述第一局部特征对应的第一语义特征和所述第二局部特征对应的第二语义特征，包括：通过所述语义特征提取器分别对所述第一局部特征和所述第二局部特征进行特征压缩，得到压缩后的第一局部特征和压缩后的第二局部特征；通过所述语义特征提取器分别对压缩后的第一局部特征和压缩后的第二局部特征进行维度扩充和语义特征提取，得到所述第一局部特征对应的第一语义特征和所述第二局部特征对应的第二语义特征。3.根据权利要求1所述的方法，其中，所述将所述第一局部特征和所述第一语义特征、所述第二局部特征和所述第二语义特征分别输入所述分类判别器，基于所述样本图像对应的标注信息，对所述小样本学习网络进行训练，得到图像分类模型，包括：将所述第一局部特征和所述第一语义特征、所述第二局部特征和所述第二语义特征分别输入所述分类判别器进行特征聚合，得到所述第一局部特征对应的第一聚合特征和所述第二局部特征对应的第二聚合特征；基于所述第一聚合特征、所述第二聚合特征和所述样本图像对应的标注信息，对所述小样本学习网络进行训练，得到图像分类模型。4.根据权利要求3所述的方法，所述将所述第一局部特征和所述第一语义特征、所述第二局部特征和所述第二语义特征分别输入所述分类判别器进行特征聚合，得到所述第一局部特征对应的第一聚合特征和所述第二局部特征对应的第二聚合特征，包括：通过所述分类判别器对所述第一局部特征和所述第一语义特征进行权重计算，得到所述第一局部特征的第一权重；基于所述第一权重和所述第一局部特征，确定出所述第一局部特征对应的第一聚合特征；通过所述分类判别器对所述第二局部特征和所述第二语义特征进行权重计算，得到所述第二局部特征的第二权重；基于所述第二权重和所述第二局部特征，确定出所述第二局部特征对应的第二聚合特征。
5.根据权利要求3或4所述的方法，其中，所述基于所述第一聚合特征、所述第二聚合特征和所述样本图像对应的标注信息，对所述小样本学习网络进行训练，得到图像分类模型，包括：基于所述第一聚合特征和所述第二聚合特征，确定交叉熵损失函数；基于所述交叉熵损失函数和所述样本图像对应的标注信息，对所述小样本学习网络进行联合训练，得到图像分类模型。6.一种图像分类方法，所述方法包括：获取待分类图像；将所述待分类图像输入图像分类模型，得到所述待分类图像的分类结果，其中，所述图像分类模型基于上述权利要求1
‑
5方法获取。7.一...

【专利技术属性】
技术研发人员：何凤翔，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：