本公开关于一种图像分类方法、装置及电子设备，该图像分类方法包括获取待分类图像的分割特征图像和场景信息；将分割特征图像输入目标图像分类网络进行分类处理，得到初始类别信息；基于场景信息和初始类别信息，生成目标拼接特征信息；将目标拼接特征信息输入目标生成网络进行图像合成处理，得到目标合成图像；对目标合成图像和分割特征图像进行融合处理，得到目标融合特征图像；将目标融合特征图像输入目标图像分类网络进行分类处理，得到待分类图像的第一目标类别信息。利用本公开实施例可以提升图像分类精度，降低出错率。降低出错率。降低出错率。
【技术实现步骤摘要】
图像分类方法、装置、电子设备及存储介质
[0001]本公开涉及人工智能
，尤其涉及一种图像分类方法、装置、电子设备及存储介质。
技术介绍
[0002]人工智能(Artificial Intelligence，AI)技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，利用人工智能技术进行分类处理，在视频监控、公共安全等多个领域发挥着重要的作用。
[0003]相关技术中，由于构建训练样本的成本高，难度大，基于未知类别的词向量自动合成图片像素特征的零样本分类技术方案在业界大受欢迎。但零样本分类技术由于只有文本信息参与图像分类网络的训练，导致训练出的图像分类网络存在分类精度低，易出错的问题。
技术实现思路
[0004]本公开提供一种图像分类方法、装置及电子设备，以至少解决相关技术中图像分类精度低，易出错的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种图像分类方法，包括：
[0006]获取待分类图像的分割特征图像和场景信息；
[0007]将所述分割特征图像输入目标图像分类网络进行分类处理，得到初始类别信息；
[0008]基于所述场景信息和所述初始类别信息，生成目标拼接特征信息；
[0009]将所述目标拼接特征信息输入目标生成网络进行图像合成处理，得到目标合成图像；
[0010]对所述目标合成图像和所述分割特征图像进行融合处理，得到目标融合特征图像；
[0011]将所述目标融合特征图像输入所述目标图像分类网络进行分类处理，得到所述待分类图像的第一目标类别信息。
[0012]可选的，所述方法还包括：
[0013]获取所述初始类别信息对应的第一类别置信度；
[0014]获取所述第一目标类别信息对应的第二类别置信度；
[0015]根据所述第一类别置信度和所述第二类别置信度，确定第二目标类别信息。
[0016]可选的，所述对所述目标合成图像和所述分割特征图像进行融合处理，得到目标融合特征图像包括：
[0017]比较所述目标合成图像和所述分割特征图像对应像素点间的特征值大小；
[0018]根据比较的结果，从所述目标合成图像和所述分割特征图像中选取所述待分割图像每一像素点对应的目标特征信息；
[0019]基于所述目标特征信息生成所述目标融合特征图像；
[0020]或，
[0021]对所述目标合成图像和所述分割特征图像中对应像素点的特征值进行叠加处理，得到所述目标融合特征图像。
[0022]可选的，所述基于所述场景信息和所述初始类别信息，生成目标拼接特征信息包括：
[0023]将所述场景信息和所述初始类别信息分别输入目标词向量网络，得到所述场景信息对应的场景特征信息和所述初始类别信息对应的类别特征信息；
[0024]对所述类别特征信息和所述场景特征信息进行拼接处理，得到目标拼接特征信息。
[0025]可选的，所述方法还包括：
[0026]获取目标类别特征信息和所述目标类别特征信息的关联场景特征信息，所述目标类别特征信息表征训练样本和预测样本的类别特征；
[0027]对所述目标类别特征信息和所述关联场景特征信息进行拼接处理，得到第一拼接特征信息；
[0028]将所述第一拼接特征信息输入初始生成网络进行图像合成处理，得到第一样本合成图像；
[0029]将所述第一样本合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果；
[0030]将所述第一样本合成图像输入初始图像分类网络进行分类处理，得到第一样本类别信息；
[0031]基于所述第一图像判别结果、所述第一样本类别信息和所述目标类别特征信息训练所述初始图像分类网络，得到所述目标图像分类网络。
[0032]可选的，所述关联场景特征信息的获取步骤包括：
[0033]获取场景图像集，将所述场景图像集输入场景识别网络进行场景识别，得到场景信息集；
[0034]将所述场景信息集输入目标词向量网络，得到场景特征信息集；
[0035]计算所述目标类别特征信息与所述场景特征信息集中场景特征信息间的相似度；
[0036]基于所述相似度从所述场景特征信息集中确定所述关联场景特征信息。
[0037]可选的，所述方法还包括：
[0038]获取所述训练样本、所述训练样本的训练场景特征信息和所述训练样本的训练类别特征信息；
[0039]将所述训练样本输入待训练分割网络的特征提取网络进行特征提取，得到样本分割特征图像；
[0040]对所述训练类别特征信息与所述训练场景特征信息进行拼接处理，得到第二拼接特征信息；
[0041]将所述第二拼接特征信息输入待训练生成网络进行图像合成处理，得到第二样本合成图像；
[0042]对所述第二样本合成图像和所述样本分割特征图像进行融合处理，得到样本融合特征图像；
[0043]将所述第二样本合成图像、所述样本分割特征图像和所述样本融合特征图像输入所述待训练分割网络的分类网络，分别进行分类处理，得到所述第二样本合成图像对应的第二样本类别信息所述样本分割特征图像对应的第三样本类别信息和所述样本融合特征图像对应的第四样本类别信息；
[0044]将所述样本分割特征图像、所述第二样本合成图像和所述样本融合特征图像输入待训练判别网络，分别进行真实性判别，得到所述样本分割特征图像对应的第二图像判别结果、所述第二样本合成图像对应的第三图像判别结果和所述样本融合特征图像对应的第四图像判别结果；
[0045]基于所述第二样本合成图像、所述样本分割特征图像、所述第二样本类别信息、所述第三样本类别信息、所述第四样本类别信息、所述训练类别特征信息、所述第二图像判别结果、所述第三图像判别结果和所述第四图像判别结果训练所述待训练分割网络、所述待训练生成网络和所述待训练判别网络，得到所述初始图像分割网络、所述初始生成网络和所述初始判别网络；
[0046]其中，所述初始图像分割网络包括所述初始图像分类网络。
[0047]可选的，所述初始图像分割网络还包括目标特征提取网络；
[0048]所述获取待分类图像的分割特征图像包括：
[0049]将所述待分类图像输入所述目标特征提取网络进行特征提取，得到所述分割特征图像。
[0050]根据本公开实施例的第二方面，提供一种图像分类装置，包括：
[0051]数据获取模块，被配置为执行获取待分类图像的分割特征图像和场景信息；
[0052]第一分类处理模块，被配置为执行将所述分割特征图像输入目标图像分类网络进行分类处理，得到初始类别信息；
[0053]目标拼接特征信息生成模块，被配置为执行基于所述场景信息和所述初始类别信息，生成目标拼接特征信息；
[0054]第一图像合成处理模块，被配置为执行将所述目标拼接特征信息输入目标生成网络进行图像合成本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：获取待分类图像的分割特征图像和场景信息；将所述分割特征图像输入目标图像分类网络进行分类处理，得到初始类别信息；基于所述场景信息和所述初始类别信息，生成目标拼接特征信息；将所述目标拼接特征信息输入目标生成网络进行图像合成处理，得到目标合成图像；对所述目标合成图像和所述分割特征图像进行融合处理，得到目标融合特征图像；将所述目标融合特征图像输入所述目标图像分类网络进行分类处理，得到所述待分类图像的第一目标类别信息。2.根据权利要求1所述的图像分类方法，其特征在于，所述方法还包括：获取所述初始类别信息对应的第一类别置信度；获取所述第一目标类别信息对应的第二类别置信度；根据所述第一类别置信度和所述第二类别置信度，确定第二目标类别信息。3.根据权利要求1所述的图像分类方法，其特征在于，所述对所述目标合成图像和所述分割特征图像进行融合处理，得到目标融合特征图像包括：比较所述目标合成图像和所述分割特征图像对应像素点间的特征值大小；根据比较的结果，从所述目标合成图像和所述分割特征图像中选取所述待分割图像每一像素点对应的目标特征信息；基于所述目标特征信息生成所述目标融合特征图像；或，对所述目标合成图像和所述分割特征图像中对应像素点的特征值进行叠加处理，得到所述目标融合特征图像。4.根据权利要求1所述的图像分类方法，其特征在于，所述基于所述场景信息和所述初始类别信息，生成目标拼接特征信息包括：将所述场景信息和所述初始类别信息分别输入目标词向量网络，得到所述场景信息对应的场景特征信息和所述初始类别信息对应的类别特征信息；对所述类别特征信息和所述场景特征信息进行拼接处理，得到目标拼接特征信息。5.根据权利要求1至4任一所述的图像分类方法，其特征在于，所述方法还包括：获取目标类别特征信息和所述目标类别特征信息的关联场景特征信息，所述目标类别特征信息表征训练样本和预测样本的类别特征；对所述目标类别特征信息和所述关联场景特征信息进行拼接处理，得到第一拼接特征信息；将所述第一拼接特征信息输入初始生成网络进行图像合成处理，得到...
【专利技术属性】
技术研发人员：申世伟，李家宏，李思则，王仲远，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。