图像识别训练方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像识别训练方法、装置、计算机设备及存储介质，其中，该图像识别训练方法包括：基于实体类型的实体属性，构建对应的扩展属性；基于实体类型的实体属性以及扩展属性，对实体类型的已知类视觉特征进行语义一致性合成，获取实体属性和扩展属性分别对应的已知类合成特征；将已知类视觉特征、已知类合成特征、实体属性以及扩展属性作为待训练分类模型的输入数据，将已知类视觉特征对应的类原型和实体类型作为待训练分类模型的输出数据，对将待训练分类模型进行训练，并最终生成已训练分类模型。该方法可有效保持实体类型视觉特征与语义特征的一致性，保障训练稳定性的同时提高了零样本识别的准确性。同时提高了零样本识别的准确性。同时提高了零样本识别的准确性。

【技术实现步骤摘要】
图像识别训练方法、装置、计算机设备及存储介质


[0001]本专利技术涉及图像分类
，尤其涉及一种图像识别训练方法、装置、计算机设备及存储介质。

技术介绍

[0002]传统的图像分类只能对训练集中出现过的类别样本进行分类，无法对训练集中未出现的类别样本进行分类。然而现实应用中，新的类别不断涌现，因而需要收集大量新类别带标记的数据，并重新训练分类器，这样费时费力，在某些领域甚至无法获取足够数量的新类别标注数据。针对该问题，零样本学习(Zero
‑
Shot Learning，ZSL)应运而生。
[0003]零样本学习的目的是仅使用可见类样本的视觉特征和语义表示来训练模型，然后将未见类的语义表示作为桥梁，使模型具有识别未见类样本的能力。在零样本学习任务中，最主要的任务便是图像分类。零样本图像分类可以利用已有的图像样本来对新产生的图像样本进行标记，避免了以往的人工手动标注，减少了人力物力的消耗。零样本学习本质上是用迁移学习(Transfer Learning)的思想来解决问题的。即从一个域/任务/分布中学出一个有效的模型，然后迁移到新的域、任务或分布。通过零样本学习可以实现从可见类别到未见类别的“知识”迁移，这些可迁移的知识是由可见类别与未见类别的语义相关性得到的。
[0004]然而，用户对未见类别的语义定义和关联性信息记录不完整，缺乏可辨别性。当前大多数对未见类型的识别方法直接使用用户定义的语义信息作为生成未知模型的约束，这使得模型合成的视觉特征缺乏多样性和区分性。
专利技术内容
[0005]本专利技术实施例提供一种图像识别训练方法、装置、计算机设备及存储介质，以解决对未知类型进行识别的合成模型在视觉特征方面缺乏多样性和区分性的问题。
[0006]一种图像识别训练方法，包括：基于实体类型的实体属性，构建对应的扩展属性；基于实体类型的实体属性以及扩展属性，对实体类型的已知类视觉特征进行语义一致性合成，获取实体属性和扩展属性分别对应的已知类合成特征；将已知类视觉特征、已知类合成特征、实体属性以及扩展属性作为待训练分类模型的输入数据，将已知类视觉特征对应的类原型和实体类型作为待训练分类模型的输出数据，对将待训练分类模型进行训练，并最终生成已训练分类模型。
[0007]优选地，基于实体类型的实体属性，构建对应的扩展属性，包括：依次通过MSE损失和CE损失对已知类视觉特征进行特征分解，获取视觉区分特征；通过triplet损失提取已知类视觉特征的类原型；提取已知类视觉特征对应的实体属性，通过MSE损失对实体属性进行训练，以使实体属性分别和视觉区分特征和类原型对齐，并将训练结果作为实体类型对应的扩展属性。
[0008]优选地，待训练分类模型包括编码器和生成器；
基于实体类型的实体属性以及扩展属性，对实体类型的已知类视觉特征进行语义一致性合成，获取实体属性和扩展属性分别对应的已知类合成特征，包括：将实体类型的实体属性、扩展属性以及已知类视觉特征输入编码器，获取噪音分布参数；将噪音分布参数、实体类型的实体属性以及扩展属性输入生成器，获取实体类型的已知类合成特征。
[0009]优选地，该方法还包括：采用二元交叉熵损失对已知类视觉特征和已知类合成特征进行比较。
[0010]优选地，待训练分类模型包括生成器、实体属性解码器和扩展属性解码器；在获取实体属性和扩展属性分别对应的已知类合成特征之后，还包括：将已知类视觉特征和实体属性输入实体属性解码器，获取真实重建属性；将已知类视觉特征和重建属性输入重建属性解码器，获取扩展重建属性；采用循环一致性损失，对真实重建属性和扩展重建属性进行训练，用于将已知类合成特征逼近已知类视觉特征。
[0011]优选地，将已知类视觉特征、已知类合成特征、实体属性以及扩展属性作为待训练分类模型的输入数据，将已知类视觉特征对应的类原型和实体类型作为待训练分类模型的输出数据，对将待训练分类模型进行训练，并最终生成已训练分类模型，包括：采用WGAN网络作为待训练分类模型，将已知类视觉特征、已知类合成特征、实体属性以及扩展属性作为待训练分类模型的输入数据，通过优化损失对WGAN网络进行训练，用于最终生成已训练分类模型。
[0012]优选地，在最终生成已训练分类模型之后，还包括：获取未见类视觉特征，将未见类视觉特征输入已训练类别识别模型，用于识别未见类视觉特征对应的识别类型。
[0013]一种图像识别训练装置，包括：构建扩展属性模块，用于基于实体类型的实体属性，构建对应的扩展属性；获取合成特征模块，用于基于实体类型的实体属性以及扩展属性，对实体类型的已知类视觉特征进行语义一致性合成，获取实体属性和扩展属性分别对应的已知类合成特征；生成分类模块模块，用于将已知类视觉特征、已知类合成特征、实体属性以及扩展属性作为待训练分类模型的输入数据，将已知类视觉特征对应的类原型和实体类型作为待训练分类模型的输出数据，对将待训练分类模型进行训练，并最终生成已训练分类模型。
[0014]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像识别训练方法。
[0015]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像识别训练方法。
[0016]上述图像识别训练方法、装置、计算机设备及存储介质，通过训练已训练分类模型的过程中，添加对于语义一致性的限定，可有效保持实体类型视觉特征与语义特征的一致性，保障训练稳定性的同时提高了零样本识别的准确性。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术一实施例中图像识别训练方法的应用环境示意图；图2是本专利技术一实施例中图像识别训练方法的流程图；图3是本专利技术另一实施例中图像识别训练方法的第一流程图；图4是本专利技术一实施例中图像识别训练方法中获取扩展属性的流程示意图；图5是本专利技术另一实施例中图像识别训练方法的第二流程图；图6是本专利技术一实施例中图像识别训练方法的全流程实现示意图；图7是本专利技术另一实施例中图像识别训练方法的第三流程图；图8是本专利技术另一实施例中图像识别训练方法的第四流程图；图9是本专利技术一实施例中图像识别训练装置的示意图；图10是本专利技术一实施例中计算机设备的示意图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]本专利技术实施例提供的图像识别训练方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别训练方法，其特征在于，包括：基于实体类型的实体属性，构建对应的扩展属性；基于所述实体类型的实体属性以及扩展属性，对所述实体类型的已知类视觉特征进行语义一致性合成，获取所述实体属性和扩展属性分别对应的已知类合成特征；将所述已知类视觉特征、已知类合成特征、实体属性以及扩展属性作为待训练分类模型的输入数据，将所述已知类视觉特征对应的类原型和所述实体类型作为所述待训练分类模型的输出数据，对将所述待训练分类模型进行训练，并最终生成已训练分类模型。2.根据权利要求1所述的图像识别训练方法，其特征在于，所述基于实体类型的实体属性，构建对应的扩展属性，包括：依次通过MSE损失和CE损失对所述已知类视觉特征进行特征分解，获取视觉区分特征；通过triplet损失提取所述已知类视觉特征的所述类原型；提取所述已知类视觉特征对应的实体属性，通过MSE损失对所述实体属性进行训练，以使所述实体属性分别和所述视觉区分特征和所述类原型对齐，并将训练结果作为所述实体类型对应的所述扩展属性。3.根据权利要求1所述的图像识别训练方法，其特征在于，所述待训练分类模型包括编码器和生成器；所述基于所述实体类型的实体属性以及扩展属性，对所述实体类型的已知类视觉特征进行语义一致性合成，获取所述实体属性和扩展属性分别对应的已知类合成特征，包括：将所述实体类型的实体属性、扩展属性以及已知类视觉特征输入所述编码器，获取噪音分布参数；将所述噪音分布参数、所述实体类型的实体属性以及扩展属性输入所述生成器，获取所述实体类型的已知类合成特征。4.根据权利要求3所述的图像识别训练方法，其特征在于，还包括：采用二元交叉熵损失对所述已知类视觉特征和所述已知类合成特征进行比较。5.根据权利要求1所述的图像识别训练方法，其特征在于，所述待训练分类模型包括生成器、实体属性解码器和扩展属性解码器；在所述获取所述实体属性和扩展属性分别对应的已知类合成特征之后，还包括：将所述已知类视觉特征和所述实体属性输入所述实体属性解码器，获取真实重建属性；将所述已知类视觉特征和所述重建属...

【专利技术属性】
技术研发人员：何彩梅，刘锦烽，何勇军，赵晶，陈建华，覃明诚，
申请(专利权)人：深圳市东汇精密机电有限公司，
类型：发明
国别省市：