图像识别模型训练方法、图像识别方法及装置制造方法及图纸

本申请提供一种图像识别模型训练方法、图像识别方法及装置，该图像识别模型训练方法包括：将训练集中每组训练样本中的原始样本图像和对抗样本图像输入待训练的图像识别模型，得到预测分类结果和对抗样本图像特征向量；根据对抗样本图像特征向量中的第一特征向量和第二特征向量确定第一损失，根据预测分类结果和原始样本图像的标注信息确定第二损失；在确定第一损失对应的第一梯度和第二损失对应的第二梯度之间存在梯度冲突时，对第一梯度和第二梯度进行梯度冲突消除处理，基于处理后的第一梯度和第二梯度，调整图像识别模型的参数，得到训练完成的图像识别模型。本申请能够提高图像识别模型对图像进行识别的准确度以及图像识别模型的泛化能力。识别模型的泛化能力。识别模型的泛化能力。

【技术实现步骤摘要】
图像识别模型训练方法、图像识别方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种图像识别模型训练方法、图像识别方法及装置。

技术介绍

[0002]随着图像识别技术的快速发展，在越来越多的领域需要用到图像识别模型进行图像识别处理。具体地，将包含待识别内容的图像作为训练好的图像识别模型的输入，通过图像识别模型可以识别出待识别内容的相关信息。
[0003]目前，在训练图像识别模型时，通常会对原始训练样本图像增加扰动来获得对抗样本图像，基于原始训练样本图像和对抗样本图像对初始图像识别模型进行训练，得到训练好的图像识别模型。其中，增加扰动的方式通常为对原始训练样本图像增加均匀分布的随机噪声，但通过这种方式获得的图像识别模型的识别准确度较差。

技术实现思路

[0004]本申请提供一种图像识别模型训练方法、图像识别方法及装置，以提高训练得到的图像识别模型的识别准确度，在准确地识别待识别图像中的目标对象的同时，还能够准确地确定待识别图像是否为对抗图像，从而大大提升训练得到的图像识别模型的泛化能力。
[0005]第一方面，本申请提供一种图像识别模型训练方法，包括：
[0006]获取训练集中每组训练样本中的原始样本图像、原始样本图像的标注信息以及对抗样本图像，其中，标注信息用于指示原始样本图像中存在的目标对象信息，对抗样本图像为对原始样本图像增加对抗扰动后获得的图像；
[0007]将原始样本图像和对抗样本图像输入待训练的图像识别模型，得到待训练的图像识别模型输出的预测分类结果和对抗样本图像特征向量，对抗样本图像特征向量包括第一特征向量和第二特征向量，其中，第一特征向量为待训练的图像识别模型的骨干网络输出的对抗样本图像对应的特征向量，第二特征向量为待训练的图像识别模型的骨干网络输出的对抗样本图像的复制图像对应的特征向量；
[0008]根据第一特征向量和第二特征向量确定第一损失，以及根据预测分类结果和标注信息确定第二损失，并确定第一损失对应的第一梯度和第二损失对应的第二梯度之间是否存在梯度冲突，第一梯度为第一损失相对于待训练的图像识别模型参数的梯度，第二梯度为第二损失相对于待训练的图像识别模型参数的梯度；
[0009]响应于第一梯度和第二梯度存在梯度冲突，对第一梯度和第二梯度进行梯度冲突消除处理，得到处理后的第一梯度和第二梯度；
[0010]基于处理后的第一梯度和第二梯度，调整待训练的图像识别模型的参数，得到训练完成的图像识别模型。
[0011]第二方面，本申请提供一种图像识别方法，包括：
[0012]获取待识别图像；
[0013]将待识别图像输入训练后的图像识别模型，得到训练后的图像识别模型输出的图像识别结果，图像识别结果包括待识别图像对应的预测分类结果以及待识别图像是否为对抗图像，训练后的图像识别模型为采用如本申请第一方面所述的图像识别模型训练方法训练得到的模型。
[0014]第三方面，本申请提供一种图像识别模型训练装置，包括：
[0015]第一获取模块，用于获取训练集中每组训练样本中的原始样本图像、原始样本图像的标注信息以及对抗样本图像，其中，标注信息用于指示原始样本图像中存在的目标对象信息，对抗样本图像为对原始样本图像增加对抗扰动后获得的图像；
[0016]第二获取模块，用于将原始样本图像和对抗样本图像输入待训练的图像识别模型，得到待训练的图像识别模型输出的预测分类结果和对抗样本图像特征向量，对抗样本图像特征向量包括第一特征向量和第二特征向量，其中，第一特征向量为待训练的图像识别模型的骨干网络输出的对抗样本图像对应的特征向量，第二特征向量为待训练的图像识别模型的骨干网络输出的对抗样本图像的复制图像对应的特征向量；
[0017]第一确定模块，用于根据第一特征向量和第二特征向量确定第一损失，以及根据预测分类结果和标注信息确定第二损失，并确定第一损失对应的第一梯度和第二损失对应的第二梯度之间是否存在梯度冲突，第一梯度为第一损失相对于待训练的图像识别模型参数的梯度，第二梯度为第二损失相对于待训练的图像识别模型参数的梯度；
[0018]第一处理模块，用于响应于第一梯度和第二梯度存在梯度冲突，对第一梯度和第二梯度进行梯度冲突消除处理，得到处理后的第一梯度和第二梯度；
[0019]第二处理模块，用于基于处理后的第一梯度和第二梯度，调整待训练的图像识别模型的参数，得到训练完成的图像识别模型。
[0020]第四方面，本申请提供一种图像识别装置，包括：
[0021]获取模块，用于获取待识别图像；
[0022]处理模块，用于将待识别图像输入训练后的图像识别模型，得到训练后的图像识别模型输出的图像识别结果，图像识别结果包括待识别图像对应的预测分类结果以及待识别图像是否为对抗图像，训练后的图像识别模型为采用如本申请第一方面所述的图像识别模型训练方法训练得到的模型。
[0023]第五方面，本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
[0024]存储器存储计算机执行指令；
[0025]处理器执行存储器存储的计算机执行指令，以实现如本申请第一方面所述的图像识别模型训练方法或第二方面所述的图像识别方法。
[0026]第六方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时，实现如本申请第一方面所述的图像识别模型训练方法或第二方面所述的图像识别方法。
[0027]第七方面，本申请提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如本申请第一方面所述的图像识别模型训练方法或第二方面所述的图像识别方法。
[0028]本申请提供的图像识别模型训练方法、图像识别方法及装置，通过获取训练集中每组训练样本中的原始样本图像、原始样本图像的标注信息以及对抗样本图像；将原始样本图像和对抗样本图像输入待训练的图像识别模型，得到待训练的图像识别模型输出的预测分类结果和对抗样本图像特征向量，对抗样本图像特征向量包括第一特征向量和第二特征向量；根据第一特征向量和第二特征向量确定第一损失，以及根据预测分类结果和标注信息确定第二损失，并确定第一损失对应的第一梯度和第二损失对应的第二梯度之间是否存在梯度冲突；响应于第一梯度和第二梯度存在梯度冲突，对第一梯度和第二梯度进行梯度冲突消除处理，得到处理后的第一梯度和第二梯度；基于处理后的第一梯度和第二梯度，调整待训练的图像识别模型的参数，得到训练完成的图像识别模型。由于本申请考虑了待训练的图像识别模型在拟合对抗样本图像时，可能会朝着第二损失增大的方向进行，即考虑了对应原始样本图像和对抗样本图像的损失目标之间的冲突，在确定第一损失对应的第一梯度和第二损失对应的第二梯度存在梯度冲突时，对第一梯度和第二梯度进行梯度冲突消除处理，即消除针对原始样本图像的训练损失计算的梯度与针对对抗样本图像的训练损失计算的梯度之间的梯度冲突，以保证对对抗样本图像的拟合不影响对原始样本图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别模型训练方法，其特征在于，包括：获取训练集中每组训练样本中的原始样本图像、所述原始样本图像的标注信息以及对抗样本图像，其中，所述标注信息用于指示所述原始样本图像中存在的目标对象信息，所述对抗样本图像为对所述原始样本图像增加对抗扰动后获得的图像；将所述原始样本图像和所述对抗样本图像输入待训练的图像识别模型，得到所述待训练的图像识别模型输出的预测分类结果和对抗样本图像特征向量，所述对抗样本图像特征向量包括第一特征向量和第二特征向量，其中，所述第一特征向量为所述待训练的图像识别模型的骨干网络输出的对抗样本图像对应的特征向量，所述第二特征向量为所述待训练的图像识别模型的骨干网络输出的所述对抗样本图像的复制图像对应的特征向量；根据所述第一特征向量和所述第二特征向量确定第一损失，以及根据所述预测分类结果和所述标注信息确定第二损失，并确定所述第一损失对应的第一梯度和所述第二损失对应的第二梯度之间是否存在梯度冲突，所述第一梯度为所述第一损失相对于所述待训练的图像识别模型参数的梯度，所述第二梯度为所述第二损失相对于所述待训练的图像识别模型参数的梯度；响应于所述第一梯度和所述第二梯度存在梯度冲突，对所述第一梯度和所述第二梯度进行梯度冲突消除处理，得到处理后的第一梯度和第二梯度；基于所述处理后的第一梯度和第二梯度，调整所述待训练的图像识别模型的参数，得到训练完成的图像识别模型。2.根据权利要求1所述的图像识别模型训练方法，其特征在于，所述确定所述第一损失对应的第一梯度和所述第二损失对应的第二梯度之间是否存在梯度冲突，包括：确定所述第一梯度到所述第二梯度的第一投影是否小于第一预设值；响应于所述第一投影小于所述第一预设值，确定所述第一梯度和所述第二梯度存在梯度冲突；响应于所述第一投影不小于所述第一预设值，确定所述第一梯度和所述第二梯度不存在梯度冲突。3.根据权利要求2所述的图像识别模型训练方法，其特征在于，所述对所述第一梯度和所述第二梯度进行梯度冲突消除处理，得到处理后的第一梯度和第二梯度，包括：对所述第一投影和所述第一梯度进行加和处理，得到所述处理后的第一梯度；对第二投影和所述第二梯度进行加和处理，得到所述处理后的第二梯度，其中，所述第二投影为所述第二梯度到所述第一梯度的投影；其中，所述处理后的第一梯度到所述处理后的第二梯度的投影大于或等于所述第一预设值，且所述处理后的第二梯度到所述处理后的第一梯度的投影大于或等于所述第一预设值。4.根据权利要求1至3中任一项所述的图像识别模型训练方法，其特征在于，所述对抗样本图像包括第一对抗样本图像和第二对抗样本图像，所述第一对抗样本图像是对所述原始样本图像添加随机噪声获得的图像，所述第二对抗样本图像是根据预设对抗类型生成的图像，所述根据所述第一特征向量和所述第二特征向量确定第一损失，包括：若对所述待训练的图像识别模型迭代训练的训练次数不为第二预设值的整数倍，则基于所述第一对抗样本图像对应的第一特征向量以及所述第一对抗样本图像的复制图像对
应的第二特征向量，确定所述第一损失；若对所述待训练的图像识别模型迭代训练的训练次数为所述第二预设值的整数倍，则基于所述第二对抗样本图像对应的第一特征向量以及所述第二对抗样本图像的复制图像对应的第二特征向量，确定所述第一损失。5.根据权利要求4所述的图像识别模型训练方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量确定第一损失，包括：确定所述第一特征向量和所述第二特征向量之间的欧式距离；确定目标欧式距离为所述欧式距离和预设欧式距离阈值中的较小值；根据所述目标欧式距离，确定所述第一损失。6.根据权利要求1至3中任一项所述的图像识别模型训练方法，其特征在于，所述基于所述处理后的第一梯度和第二梯度，调整所述待训练的图像识别模型的参数，得到训练完成的图像识别模型，包括：根据所述处理后的第一梯度和第二梯度以及学习率参数，获取调整后的所述待训练的图像识别模型...

【专利技术属性】
技术研发人员：刘彦宏，夏粉，蒋宁，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：