图像分类模型的训练方法、装置及设备制造方法及图纸

本申请公开了一种图像分类模型的训练方法、装置及设备，属于计算机技术领域。方法包括：基于任一个类别标注结果对应的各个源域图像特征对，确定该类别标注结果对应的第一损失，该类别标注结果对应的一个源域图像特征对包括该类别标注结果对应的两个不同模态标注结果的样本源域图像的图像特征；基于各个类别标注结果对应的第一损失、各个样本源域图像的第一类别预测结果、各个样本目标域图像的第一类别预测结果，训练神经网络模型得到图像分类模型。利用类别标注结果对应的第一损失训练模型，可以使相同类别标注结果不同模态标注结果的样本源域图像对应相似的图像特征，从而使图像特征侧重于区分类别，提高分类准确性。提高分类准确性。提高分类准确性。

【技术实现步骤摘要】
图像分类模型的训练方法、装置及设备


[0001]本申请实施例涉及计算机
，特别涉及一种图像分类模型的训练方法、装置及设备。

技术介绍

[0002]随着计算机技术的不断发展，图像分类技术被广泛应用于各行各业中。通过训练图像分类模型，可以利用图像分类模型进行图像分类。
[0003]相关技术中，在训练图像分类模型时，可以获取样本源域图像、样本目标域图像和样本源域图像的类别标注结果。将样本源域图像和样本目标域图像输入神经网络模型，由神经网络模型确定样本源域图像的类别预测结果和样本目标域图像的类别预测结果。基于样本源域图像的类别预测结果和类别标注结果、样本目标域图像的类别预测结果，对神经网络模型进行训练，得到图像分类模型。
[0004]然而，上述方式训练出的图像分类模型的分类效果不佳，影响了图像分类结果的准确性。

技术实现思路

[0005]本申请提供了一种图像分类模型的训练方法、装置及设备，可用于解决相关技术中的问题，所述技术方案包括如下内容。
[0006]一方面，提供了一种图像分类模型的训练方法，所述方法包括：
[0007]获取多个样本源域图像、多个样本目标域图像、各个样本源域图像的模态标注结果和所述各个样本源域图像的类别标注结果；
[0008]通过神经网络模型确定所述各个样本源域图像的第一类别预测结果；
[0009]通过所述神经网络模型确定所述各个样本目标域图像的第一类别预测结果；
[0010]对于任一个类别标注结果，基于所述任一个类别标注结果对应的各个源域图像特征对，确定所述任一个类别标注结果对应的第一损失，所述任一个类别标注结果对应的一个源域图像特征对包括所述任一个类别标注结果对应的两个不同模态标注结果的样本源域图像的图像特征；
[0011]基于各个类别标注结果对应的第一损失、所述各个样本源域图像的第一类别预测结果、所述各个样本目标域图像的第一类别预测结果，对所述神经网络模型进行训练，得到图像分类模型。
[0012]另一方面，提供了一种图像分类模型的训练装置，所述装置包括：
[0013]获取模块，用于获取多个样本源域图像、多个样本目标域图像、各个样本源域图像的模态标注结果和所述各个样本源域图像的类别标注结果；
[0014]确定模块，用于通过神经网络模型确定所述各个样本源域图像的第一类别预测结果；
[0015]所述确定模块，还用于通过所述神经网络模型确定所述各个样本目标域图像的第
一类别预测结果；
[0016]所述确定模块，还用于对于任一个类别标注结果，基于所述任一个类别标注结果对应的各个源域图像特征对，确定所述任一个类别标注结果对应的第一损失，所述任一个类别标注结果对应的一个源域图像特征对包括所述任一个类别标注结果对应的两个不同模态标注结果的样本源域图像的图像特征；
[0017]训练模块，用于基于各个类别标注结果对应的第一损失、所述各个样本源域图像的第一类别预测结果、所述各个样本目标域图像的第一类别预测结果，对所述神经网络模型进行训练，得到图像分类模型。
[0018]在一种可能的实现方式中，所述确定模块，用于对于任一个样本源域图像，通过所述神经网络模型基于所述任一个样本源域图像的图像特征生成所述任一个样本源域图像对应的第一目标域图像；通过所述神经网络模型基于所述任一个样本源域图像对应的第一目标域图像确定所述任一个样本源域图像的第一类别预测结果。
[0019]在一种可能的实现方式中，所述确定模块，用于基于所述任一个样本源域图像的图像特征，生成所述任一个样本源域图像对应的目标域特征和图像内容特征；基于所述任一个样本源域图像对应的目标域特征和图像内容特征，生成所述任一个样本源域图像对应的第一目标域图像。
[0020]在一种可能的实现方式中，所述确定模块，用于对于任一个样本目标域图像，通过所述神经网络模型基于所述任一个样本目标域图像的图像特征生成所述任一个样本目标域图像对应的第一源域图像；通过所述神经网络模型基于所述任一个样本目标域图像对应的第一源域图像确定所述任一个样本目标域图像的第一类别预测结果。
[0021]在一种可能的实现方式中，所述训练模块，用于基于所述各个样本源域图像的第一类别预测结果和所述各个样本源域图像的类别标注结果，确定第二损失；基于所述各个样本目标域图像的第一类别预测结果，确定第三损失；基于所述第二损失、所述第三损失和各个类别标注结果对应的第一损失，对所述神经网络模型进行训练，得到图像分类模型。
[0022]在一种可能的实现方式中，所述训练模块，用于基于所述各个样本目标域图像的第一类别预测结果，确定所述各个样本目标域图像的权重系数；基于所述各个样本目标域图像的权重系数，确定所述各个样本源域图像的权重系数；基于所述各个样本目标域图像的权重系数和所述各个样本源域图像的权重系数，确定第三损失。
[0023]在一种可能的实现方式中，任一个样本目标域图像的第一类别预测结果包括所述任一个样本目标域图像属于除所述各个类别标注结果之外的其他类别的第一概率；
[0024]所述训练模块，用于获取所述各个样本目标域图像的第二类别预测结果，所述任一个样本目标域图像的第二类别预测结果包括所述任一个样本目标域图像属于所述各个类别标注结果的第二概率；对于所述任一个样本目标域图像，基于所述任一个样本目标域图像对应的第一概率和第二概率，确定所述任一个样本目标域图像的权重系数。
[0025]在一种可能的实现方式中，所述训练模块，用于基于所述各个样本目标域图像的权重系数，从所述各个样本目标域图像中确定多个参考图像，所述参考图像的权重系数大于权重阈值；对于任一个样本源域图像，基于所述各个参考图像属于所述任一个样本源域图像的类别标注结果的第二概率，确定所述任一个样本源域图像的权重系数。
[0026]在一种可能的实现方式中，所述训练模块，用于获取所述各个样本目标域图像的
域预测结果和所述各个样本源域图像对应的第一目标域图像的域预测结果；基于所述各个样本目标域图像的权重系数、所述各个样本目标域图像的域预测结果、所述各个样本源域图像的权重系数、所述各个样本源域图像对应的第一目标域图像的域预测结果，确定第三损失。
[0027]在一种可能的实现方式中，所述装置还包括：
[0028]所述确定模块，还用于通过所述神经网络模型确定所述各个样本源域图像的模态预测结果；基于所述各个样本源域图像的模态预测结果和模态标注结果确定第四损失；
[0029]所述训练模块，用于基于所述第四损失、各个类别标注结果对应的第一损失、所述各个样本源域图像的第一类别预测结果、所述各个样本目标域图像的第一类别预测结果，对所述神经网络模型进行训练，得到图像分类模型。
[0030]在一种可能的实现方式中，所述装置还包括：
[0031]所述确定模块，还用于获取所述各个样本源域图像对应的第一目标域图像的域预测结果和所述各个样本目标域图像的域预测结果；基于所述各个样本源域图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类模型的训练方法，其特征在于，所述方法包括：获取多个样本源域图像、多个样本目标域图像、各个样本源域图像的模态标注结果和所述各个样本源域图像的类别标注结果；通过神经网络模型确定所述各个样本源域图像的第一类别预测结果；通过所述神经网络模型确定所述各个样本目标域图像的第一类别预测结果；对于任一个类别标注结果，基于所述任一个类别标注结果对应的各个源域图像特征对，确定所述任一个类别标注结果对应的第一损失，所述任一个类别标注结果对应的一个源域图像特征对包括所述任一个类别标注结果对应的两个不同模态标注结果的样本源域图像的图像特征；基于各个类别标注结果对应的第一损失、所述各个样本源域图像的第一类别预测结果、所述各个样本目标域图像的第一类别预测结果，对所述神经网络模型进行训练，得到图像分类模型。2.根据权利要求1所述的方法，其特征在于，所述通过神经网络模型确定所述各个样本源域图像的第一类别预测结果，包括：对于任一个样本源域图像，通过所述神经网络模型基于所述任一个样本源域图像的图像特征生成所述任一个样本源域图像对应的第一目标域图像；通过所述神经网络模型基于所述任一个样本源域图像对应的第一目标域图像确定所述任一个样本源域图像的第一类别预测结果。3.根据权利要求2所述的方法，其特征在于，所述基于所述任一个样本源域图像的图像特征生成所述任一个样本源域图像对应的第一目标域图像，包括：基于所述任一个样本源域图像的图像特征，生成所述任一个样本源域图像对应的目标域特征和图像内容特征；基于所述任一个样本源域图像对应的目标域特征和图像内容特征，生成所述任一个样本源域图像对应的第一目标域图像。4.根据权利要求1所述的方法，其特征在于，所述基于各个类别标注结果对应的第一损失、所述各个样本源域图像的第一类别预测结果、所述各个样本目标域图像的第一类别预测结果，对所述神经网络模型进行训练，得到图像分类模型，包括：基于所述各个样本源域图像的第一类别预测结果和所述各个样本源域图像的类别标注结果，确定第二损失；基于所述各个样本目标域图像的第一类别预测结果，确定第三损失；基于所述第二损失、所述第三损失和各个类别标注结果对应的第一损失，对所述神经网络模型进行训练，得到图像分类模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述各个样本目标域图像的第一类别预测结果，确定第三损失，包括：基于所述各个样本目标域图像的第一类别预测结果，确定所述各个样本目标域图像的权重系数；基于所述各个样本目标域图像的权重系数，确定所述各个样本源域图像的权重系数；基于所述各个样本目标域图像的权重系数和所述各个样本源域图像的权重系数，确定第三损失。
6.根据权利要求5所述的方法，其特征在于，任一个样本目标域图像的第一类别预测结果包括所述任一个样本目标域图像属于除所述各个类别标注结果之外的其他类别的第一概率；所述基于所述各个样本目标域图像的第一类别预测结果，确定所述各个样本目标域图像的权重系数，包括：获取所述各个样本目标域图像的第二类别预测结果，所述任一个样本目标域图像的第二类别预测结果包括所述任一个样本目标域图像属于所述各个类别标注结果的第二概率；对于所述任一个样本目标域图像，基于所述任一个样本目标域图像对应的第一概率和第二概率，确定所述任一个样本目标域图像的权重系数。7.根据权利要求5所述的方法，其特征在于，所述基于所述各个样本目标域图像的权重系数，确定所述各个样本源域图像的权重系数，包括：基于所述各个样本目标域图像的权重系数，从所述各个样本目标域图像中确定多个参考图像，所述参考图像的权重系数大于权重阈值；对于任一个样本源域图像，基于所述各个参考图像属于所述任一个样本源域图像的类别标注结果的第二概率，确定所述任一个样本源域图像的权重系数。8.根据权利要求5所述的方法，其特征在于，所述基于所述各个样本目标域图像的权重系数和所述各个样本源域图像的权重系数，确定第三损失，包括：获取所述各个样本目标域图像的域预测结果和所述各个样本源域图像对应的第一目标域图像的域预测...

【专利技术属性】
技术研发人员：黄雅雯，蔡子贇，张丹丹，李悦翔，王红，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：