模型训练方法及相关装置、设备和存储介质制造方法及图纸

本申请公开了一种模型训练方法及相关装置、设备和存储介质，方法包括：获取基于源域样本数据训练得到的目标模型和评价模型，其中，评价模型用于对目标模型输出的预测结果的准确性进行评价；利用目标模型对目标域样本数据进行预测，得到目标域预测结果；利用评价模型对目标域预测结果进行评价，得到目标域评价结果；基于目标域评价结果，调整目标模型的网络参数。通过该方法，实现了目标模型的域适应。实现了目标模型的域适应。实现了目标模型的域适应。

【技术实现步骤摘要】
模型训练方法及相关装置、设备和存储介质


[0001]本申请涉及深度学习
，特别是涉及一种模型训练方法及相关装置、设备和存储介质。

技术介绍

[0002]深度学习的快速发展，各行各业使用神经网络模型进行工作已经成为常态。例如，在医学领域，利用神经网络模型进行医学图像分割。又如，在交通领域，利用神经网络模型进行车辆识别。
[0003]随着神经网络模型的逐渐普及，神经网络模型的域不适应问题变得日益严重。神经网络模型的域不适应问题主要表现为利用源域数据训练的模型，在目标域数据上的效果不好。域不适应的问题极大地限制了神经网络模型的进一步普及。
[0004]因此，如何解决域不适应问题，是当下研究的重点，对于促进神经网络模型的进一步普及，具有重要的意义。

技术实现思路

[0005]本申请至少提供一种模型训练方法及相关装置、设备和存储介质。
[0006]本申请第一方面提供了一种模型训练方法，方法包括：获取基于源域样本数据训练得到的目标模型和评价模型，其中，评价模型用于对目标模型输出的预测结果的准确性进行评价；利用目标模型对目标域样本数据进行预测，得到目标域预测结果；利用评价模型对目标域预测结果进行评价，得到目标域评价结果；基于目标域评价结果，调整目标模型的网络参数。
[0007]因此，通过获得基于源域样本数据训练得到的目标模型和评价模型，并利用评价模型对目标模型基于目标域样本数据预测得到的目标域预测结果进行评价，以此实现了目标模型在目标域的训练，有助于提高目标模型在目标域样本数据的预测准确性，以此实现了目标模型的域适应。
[0008]其中，上述的获取基于源域样本数据训练得到的目标模型和评价模型，包括：基于源域样本数据对目标模型和评价模型进行至少一次迭代训练，其中，每次训练所基于的源域样本数据相同或不同。
[0009]因此，通过利用源域样本数据对目标模型和评价模型进行至少一次迭代训练，可以提高目标模型输出的预测结果的准确性，同时也能提高评价模型的评价准确度。
[0010]其中，上述的每次基于源域样本数据对目标模型和评价模型进行训练，包括：利用目标模型对源域样本数据进行预测，得到本次训练对应的第一源域预测结果；基于本次训练对应的第一源域预测结果，调整目标模型的网络参数；以及利用评价模型对第二源域预测结果进行评价，得到源域评价结果，其中，第二源域预测结果包括本次训练和/或历史训练对应的第一源域预测结果；基于第二源域预测结果以及源域评价结果，调整评价模型的网络参数。
[0011]因此，通过利用评价模型对第二源域预测结果进行评价来得到源域评价结果，后续便可基于第二源域预测结果以及源域评价结果，来调整评价模型的网络参数，以此实现对评价模型的训练。
[0012]其中，在利用评价模型对第二源域预测结果进行评价，得到源域评价结果之前，方法还包括：基于目标模型当前预测的准确性，将本次训练和/或历史训练对应的第一源域预测结果作为第二源域预测结果；其中，目标模型当前预测的准确性是基于前若干次训练对应的第一源域预测结果或前若干次训练中评价模型输出的评价结果确定的。
[0013]因此，通过确定目标模型当前预测的准确性，可以基于目标模型的训练程度，决定是否将本次训练和/或历史训练对应的第一源域预测结果作为第二源域预测结果。
[0014]其中，上述的基于目标模型当前预测的准确性，将本次训练和/或历史训练对应的第一源域预测结果作为第二源域预测结果，包括：响应于目标模型当前预测的准确性满足第一预设要求，选出至少一个历史训练对应的第一源域预测结果，并将本次训练对应的第一源域预测结果和选出的第一源域预测结果，作为第二源域预测结果；响应于目标模型当前预测的准确性不满足第一预设要求，将本次训练对应的第一源域预测结果作为第二源域预测结果。
[0015]因此，通过确定目标模型当前预测的准确性是否满足第一预设要求，可以确定是否将历史训练对应的第一源域预测结果作为第二源域预测结果，以此灵活控制输入到评价模型的预测结果的数量，而且根据在目标模型的预测准确性可增加历史训练的预测结果对评价模型进行训练，可提高对评价模型的训练效果。
[0016]其中，在利用目标模型对源域样本数据进行预测，得到本次训练对应的第一源域预测结果之后，方法还包括：响应于当前满足第二预设要求，将本次训练对应的第一源域预测结果保存至预设结果集中；选出至少一个历史训练对应的第一源域预测结果，包括：从预设结果集中选出至少一个第一源域预测结果。
[0017]因此，通过判断目标模型当前是否满足第二预设要求，可以确定是否将本次训练对应的第一源域预测结果保存至预设结果集中，进而可实现后续从预设结果集中获取到历史训练的预测结果，以用于对评价模型进行训练。
[0018]其中，上述的第二预设要求包括以下至少一者：目标模型当前预测的准确性不满足第一预设要求，当前目标模型的训练次数少于预设数量。
[0019]因此，当目标模型当前预测的准确性不满足第一预设要求和/或当前目标模型的训练次数少于预设数量时，通过将本次训练对应的第一源域预测结果保存至预设结果集中，可以使得预设结果集中能够存储有预测结果准确率较差的第一源域预测结果，使得后续从预设结果集中选择第一源域预测结果作为第二源域预测结果来对评价模型进行训练时，训练的样本数据更加丰富，提高评价模型对准确率较差的第一源域预测结果的识别能力，有助于提高评价模型的训练效果。
[0020]预测结果集中的第一源域预测结果是按照第一源域预测结果对应的第一损失值划分在不同损失值区间中；述从预设结果集中选出至少一个第一源域预测结果，包括：从预设结果集中随机选出至少一个第一源域预测结果；或者，从预设结果的各损失值区间中分别选出至少一个第一源域预测结果。
[0021]因此，通过利用第一损失值来对预测结果集中的第一源域预测结果进行分类，实
现基于第一源域预测结果的准确率进行分类。其中，上述的基于第二源域预测结果以及源域评价结果，调整评价模型的网络参数，包括：获取第二源域预测结果对应的第一损失值，其中，第一损失值是基于第二源域预测结果与对应的源域数据的源域标注信息之间的差异确定的；基于第一损失值和源域评价结果，调整评价模型的网络参数。
[0022]因为第一损失值能够表示第二源域预测结果的优劣，源域评价结果也能够表示第二源域预测结果的优劣，因此可以将第一损失值作为标签信息，通过比较第一损失值和源域评价结果的差异，来调整评价模型的网络参数，使得源域评价结果能够与第一损失值相互对应。
[0023]其中，上述的调整目标模型的网络参数，包括：调整目标模型的部分网络层的参数。
[0024]因此，通过确定仅调整目标模型的部分网络层的参数，可以较少需要调整的参数量，有助于提高训练速度。
[0025]其中，上述的基于目标域评价结果，调整目标模型的网络参数，包括：基于目标域评价结果，得到第二损失值；基于第二损失值，调整目标模型的网络参数。
[0026]因此，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取基于源域样本数据训练得到的目标模型和评价模型，其中，所述评价模型用于对所述目标模型输出的预测结果的准确性进行评价；利用所述目标模型对目标域样本数据进行预测，得到目标域预测结果；利用所述评价模型对所述目标域预测结果进行评价，得到目标域评价结果；基于所述目标域评价结果，调整所述目标模型的网络参数。2.根据权利要求1所述的方法，其特征在于，所述获取基于源域样本数据训练得到的目标模型和评价模型，包括：基于所述源域样本数据对所述目标模型和评价模型进行至少一次迭代训练，其中，每次训练所基于的所述源域样本数据相同或不同。3.根据权利要求1所述的方法，其特征在于，每次基于所述源域样本数据对所述目标模型和评价模型进行训练，包括：利用所述目标模型对所述源域样本数据进行预测，得到本次训练对应的第一源域预测结果；基于本次训练对应的所述第一源域预测结果，调整所述目标模型的网络参数；以及利用所述评价模型对第二源域预测结果进行评价，得到源域评价结果，其中，所述第二源域预测结果包括本次训练和/或历史训练对应的所述第一源域预测结果；基于所述第二源域预测结果以及所述源域评价结果，调整所述评价模型的网络参数。4.根据权利要求3所述的方法，其特征在于，在所述利用所述评价模型对第二源域预测结果进行评价，得到源域评价结果之前，所述方法还包括：基于所述目标模型当前预测的准确性，将本次训练和/或历史训练对应的所述第一源域预测结果作为所述第二源域预测结果；其中，所述目标模型当前预测的准确性是基于前若干次训练对应的第一源域预测结果或前若干次训练中所述评价模型输出的评价结果确定的。5.根据权利要求4所述的方法，其特征在于，所述基于所述目标模型当前预测的准确性，将本次训练和/或历史训练对应的所述第一源域预测结果作为所述第二源域预测结果，包括：响应于所述目标模型当前预测的准确性满足第一预设要求，选出至少一个历史训练对应的第一源域预测结果，并将本次训练对应的第一源域预测结果和所述选出的第一源域预测结果，作为所述第二源域预测结果；响应于所述目标模型当前预测的准确性不满足第一预设要求，将本次训练对应的所述第一源域预测结果作为所述第二源域预测结果。6.根据权利要求5所述的方法，其特征在于，在所述利用所述目标模型对所述源域样本数据进行预测，得到本次训练对应的第一源域预测结果之后，所述方法还包括：响应于当前满足第二预设要求，将本次训练对应的所述第一源域预测结果保存至预设结果集中；所述选出至少一个历史训练对应的第一源域预测结果，包括：从所述预设结果集中选出至少一个所述第一源域预测结果。7.根据权利要...

【专利技术属性】
技术研发人员：宋涛，张少霆，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：