模型训练、图像处理方法、装置、设备及存储介质制造方法及图纸

本公开涉及一种模型训练、图像处理方法、装置、设备及存储介质。本公开通过包含有多模态信息如图像信息和文本信息的第一数据集进行模型训练，得到第一轮迭代训练后的模型。以第一轮迭代训练后的模型为基准进行多轮迭代训练，得到预训练模型，并且在每一轮迭代训练之前，对上一轮迭代训练采用的目标数据集进行更新。根据更新后的目标数据集，对上一轮迭代训练后的模型进行本轮迭代训练后，可使得本轮迭代训练后的模型相比于上一轮迭代训练后的模型更加精准。将该预训练模型作为下游任务例如废钢等级判定任务的起始模型，并根据下游任务中的样本数据对该预训练模型进行微调后，使得微调后的预训练模型精准的判定废钢等级，从而有效节约了废钢资源。而有效节约了废钢资源。而有效节约了废钢资源。

【技术实现步骤摘要】
模型训练、图像处理方法、装置、设备及存储介质


[0001]本公开涉及信息
，尤其涉及一种模型训练、图像处理方法、装置、设备及存储介质。

技术介绍

[0002]目前，图像处理技术已经被广泛应用在各个领域。例如，通过对整车废钢进行图像采集，然后采用图像处理技术，判定整车废钢的等级。
[0003]但是，目前通过图像处理技术对整车废钢的等级判定不够精准，导致废钢资源得不到有效的利用。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种模型训练、图像处理方法、装置、设备及存储介质，以精准的判定废钢等级，节约废钢资源。
[0005]第一方面，本公开实施例提供一种模型训练方法，包括：
[0006]获取上一轮迭代训练后的模型、以及所述上一轮迭代训练采用的目标数据集，所述目标数据集至少包括第一数据集，所述第一数据集包括多个第一样本，所述第一样本包括第一图像和所述第一图像中目标对象的文本信息，所述第一数据集用于模型训练得到第一轮迭代训练后的模型，所述上一轮迭代训练后的模型是所述第一轮迭代训练后的模型，或者是以所述第一轮迭代训练后的模型为基准经过至少一轮迭代训练后的模型；
[0007]通过所述上一轮迭代训练后的模型，对所述目标数据集进行更新；
[0008]根据更新后的目标数据集，对所述上一轮迭代训练后的模型进行迭代训练，得到本轮迭代训练后的模型，通过多轮迭代训练后得到预训练模型。
[0009]第二方面，本公开实施例提供一种模型训练方法，所述方法包括：
[0010]获取样本数据集中的第一图像和第二图像；
[0011]根据待训练的机器学习模型，对所述第一图像和所述第二图像分别进行检测，得到所述第一图像的第一检测结果和所述第二图像的第二检测结果，所述待训练的机器学习模型的初始参数是预训练模型的参数，所述预训练模型是根据如第一方面所述的方法得到的；
[0012]对所述第一图像中的多个第一候选区域和所述第二图像中的多个第二候选区域进行融合处理，得到多个第三候选区域；
[0013]根据所述多个第三候选区域，得到第三检测结果，所述第一检测结果、所述第二检测结果和所述第三检测结果分别包括至少一个目标区域、以及每个目标区域中目标对象的类别；
[0014]根据所述第一检测结果、所述第二检测结果和所述第三检测结果，对所述待训练的机器学习模型进行训练，得到训练后的机器学习模型。
[0015]第三方面，本公开实施例提供一种图像处理方法，所述方法包括：
[0016]获取待处理的目标图像；
[0017]将所述目标图像输入到训练后的机器学习模型，使得所述训练后的机器学习模型输出所述目标图像中的至少一个目标区域、以及每个目标区域中目标对象的所属类别的置信度，所述训练后的机器学习模型是根据如第二方面所述的方法得到的；
[0018]根据每个目标区域中目标对象所属类别的置信度，确定所述目标图像中的目标对象的级别。
[0019]第四方面，本公开实施例提供一种废钢等级判定方法，所述方法包括：
[0020]获取整车废钢在卸货过程中多个层级的图像；
[0021]将每个层级的图像输入到训练后的机器学习模型，使得所述训练后的机器学习模型输出每个层级的图像中的至少一个目标区域、以及每个目标区域中目标对象的类别，所述训练后的机器学习模型是根据如第二方面所述的方法得到的；
[0022]根据每个层级的图像中的至少一个目标区域、以及每个目标区域中目标对象的类别，确定所述整车废钢的级别。
[0023]第五方面，本公开实施例提供一种模型训练装置，包括：
[0024]获取模块，用于获取上一轮迭代训练后的模型、以及所述上一轮迭代训练采用的目标数据集，所述目标数据集至少包括第一数据集，所述第一数据集包括多个第一样本，所述第一样本包括第一图像和所述第一图像中目标对象的文本信息，所述第一数据集用于模型训练得到第一轮迭代训练后的模型，所述上一轮迭代训练后的模型是所述第一轮迭代训练后的模型，或者是以所述第一轮迭代训练后的模型为基准经过至少一轮迭代训练后的模型；
[0025]更新模块，用于通过所述上一轮迭代训练后的模型，对所述目标数据集进行更新；
[0026]迭代训练模块，用于根据更新后的目标数据集，对所述上一轮迭代训练后的模型进行迭代训练，得到本轮迭代训练后的模型，通过多轮迭代训练后得到预训练模型。
[0027]第六方面，本公开实施例提供一种电子设备，包括：
[0028]存储器；
[0029]处理器；以及
[0030]计算机程序；
[0031]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面、第二方面、第三方面、第四方面所述的方法。
[0032]第七方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面、第二方面、第三方面、第四方面所述的方法。
[0033]本公开实施例提供的模型训练、图像处理方法、装置、设备及存储介质，通过包含有多模态信息如图像信息和文本信息的第一数据集进行模型训练，得到第一轮迭代训练后的模型。进一步，以第一轮迭代训练后的模型为基准进行多轮迭代训练，得到预训练模型，并且在每一轮迭代训练之前，对上一轮迭代训练采用的目标数据集进行更新，使得更新后的目标数据集包含更多的样本。因此，根据更新后的目标数据集，对上一轮迭代训练后的模型进行迭代训练，得到本轮迭代训练后的模型时，可使得本轮迭代训练后的模型相比于上一轮迭代训练后的模型更加精准。也就是说，在多轮迭代训练过程中，随着轮数的增加，模
型的精准度在不断提高，通过多轮迭代训练后得到的预训练模型的精准度将达到最高。因此，将该预训练模型作为下游任务例如废钢等级判定任务的起始模型，并根据下游任务中的样本数据对该预训练模型进行微调后，可使得微调后的预训练模型精准的判定废钢等级，从而有效节约了废钢资源。
附图说明
[0034]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0035]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本公开实施例提供的模型训练方法流程图；
[0037]图2为本公开实施例提供的应用场景的示意图；
[0038]图3为本公开实施例提供的文本信息的示意图；
[0039]图4为本公开实施例提供的文本标注的示意图；
[0040]图5为本公开另一实施例提供的模型训练方法流程图；
[0041]图6为本公开另一实施例提供的模型训练方法流程图；
[0042]图7为本公开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其中，所述方法包括：获取上一轮迭代训练后的模型、以及所述上一轮迭代训练采用的目标数据集，所述目标数据集至少包括第一数据集，所述第一数据集包括多个第一样本，所述第一样本包括第一图像和所述第一图像中目标对象的文本信息，所述第一数据集用于模型训练得到第一轮迭代训练后的模型，所述上一轮迭代训练后的模型是所述第一轮迭代训练后的模型，或者是以所述第一轮迭代训练后的模型为基准经过至少一轮迭代训练后的模型；通过所述上一轮迭代训练后的模型，对所述目标数据集进行更新；根据更新后的目标数据集，对所述上一轮迭代训练后的模型进行迭代训练，得到本轮迭代训练后的模型，通过多轮迭代训练后得到预训练模型。2.根据权利要求1所述的方法，其中，通过所述上一轮迭代训练后的模型，对所述目标数据集进行更新，包括：通过所述上一轮迭代训练后的模型，从未标注的第二数据集中选取目标子集，所述目标子集中的每个第二图像的评价指标满足预设条件；通过所述上一轮迭代训练后的模型，对所述目标子集中的每个第二图像进行标注，得到标注后的目标子集；根据所述标注后的目标子集，对所述目标数据集进行更新，所述目标数据集和所述标注后的目标子集构成更新后的目标数据集。3.根据权利要求2所述的方法，其中，通过所述上一轮迭代训练后的模型，从未标注的第二数据集中选取目标子集，包括：针对所述未标注的第二数据集中的每个第二图像，通过所述上一轮迭代训练后的模型，对所述第二图像进行第一粒度的打分和第二粒度的打分，得到所述第二图像的第一粒度分值和第二粒度分值，所述第一粒度大于所述第二粒度；根据每个第二图像分别对应的第一粒度分值和第二粒度分值，确定每个第二图像分别对应的评价指标；将所述第二数据集中评价指标满足预设条件的第二图像构成所述目标子集。4.根据权利要求2所述的方法，其中，通过所述上一轮迭代训练后的模型，对所述目标子集中的每个第二图像进行标注，包括：针对所述目标子集中的每个第二图像，通过所述上一轮迭代训练后的模型，检测所述第二图像中的至少一个目标区域、以及每个目标区域中目标对象的类别；根据所述第二图像中每个目标区域中包括的目标对象的类别，对所述第二图像进行标注。5.一种模型训练方法，其中，所述方法包括：获取样本数据集中的第一图像和第二图像；根据待训练的机器学习模型，对所述第一图像和所述第二图像分别进行检测，得到所述第一图像的第一检测结果和所述第二图像的第二检测结果，所述待训练的机器学习模型的初始参数是预训练模型的参数，所述预训练模型是根据如权利要求1
‑
4中任一项所述的方法得到的；对所述第一图像中的多个第一候选区域和所述第二图像中的多个第二候选区域进行融合处理，得到多个第三候选区域；
根据所述多个第三候选区域，得到第三检测结果，所述第一检测结果、所述第二检测结果和所述第三检测结果分别包括至少一个目标区域、以及每个目标区域中目标对象的类别；根据所述第一检测结果、所述第二检测结果和所述第三检测结果，对所述待训练的机器学习模型进行训练，得到训练后的机器学习模型。6.根据权利要求5所述的方法，其中，根据所述第一检测结果、所述第二检测结果和所述第三检测结果，对所述待训练的机器学习模型进行训练，得到训练后的机器学习模型，包括：根据所述第一图像的标注结果和所述第一检测结果的差值、以及所述第二检测结果和所述第三检测结果的差值，构建损失函数；根据所述损失函数对所述待训练的机器学习模型进行训练，得到训练后的机器学习模型。7.根据权利要求5所述的方法，其中，根据所述第一检测结果、所述第二检测结果和所述第三检测结果，对所述待训练的机器学习模型进行...

【专利技术属性】
技术研发人员：杨昭，徐海华，魏溪含，陈伟璇，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：