训练模型的方法、装置、设备和介质制造方法及图纸

本公开实施例公开了一种训练模型的方法、装置、设备和介质，其中，方法包括：获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，第一样本集包括多个已标记样本标签的第一样本图像，第二样本集包括多个未标记的第二样本图像；利用n个教师模型分别预测每个第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签；对每个第二样本图像对应的n个初始伪标签进行聚合处理，得到每个第二样本图像对应的目标伪标签；基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。得到训练后的姿态识别模型。得到训练后的姿态识别模型。

【技术实现步骤摘要】
训练模型的方法、装置、设备和介质


[0001]本公开涉及人工智能
，尤其涉及一种训练模型的方法、装置、设备和介质。

技术介绍

[0002]目前，针对姿态识别模型，通常是采用半监督的方式，利用少量有标签数据和大量无标签数据进行训练。为了提高训练效果，可以在训练过程中引入教师模型，利用教师模型对无标签数据进行处理，并将得到的处理结果作为无标签数据的伪标签，以此指导姿态识别模型的训练。
[0003]由于教师模型对无标签数据的处理过程中会产生噪音伪标签，并且仅基于关键点的置信度很难区分高质量的伪标签和噪音伪标签，相关技术中对姿态识别模型进行训练时，往往忽略了噪声伪标签对训练过程的不利影响，导致训练效果不佳。

技术实现思路

[0004]本公开实施例提供一种训练模型的方法、装置、电子设备和存储介质。
[0005]本公开实施例的一个方面，提供一种训练模型的方法，包括：获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，第一样本集包括多个已标记样本标签的第一样本图像，第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数；利用n个教师模型分别预测每个第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签；对每个第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签；基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。
[0006]在一些实施例中，利用n个教师模型分别预测每个第二样本图像中的关键点，并将预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签，包括：对每个第二样本图像进行第一类型的数据增强处理，得到每个第二样本图像对应的第三样本图像；将每个第二样本图像对应的第三样本图像分别输入n个教师模型，得到每个第二样本图像对应的n个初始伪标签。
[0007]在一些实施例中，该方法还包括：对每个第二样本图像进行第二类型的数据增强处理，得到每个第二样本图像对应的第四样本图像，并将每个第二样本图像对应的目标伪标签确定为每个第四样本图像的目标伪标签；以及，基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型，包括：将第一样本图像输入待训练的姿态识别模型，并基于样本标签与待训练的姿态识别模型的输出结果，确定第一损失值；将第四样本图像输入待训练的姿态识别模型，并基于第四样本图像的目标伪标签与待训练的姿态识别模型的输出结果，确定第二损失值；基于第一损失值与第二损失值，调整待训练的姿态识别模型的模型参数；迭代执行
确定第一损失值的步骤、确定第二损失值的步骤和调整待训练的姿态识别模型的模型参数的步骤，直至满足预设的迭代终止条件，得到训练后的姿态识别模型。
[0008]在一些实施例中，对每个第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签，包括：获取n个教师模型在上轮迭代中得到的n个历史伪标签；对每个第二样本图像对应的n个初始伪标签和n个历史伪标签进行配对，确定多个标签对，标签对包括一个初始伪标签和一个历史伪标签；从标签对包括的初始伪标签和历史伪标签中确定出具有匹配关系的关键点对，并确定关键点对中两个关键点的像素距离；对于n个初始伪标签中具有相同标签的关键点，从包含该关键点的各关键点对中确定出像素距离最小的目标关键点对，并将该关键点在目标关键点对中的位置确定为该关键点的目标位置；基于每个第二样本图像对应的n个初始伪标签中的各关键点及其目标位置，确定每个第二样本图像对应的目标伪标签。
[0009]在一些实施例中，对每个第二样本图像进行第二类型的数据增强处理，得到每个第二样本图像对应的第四样本图像，包括：对每个第二样本图像进行仿射变换处理，得到每个第二样本图像对应的变换后的图像；对每个第二样本图像对应的变换后的图像进行掩膜处理，得到每个第二样本图像对应的第四样本图像。
[0010]在一些实施例中，对每个第二样本图像对应的n个初始伪标签进行聚合处理之前，该方法还包括：将第一样本图像分别输入n个教师模型，并基于样本标签与n个教师模型的输出结果，确定n个教师模型中的各教师模型的第三损失值；依次将n个教师模型中的各教师模型作为学生模型，并将其他n
‑
1个教师模型作为参考模型，得到n个模型组合；对于n个模型组合中的每个模型组合，将第四样本图像输入该模型组合中的学生模型，得到第四样本图像对应该模型组合的第一预测结果，并确定该模型组合中的参考模型对第四样本图像对应的第三样本图像进行处理时得到的n
‑
1个初始伪标签；基于第四样本图像对应该模型组合的第一预测结果与n
‑
1个初始伪标签，确定该模型组合对应的第四损失值；基于第三损失值与n个模型组合中的各模型组合对应的第四损失值，调整n个教师模型中各教师模型的模型参数。
[0011]在一些实施例中，对每个第二样本图像对应的变换后的图像进行掩膜处理，得到每个第二样本图像对应的第四样本图像，包括：获取待裁剪图像；从待裁剪图像中裁剪出肢体部位对应的图像区域，得到局部图像；基于第二样本图像对应的n个初始伪标签，确定第二样本图像对应的变换后的图像中的关键点位置；将局部图像贴附在第二样本图像对应的变换后的图像中的关键点位置，得到第二样本图像对应的第四样本图像。
[0012]本公开实施例还提供了一种姿态识别方法，包括：获取包括目标对象的目标图像；以及，通过上述任一实施例中的训练模型的方法得到的训练后的姿态识别模型识别目标图像中目标对象的姿态。
[0013]本公开实施例还提供了一种训练模型的装置，包括：数据获取单元，被配置成获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，第一样本集包括多个已标记样本标签的第一样本图像，第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数；标签生成单元，被配置成利用n个教师模型分别预测每个第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个第二样本图像对应的n个初始伪标签；标签聚合单元，被配置成对每个第二样本图像对应的n个初始伪标签进行聚
合处理，修正该n个初始伪标签中关键点的位置，得到每个第二样本图像对应的目标伪标签；迭代训练单元，被配置成基于第一样本集、第二样本集以及每个第二样本图像对应的目标伪标签，对待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。
[0014]本公开实施例还提供了一种姿态识别装置，包括：图像获取单元，被配置成获取包括目标对象的目标图像；姿态识别单元，被配置成通过上述任一实施例中的训练模型的方法得到的训练后的姿态识别模型识别目标图像中目标对象的姿态。
[0015]本公开的实施例还提供了一种电子设备，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练模型的方法，其特征在于，包括：获取第一样本集、第二样本集、n个教师模型和待训练的姿态识别模型，其中，所述第一样本集包括多个已标记样本标签的第一样本图像，所述第二样本集包括多个未标记的第二样本图像，n为不小于2的正整数；利用所述n个教师模型分别预测每个所述第二样本图像中的关键点，并将n个预测结果作为该第二样本图像的伪标签，得到每个所述第二样本图像对应的n个初始伪标签；对每个所述第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个所述第二样本图像对应的目标伪标签；基于所述第一样本集、所述第二样本集以及每个所述第二样本图像对应的目标伪标签，对所述待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型。2.根据权利要求1所述的方法，其特征在于，利用所述n个教师模型分别预测每个所述第二样本图像中的关键点，并将预测结果作为该第二样本图像的伪标签，得到每个所述第二样本图像对应的n个初始伪标签，包括：对每个所述第二样本图像进行第一类型的数据增强处理，得到每个所述第二样本图像对应的第三样本图像；将每个所述第二样本图像对应的第三样本图像分别输入所述n个教师模型，得到每个所述第二样本图像对应的n个初始伪标签。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对每个所述第二样本图像进行第二类型的数据增强处理，得到每个所述第二样本图像对应的第四样本图像，并将每个所述第二样本图像对应的目标伪标签确定为每个所述第四样本图像的目标伪标签；以及，所述基于所述第一样本集、所述第二样本集以及每个所述第二样本图像对应的目标伪标签，对所述待训练的姿态识别模型进行迭代训练，得到训练后的姿态识别模型，包括：将所述第一样本图像输入所述待训练的姿态识别模型，并基于所述样本标签与所述待训练的姿态识别模型的输出结果，确定第一损失值；将所述第四样本图像输入所述待训练的姿态识别模型，并基于所述第四样本图像的目标伪标签与所述待训练的姿态识别模型的输出结果，确定第二损失值；基于所述第一损失值与所述第二损失值，调整所述待训练的姿态识别模型的模型参数；迭代执行所述确定第一损失值的步骤、所述确定第二损失值的步骤和所述调整所述待训练的姿态识别模型的模型参数的步骤，直至满足预设的迭代终止条件，得到所述训练后的姿态识别模型。4.根据权利要求3所述的方法，其特征在于，对每个所述第二样本图像对应的n个初始伪标签进行聚合处理，修正该n个初始伪标签中关键点的位置，得到每个所述第二样本图像对应的目标伪标签，包括：获取所述n个教师模型在上轮迭代中得到的n个历史伪标签；对每个所述第二样本图像对应的n个初始伪标签和所述n个历史伪标签进行配对，确定多个标签对，所述标签对包括一个初始伪标签和一个历史伪标签；从所述标签对包括的初始伪标签和历史伪标签中确定出具有匹配关系的关键点对，并确定所述关键点对中两个关键点的像素距离；对于所述n个初始伪标签中具有相同标签的关键点，从包含该关键点的各所述关键点
对中确定出像素距离最小的目标关键点对，并将该关键点在所述目标关键点对中的位置确定为该关键点的目标位置；基于每个所述第二样本图像对应的n个初始伪标签中的各关键点及其目标位置，确定所述每个所述第二样本图像对应的目标伪标签。5.根据权利要求3或4所述的方法，其特征在于，对每个所述第二样本图像进行第二类型的数据增强处理，得到每个所述第二样本图像对应的第四样本图像，包括：对每个所述第二样本图像进行仿射变换处理，得到每个所述第二样本图像对应的变换...

【专利技术属性】
技术研发人员：杨跃，黄林志，张露露，
申请(专利权)人：贝壳找房北京科技有限公司，
类型：发明
国别省市：