【技术实现步骤摘要】
本申请涉及人工智能领域，尤其涉及模型训练方法及相关设备。
技术介绍
1、单目相机只有一个摄像头，通过单目相机进行拍摄，会将三维空间信息存储为二维图像，相当于某个场景在图像上的一个投影。从单目相机（如手机相机）的图像中去估计人体的三维姿态是一个很具备挑战性的问题。
2、虽然可以通过三维人体估计算法得到人体姿态，但是在估算过程中容易出现人体朝相机倾斜以及腿部弯曲的结果，因此通过现有方法估算得到的人体姿态不准确。
技术实现思路
1、本申请提供了一种模型训练方法及相关设备，能够准确地估算人体姿态。
2、第一方面，本申请的一些实施例提供了一种模型训练方法。该模型训练方法可以包括：获取第一样本图像，第一样本图像包含第一人体；确定第一样本图像对应的第一人体形状姿态信息和第一样本图像对应的第一人体深度图，第一人体形状姿态信息包括第一人体的各个关节点对应的估算距离，估算距离为估算得到的相机到关节点的距离，第一人体深度图包括第一人体上的像素点对应的深度数据，深度数据为相机到第一人体上的点的距离；基于第一人体形状姿态信息和第一人体深度图，确定第一目标损失值；基于第一目标损失值进行模型训练，得到第一姿态模型，第一姿态模型用于确定人体姿态。
3、通过上述方式，基于第一人体形状姿态信息和第一人体深度图，确定第一目标损失值，也就是利用深度信息进行约束，使得引入深度信息进行约束进行训练后得到的模型，能够准确地估算人体姿态。
4、在一种可能的实现中，基于第一人体形状姿
5、通过上述方式，第一目标损失值用于对模型进行训练，而该第一目标损失值是基于第一损失值确定出来的，所以第一损失值也参与该模型训练的过程，该第一损失值又是基于深度信息得到的，从而实现在训练模型时引入了深度信息进行约束。
6、在一种可能的实现中，基于第一人体形状姿态信息和第一人体深度图，确定第一损失值，包括：基于第一人体形状姿态信息和第一人体深度图确定第一关节点对应的第一深度数据和第一关节点对应的第一估计距离，以及第二关节点对应的第二深度数据和第二关节点对应的第二估计距离，第一关节点和第二关节点为第一人体腿部上相邻的两个关节点；基于第一深度数据、第一估计距离、第二深度数据以及第二估计距离，确定第一损失值。
7、通过上述方式，通过第一人体腿部上相邻的两个关节点对应的深度数据和估计距离得到第一损失值，使得训练得到的模型可以解决腿部弯曲的问题。
8、在一种可能的实现中，基于第一深度数据、第一估计距离、第二深度数据以及第二估计距离，确定第一损失值，包括：基于第一深度数据、第一估计距离、第二深度数据、第二估计距离以及预设的损失权重，确定第一损失值。
9、通过上述方式，引入权重确定第一损失值，可以使得训练得到的模型可以更好地解决腿部弯曲的问题。
10、在一种可能的实现中，基于第一损失值，确定第一目标损失值，包括：基于第一损失值、第二损失值、第三损失值、第四损失值、第五损失值，确定第一目标损失值；其中，第二损失值为关键点约束对应的损失值、第三损失值为人体姿态先验对应的损失值、第四损失值为人体形态约束对应的损失值、第五损失值为异常弯曲约束对应的损失值。
11、通过上述方式，在训练模型时，引入多种约束对模型进行训练，使得训练得到的第一姿态模型可以准确地估算人体姿态。
12、在一种可能的实现中，确定第一样本图像对应的第一人体形状姿态信息和第一样本图像对应的第一人体深度图，包括：将第一样本图像输入人体姿态模型，得到第一样本图像对应的第一人体形状姿态信息；将第一样本图像输入图像深度估计模型，得到第一样本图像对应的第一人体深度图。
13、通过上述方式，通过人体姿态模型和图像深度估计模型，可以准确地得到第一样本图像对应的第一人体形状姿态信息和第一人体深度图。
14、在一种可能的实现中，基于第一目标损失值进行模型训练，得到第一姿态模型之后，该方法还包括：确定第二样本图像对应的第二人体形状姿态信息和第二样本图像对应的第二人体深度图，第二样本图像包含第二人体，第二人体形状姿态信息包括第二人体的各个关节点对应的估算距离，第二人体深度图包括第二人体上的像素点对应的深度数据，深度数据为相机到第二人体上的点的距离；基于第二人体形状姿态信息和第二人体深度图，确定第二目标损失值；基于第二目标损失值对第一姿态模型进行训练，得到第二姿态模型，第二姿态模型用于确定人体姿态。
15、通过上述方式，在通过第一样本图像训练完成后，再使用第二样本图像继续对第一姿态模型进行训练，得到第二姿态模型，通过多次迭代训练，使得到的姿态模型可以更加准确地估算人体姿态。
16、在一种可能的实现中，第一人体和第二人体为从不同方向拍摄同一人体得到的人体。
17、通过上述方式，通过不同方向拍摄的同一人体的图像对模型进行训练，使得到的姿态模型可以更加准确地估算人体姿态。
18、第二方面，本申请提供了一种电子设备，包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述第一方面任一项可能的实现方式中的模型训练方法。
19、第三方面，本申请提供了一种模型训练装置，该装置可以是电子设备，也可以是电子设备中的装置，或者是能够和电子设备匹配使用的装置；其中，该模型训练装置还可以是芯片系统，该模型训练装置可执行第一方面中电子设备所执行的方法。该模型训练装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的单元。该单元可以是软件和/或硬件。该模型训练装置执行的操作及有益效果可以参见上述第一方面所述的方法以及有益效果，重复之处不再赘述。
20、第四方面，本申请提供了一种芯片，该芯片包括处理器和接口，处理器和接口耦合；接口用于接收或输出信号，处理器用于执行代码指令，以执行上述第一方面任一项可能的实现方式中的模型训练方法。
21、第五方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序/指令，当计算机程序产品在计算机上运行时，使得计算机执行上述第一方面任一项可能的实现方式中的模型训练方法。
22、第六方面，本申请提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述第一方面任一项可能的实现方式中的模型训练方法。
本文档来自技高网...【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一人体形状姿态信息和所述第一人体深度图，确定第一目标损失值，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一人体形状姿态信息和所述第一人体深度图，确定第一损失值，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一深度数据、所述第一估计距离、所述第二深度数据以及所述第二估计距离，确定第一损失值，包括：
5.根据权利要求2-4中任意一项所述的方法，其特征在于，所述基于所述第一损失值，确定第一目标损失值，包括：
6.根据权利要求1-4任意一项所述的方法，其特征在于，所述确定所述第一样本图像对应的第一人体形状姿态信息和所述第一样本图像对应的第一人体深度图，包括：
7.根据权利要求1-4中任意一项所述的方法，其特征在于，所述基于所述第一目标损失值进行模型训练，得到第一姿态模型之后，方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述第一人体和所述第二人体为从不同
9.一种电子设备，包括一个或多个存储器、一个或多个处理器，其特征在于，所述存储器用于存储计算机程序；所述处理器用于调用所述计算机程序，使得所述电子设备执行权利要求1-8中任一项所述的方法。
10.一种芯片系统，应用于电子设备，其特征在于，所述芯片系统包括至少一个处理器以及接口，所述接口用于接收指令，并传输至所述至少一个处理器；所述至少一个处理器运行所述指令使得所述电子设备执行如权利要求1-8中任意一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-8中任意一项所述的方法的步骤。
12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-8中任意一项所述的方法的步骤。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一人体形状姿态信息和所述第一人体深度图，确定第一目标损失值，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一人体形状姿态信息和所述第一人体深度图，确定第一损失值，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一深度数据、所述第一估计距离、所述第二深度数据以及所述第二估计距离，确定第一损失值，包括：
5.根据权利要求2-4中任意一项所述的方法，其特征在于，所述基于所述第一损失值，确定第一目标损失值，包括：
6.根据权利要求1-4任意一项所述的方法，其特征在于，所述确定所述第一样本图像对应的第一人体形状姿态信息和所述第一样本图像对应的第一人体深度图，包括：
7.根据权利要求1-4中任意一项所述的方法，其特征在于，所述基于所述第一目标损失值进行模型训练，得到第一姿态模型之后，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。