姿态获取方法、关键点坐标定位模型的训练方法和装置制造方法及图纸

本申请提供了一种姿态获取方法、关键点坐标定位模型的训练方法和装置。所述方法包括：获取目标视频；对于目标视频中的第i个图像帧，获取第i个图像帧的热度图，i为正整数；根据第i个图像帧的热度图以及第i个图像帧的邻近图像帧的热度图，得到第i个图像帧中关键点的三维坐标；根据第i个图像帧中关键点的三维坐标获取目标对象在第i个图像帧中的目标姿态。相比于相关技术中，本申请实施例提供的技术方案，可以有效克服目标对象在不同的图片中大小和姿态不同造成的预测不准确的问题，从而提升了预测的关键点位置的准确性，进一步提升了获取的姿态的准确性。

Attitude acquisition method, training method and device of key point coordinate positioning model

【技术实现步骤摘要】
姿态获取方法、关键点坐标定位模型的训练方法和装置
本申请实施例涉及人工智能
，特别涉及一种姿态获取方法、关键点坐标定位模型的训练方法和装置。
技术介绍
随着计算机技术的发展，游戏、动画等的制作不再依赖于人工手绘图纸，可以借助于某些设备从图片中获取一些特定的姿态，基于获取到姿态进行制作。在相关技术中，获取姿态获取可以包括如下步骤：首先，获取包括目标对象(如人体)的图片；然后，对图片中的目标对象进行检测，获取到包括目标对象的区域；之后，基于目标对象的区域预测目标对象的关键点的二维坐标；最后，将关键点的二维坐标输入至姿态获取模型，获取到该图片中目标对象的姿态。由于目标对象在不同的图片中大小和姿态可能不同，若采用相关技术中，基于图片中预测的关键点的二维坐标获取姿态，由于预测的关键点位置不准确，进而导致最终获取的姿态不准确。
技术实现思路
本申请实施例提供了一种姿态获取方法、关键点坐标定位模型的训练方法和装置，可用于解决相关技术中，由于预测的关键点位置不准确，进而导致最终获取的姿态不准确的问题。所述技术方案如下：一方面，本申请实施例提供了一种姿态获取方法，所述方法包括：获取目标视频；对于所述目标视频中的第i个图像帧，获取所述第i个图像帧的热度图，所述第i个图像帧的热度图包括所述第i个图像帧中目标对象的各个关键点的热度图，所述热度图中像素点的值用于指示所述像素点为关键点的概率，所述i为正整数；根据所述第i个图像帧的热度图以及所述第i个图像帧的邻近图像帧的热度图，得到所述第i个图像帧中关键点的三维坐标；根据所述第i个图像帧中关键点的三维坐标获取所述目标对象在所述第i个图像帧中的目标姿态。另一方面，本申请实施例提供了一种关键点坐标定位模型的训练方法，所述方法包括：获取至少一组训练样本，每组训练样本包括样本视频、所述样本视频中样本对象的关键点的真实二维坐标和所述关键点的真实三维坐标；在所述样本视频中对所述样本对象进行检测跟踪；获取所述样本视频中各个样本图像帧的热度图，所述样本图像帧的热度图包括所述样本图像帧中所述样本对象的各个关键点的热度图，所述热度图中像素点的像素值用于指示所述像素点为关键点的概率；采用各个所述样本图像帧的热度图、所述关键点的真实二维坐标和所述关键点的真实三维坐标，对关键点坐标定位模型进行训练，所述关键点坐标定位模型用于根据目标样本图像帧的热度图和所述目标样本图像帧的邻近样本图像帧的热度图，确定所述目标样本图像帧中关键点的预测三维坐标；当满足停止训练条件时，停止对所述关键点坐标定位模型的训练，得到完成训练的关键点坐标定位模型。又一方面，本申请实施例提供了一种姿态获取装置，所述装置包括：视频获取模块，用于获取目标视频；热度图获取模块，用于对于所述目标视频中的第i个图像帧，获取所述第i个图像帧的热度图，所述第i个图像帧的热度图包括所述第i个图像帧中目标对象的各个关键点的热度图，所述热度图中像素点的值用于指示所述像素点为关键点的概率，所述i为正整数；坐标获取模块，用于根据所述第i个图像帧的热度图以及所述第i个图像帧的邻近图像帧的热度图，得到所述第i个图像帧中关键点的三维坐标；姿态获取模块，用于根据所述第i个图像帧中关键点的三维坐标获取所述目标对象在所述第i个图像帧中的目标姿态。又一方面，本申请实施例提供了一种关键点坐标定位模型的训练装置，所述装置包括：样本获取模块，用于获取至少一组训练样本，每组训练样本包括样本视频、所述样本视频中样本对象的关键点的真实二维坐标和所述关键点的真实三维坐标；对象检测模块，用于在所述样本视频中对所述样本对象进行检测跟踪；热度图获取模块，用于获取所述样本视频中各个样本图像帧的热度图，所述样本图像帧的热度图包括所述样本图像帧中所述样本对象的各个关键点的热度图，所述热度图中像素点的像素值用于指示所述像素点为关键点的概率；模型训练模块，用于采用各个所述样本图像帧的热度图、所述关键点的真实二维坐标和所述关键点的真实三维坐标，对关键点坐标定位模型进行训练，所述关键点坐标定位模型用于根据目标样本图像帧的热度图和所述目标样本图像帧的邻近样本图像帧的热度图，确定所述目标样本图像帧中关键点的预测三维坐标；训练停止模块，用于当满足停止训练条件时，停止对所述关键点坐标定位模型的训练，得到完成训练的关键点坐标定位模型。再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的姿态获取方法，或者，实现如上述方面所述的关键点坐标定位模型的训练方法。所述计算机设备包括终端或者服务器。再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的姿态获取方法，或者，实现如上述方面所述的关键点坐标定位模型的训练方法。还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述姿态获取方法，或者，实现如上述方面所述的关键点坐标定位模型的训练方法。本申请实施例提供的技术方案可以包括如下有益效果：通过获取目标视频中目标对象的各个关键点的热度图，并基于目标图像帧的热度图以及目标图像帧的邻近图像帧的热度图，获取目标对象在目标图像帧中的目标姿态。相比于相关技术中，在从图片中获取到目标对象的关键点的二维坐标后，直接通过姿态获取模型获取姿态。本申请实施例提供的技术方案，基于目标图像帧的热度图以及目标图像帧的邻近图像帧的热度图获取姿态，可以有效克服目标对象在不同的图片中大小和姿态不同造成的预测不准确的问题，从而提升了预测的关键点位置的准确性，进一步提升了获取的姿态的准确性。附图说明图1示例性示出了本申请提供的姿态获取方法的流程图；图2是本申请一个实施例提供的姿态获取方法的流程图；图3是本申请另一个实施例提供的姿态获取方法的流程图；图4示例性示出了一种目标区域的示意图；图5示例性示出一种热度图的示意图；图6是本申请一个实施例提供的关键点坐标定位模型的训练方法的流程图；图7是本申请一个实施例提供的姿态获取装置的框图；图8是本申请另一个实施例提供的姿态获取装置的框图；图9是本申请一个实施例提供的关键点坐标定位模型的训练装置的框图；图10是本申请一个实施例提供的关键点坐标定位模型的训练装置的框图；图11是本申请一个实施例提供的终端的结构框图；图12是本申请一个实施例提供的服务器的结构示意图。具体实施方式为使本申请的目的、技术方案本文档来自技高网...

【技术保护点】
1.一种姿态获取方法，其特征在于，所述方法包括：/n获取目标视频；/n对于所述目标视频中的第i个图像帧，获取所述第i个图像帧的热度图，所述第i个图像帧的热度图包括所述第i个图像帧中目标对象的各个关键点的热度图，所述热度图中像素点的值用于指示所述像素点为关键点的概率，所述i为正整数；/n根据所述第i个图像帧的热度图以及所述第i个图像帧的邻近图像帧的热度图，得到所述第i个图像帧中关键点的三维坐标；/n根据所述第i个图像帧中关键点的三维坐标获取所述目标对象在所述第i个图像帧中的目标姿态。/n

【技术特征摘要】
1.一种姿态获取方法，其特征在于，所述方法包括：
获取目标视频；
对于所述目标视频中的第i个图像帧，获取所述第i个图像帧的热度图，所述第i个图像帧的热度图包括所述第i个图像帧中目标对象的各个关键点的热度图，所述热度图中像素点的值用于指示所述像素点为关键点的概率，所述i为正整数；
根据所述第i个图像帧的热度图以及所述第i个图像帧的邻近图像帧的热度图，得到所述第i个图像帧中关键点的三维坐标；
根据所述第i个图像帧中关键点的三维坐标获取所述目标对象在所述第i个图像帧中的目标姿态。


2.根据权利要求1所述方法，其特征在于，所述根据所述第i个图像帧的热度图以及所述第i个图像帧的邻近图像帧的热度图，得到所述第i个图像帧中关键点的三维坐标，包括：
根据所述第i个图像帧的热度图以及所述邻近图像帧的热度图，得到所述第i个图像帧的热度图编码和所述邻近图像帧的热度图编码，所述热度图编码用于反映热度图中关键点的相关信息；
根据所述第i个图像帧的热度图编码和所述邻近图像帧的热度图编码，得到所述第i个图像帧中关键点的三维坐标。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第i个图像帧的热度图以及所述邻近图像帧的热度图，得到所述第i个图像帧的热度图编码和所述邻近图像帧的热度图编码，包括：
根据所述第i个图像帧的热度图以及所述邻近图像帧的热度图，得到所述第i个图像帧的热度图对应的一维向量和所述邻近图像帧的热度图对应的一维向量；
根据所述第i个图像帧的热度图对应的一维向量和所述邻近图像帧的热度图对应的一维向量，得到所述第i个图像帧的热度图编码和所述邻近图像帧的热度图编码。


4.根据权利要求2所述的方法，其特征在于，所述根据所述第i个图像帧的热度图编码和所述邻近图像帧的热度图编码，得到所述第i个图像帧中关键点的三维坐标，包括：
将所述第i个图像帧的热度图编码和所述邻近图像帧的热度图编码输入至少一个卷积层，得到各个卷积层的卷积结果；
根据所述各个卷积层的卷积结果，得到所述第i个图像帧中关键点的三维坐标。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述获取所述第i个图像帧的热度图，包括：
提取所述目标对象在所述第i个图像帧中所处的目标区域；
将所述目标区域调整至目标尺寸，得到调整后的目标区域；
根据所述调整后的目标区域得到所述第i个图像帧的热度图。


6.一种关键点坐标定位模型的训练方法，其特征在于，所述方法包括：
获取至少一组训练样本，每组训练样本包括样本视频、所述样本视频中样本对象的关键点的真实二维坐标和所述关键点的真实三维坐标；
在所述样本视频中对所述样本对象进行检测跟踪；
获取所述样本视频中各个样本图像帧的热度图，所述样本图像帧的热度图包括所述样本图像帧中所述样本对象的各个关键点的热度图，所述热度图中像素点的像素值用于指示所述像素点为关键点的概率；
采用各个所述样本图像帧的热度图、所述关键点的真实二维坐标和所述关键点的真实三维坐标，对关键点坐标定位模型进行训练，所述关键点坐标定位模型用于根据目标样本图像帧的热度图和所述目标样本图像帧的邻近样本图像帧的热度图，确定所述目标样本图像帧中关键点的预测三维坐标；
当满足停止训练条件时，停止对所述关键点坐标定位模型的训练，得到完成训练的关键点坐标定位模型。


7.根据权利要求6所述的方法，其特征在于，所述采用各个所述样本图像帧的热度图、所述关键点的真实二维坐标和所述关键点的真实三维坐标，对关键点坐标定位模型进行训练，包括：
获取目标损失函数的值，所述目标损失函数的值是根据三维损失函数的值、二维损失函数的值、判别损失函数的值和视角损失函数的值计算得到的；
通过所述目标损失函数的值，来调整所述关键点坐标定位模型的参数。


8.根据权利要求7所述的方法，其特征在于，所述获取目标损失函数的值，包括：
根据所述目标样本图像帧的关键点的预测三维坐标，获取所述目标样本图像帧的空间骨架表述和所述目标样本图像帧的时间骨架表述，所述目标样本图像帧的空间骨架表述用于表征所述目标样本图像帧中所述关键点形成的骨架的长度和所述关键点形成的关节之间的夹角，所述目标样本图像帧的时间骨架表述用于表征所述目标...

【专利技术属性】
技术研发人员：杨博，王博，程禹，陈明辉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44