从视频中提取姿势的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种从视频中提取姿势的方法、装置、设备及存储介质，属于计算机技术领域。该方法包括：获取目标视频帧序列；调用三维坐标提取模型；将目标视频帧序列输入至三维坐标提取模型中，获取至少两个视频帧的三维坐标集合，根据预设数据库，确定目标视频帧的三维坐标集合满足的预设规则，将预设规则对应的姿势确定为目标视频帧的姿势。三维坐标提取模型能够学习到视频帧序列与三维坐标集合之间的关系以及相邻视频帧之间的姿势的连续性，符合姿势变化的客观规律，提高了准确性。基于该三维坐标提取模型提取时，减小了计算量，节省了计算时间，无需使用多目摄像头拍摄视频，避免了拍摄设备的限制，扩大了应用范围。

Method, device, device and storage medium for extracting posture from video

【技术实现步骤摘要】
从视频中提取姿势的方法、装置、设备及存储介质
本专利技术实施例涉及计算机
，特别涉及一种从视频中提取姿势的方法、装置、设备及存储介质。
技术介绍
姿势识别技术是对图像进行分析处理以理解图像包含的姿势的技术，随着计算机技术的发展和智能化设备的广泛普及，姿势识别技术逐渐应用到于视频监控、体感游戏等多种领域。而三维坐标提取是姿势识别的关键步骤，为了准确识别图像包含的姿势，需要先获取图像中多个特征点的三维坐标。相关技术通常会通过多目摄像头，对目标对象进行拍摄，得到包含目标对象的目标图像，由于多目摄像头进行拍摄时可以直接获取到像素点的三维坐标，因此该目标图像中包含每个像素点的三维坐标，只需从该目标图像中提取出多个特征点即可。上述方案中需要使用多目摄像头进行拍摄，受到了拍摄设备的限制，无法广泛普及，应用范围狭窄。
技术实现思路
本专利技术实施例提供了一种从视频中提取姿势的方法、装置、设备及存储介质，可以解决相关技术存在的问题。所述技术方案如下：一方面，提供了一种从视频中提取姿势的方法，所述方法包括：获取目标视频帧序列，所述目标视频帧序列包括至少两个视频帧；调用三维坐标提取模型，所述三维坐标提取模型用于根据任一视频帧序列中的任一视频帧和所述任一视频帧的相邻视频帧，以得到所述任一视频帧的三维坐标集合，所述三维坐标集合包括所述任一视频帧中的多个特征点的三维坐标；将所述目标视频帧序列输入至所述三维坐标提取模型中，获取所述至少两个视频帧的三维坐标集合；对于所述目标视频帧序列中的任一目视频帧，根据预设数据库，确定所述目标视频帧的三维坐标集合满足的预设规则，将所述预设规则对应的姿势确定为所述目标视频帧的姿势，所述预设数据库包括至少一个预设规则与姿势之间的对应关系。可选地，所述三维坐标提取模型包括多个网络层，每个网络层包括多个网络节点，每个网络节点与所属网络层的下一个网络层中的目标网络节点及所述目标网络节点的相邻网络节点连接；所述将所述目标视频帧序列输入至所述三维坐标提取模型中，获取所述至少两个视频帧的三维坐标集合，包括：将所述至少两个视频帧分别输入至所述三维坐标提取模型的第一个网络层中的至少两个网络节点，且所述至少两个网络节点的排列顺序与所输入的视频帧在所述目标视频帧序列中的排列顺序相同；基于所述三维坐标提取模型中的每个网络节点及任两个网络节点之间的连接关系，对所述至少两个视频帧进行处理，得到所述至少两个视频帧的三维坐标集合。可选地，所述多个网络层包括依次连接的特征提取层、二维坐标提取层和三维坐标提取层；所述将所述目标视频帧序列输入至所述三维坐标提取模型中，获取所述至少两个视频帧的三维坐标集合，包括：对于所述目标视频帧序列中的任一目标视频帧，将所述目标视频帧输入至所述特征提取层；基于所述特征提取层对所述目标视频帧进行处理，得到所述目标视频帧的图像特征；基于所述二维坐标提取层，对所述图像特征和所述目标视频帧的相邻视频帧的图像特征进行处理，得到所述目标视频帧的二维坐标集合，所述二维坐标集合包括所述目标视频帧中的多个特征点的二维坐标；基于所述三维坐标提取层，对所述二维坐标集合和所述目标视频帧的相邻视频帧的二维坐标集合进行处理，得到所述目标视频帧的三维坐标集合。可选地，所述调用三维坐标提取模型之前，所述方法还包括：获取样本视频帧序列以及所述样本视频帧序列中的至少两个样本视频帧的样本三维坐标集合；将所述至少两个样本视频帧分别输入至所述三维坐标提取模型的第一个网络层中的至少两个网络节点，且所述至少两个网络节点的排列顺序与所输入的样本视频帧在所述样本视频帧序列中的排列顺序相同；基于所述三维坐标提取模型中的每个网络节点及任两个网络节点之间的连接关系，对所述至少两个样本视频帧进行处理，得到所述至少两个样本视频帧的测试三维坐标集合；根据所述每个样本视频帧的测试三维坐标集合与样本三维坐标集合之间的误差，对所述三维坐标提取模型中的每个网络节点进行训练。可选地，所述获取样本视频帧序列以及所述样本视频帧序列中的至少两个样本视频帧的样本三维坐标集合，包括：获取原始样本视频以及所述原始样本视频中的多个视频帧的三维坐标集合；从所述原始样本视频中提取至少两个视频帧，将所述至少两个视频帧确定为样本视频帧，将提取的至少两个样本视频帧构成所述样本视频帧序列，将所述至少两个样本视频帧的三维坐标集合确定为样本三维坐标集合。另一方面，提供了一种三维坐标提取模型训练方法，所述方法包括：获取样本视频帧序列以及所述样本视频帧序列中的至少两个样本视频帧的样本三维坐标集合，所述样本三维坐标集合包括所述样本视频帧中的多个特征点的三维坐标；将所述样本视频帧序列输入至三维坐标提取模型中，根据所述样本视频帧序列中的每个样本视频帧和所述每个样本视频帧的相邻视频帧，获取所述每个样本视频帧的测试三维坐标集合；根据所述每个样本视频帧的测试三维坐标集合与样本三维坐标集合之间的误差，对所述三维坐标提取模型进行训练。可选地，所述三维坐标提取模型包括多个网络层，每个网络层包括多个网络节点，每个网络节点与所属网络层的下一个网络层中的目标网络节点及所述目标网络节点的相邻网络节点连接；所述将所述样本视频帧序列输入至三维坐标提取模型中，根据所述样本视频帧序列中的每个样本视频帧和所述每个样本视频帧的相邻视频帧，获取所述每个样本视频帧的测试三维坐标集合，包括：将所述至少两个样本视频帧分别输入至所述三维坐标提取模型的第一个网络层中的至少两个网络节点，且所述至少两个网络节点的排列顺序与所输入的样本视频帧在所述样本视频帧序列中的排列顺序相同；基于所述三维坐标提取模型中的每个网络节点及任两个网络节点之间的连接关系，对所述至少两个样本视频帧进行处理，得到所述至少两个样本视频帧的测试三维坐标集合。可选地，所述多个网络层包括依次连接的特征提取层、二维坐标提取层和三维坐标提取层；所述将所述样本视频帧序列输入至三维坐标提取模型中，根据所述样本视频帧序列中的每个样本视频帧和所述每个样本视频帧的相邻视频帧，获取所述每个样本视频帧的测试三维坐标集合，包括：对于所述样本视频帧序列中的任一样本视频帧，将所述样本视频帧输入至所述特征提取层；基于所述特征提取层对所述样本视频帧进行处理，得到所述样本视频帧的测试图像特征；基于所述二维坐标提取层，对所述测试图像特征和所述样本视频帧的相邻视频帧的测试图像特征进行处理，得到所述样本视频帧的测试二维坐标集合，所述测试二维坐标集合包括所述样本视频帧中的多个特征点的二维坐标；基于所述三维坐标提取层，对所述测试二维坐标集合和所述样本视频帧的相邻视频帧的测试二维坐标集合进行处理，得到所述样本视频帧的测试三维坐标集合。可选地，所述获取样本视频帧序列以及所述样本视频帧序列中的至少两个样本视频帧的样本三维坐标集合，包括：获取原始样本视频以及所述原始样本视频中的多个视频帧的三维坐标集合；从所述原始样本视频中提取至少两个视频帧，将所述至少两个视频帧确定为样本视频帧，将提取的至少两个样本视频帧构成所述样本视频帧序列，将所述至少两个样本视频帧的三维坐标集合确定为样本三维坐标集合。另一方面，提供了一种从视频中提取姿势的装置，所述装置包括：目标序列获取模块，用于获取目标视频帧序列，所述目标视频帧序列包括至少两个视频帧；模型调用模本文档来自技高网...

【技术保护点】
1.一种从视频中提取姿势的方法，其特征在于，所述方法包括：获取目标视频帧序列，所述目标视频帧序列包括至少两个视频帧；调用三维坐标提取模型，所述三维坐标提取模型用于根据任一视频帧序列中的任一视频帧和所述任一视频帧的相邻视频帧，以得到所述任一视频帧的三维坐标集合，所述三维坐标集合包括所述任一视频帧中的多个特征点的三维坐标；将所述目标视频帧序列输入至所述三维坐标提取模型中，获取所述至少两个视频帧的三维坐标集合；对于所述目标视频帧序列中的任一目视频帧，根据预设数据库，确定所述目标视频帧的三维坐标集合满足的预设规则，将所述预设规则对应的姿势确定为所述目标视频帧的姿势，所述预设数据库包括至少一个预设规则与姿势之间的对应关系。

【技术特征摘要】
1.一种从视频中提取姿势的方法，其特征在于，所述方法包括：获取目标视频帧序列，所述目标视频帧序列包括至少两个视频帧；调用三维坐标提取模型，所述三维坐标提取模型用于根据任一视频帧序列中的任一视频帧和所述任一视频帧的相邻视频帧，以得到所述任一视频帧的三维坐标集合，所述三维坐标集合包括所述任一视频帧中的多个特征点的三维坐标；将所述目标视频帧序列输入至所述三维坐标提取模型中，获取所述至少两个视频帧的三维坐标集合；对于所述目标视频帧序列中的任一目视频帧，根据预设数据库，确定所述目标视频帧的三维坐标集合满足的预设规则，将所述预设规则对应的姿势确定为所述目标视频帧的姿势，所述预设数据库包括至少一个预设规则与姿势之间的对应关系。2.根据权利要求1所述的方法，其特征在于，所述三维坐标提取模型包括多个网络层，每个网络层包括多个网络节点，每个网络节点与所属网络层的下一个网络层中的目标网络节点及所述目标网络节点的相邻网络节点连接；所述将所述目标视频帧序列输入至所述三维坐标提取模型中，获取所述至少两个视频帧的三维坐标集合，包括：将所述至少两个视频帧分别输入至所述三维坐标提取模型的第一个网络层中的至少两个网络节点，且所述至少两个网络节点的排列顺序与所输入的视频帧在所述目标视频帧序列中的排列顺序相同；基于所述三维坐标提取模型中的每个网络节点及任两个网络节点之间的连接关系，对所述至少两个视频帧进行处理，得到所述至少两个视频帧的三维坐标集合。3.根据权利要求2所述的方法，其特征在于，所述多个网络层包括依次连接的特征提取层、二维坐标提取层和三维坐标提取层；所述将所述目标视频帧序列输入至所述三维坐标提取模型中，获取所述至少两个视频帧的三维坐标集合，包括：对于所述目标视频帧序列中的任一目标视频帧，将所述目标视频帧输入至所述特征提取层；基于所述特征提取层对所述目标视频帧进行处理，得到所述目标视频帧的图像特征；基于所述二维坐标提取层，对所述图像特征和所述目标视频帧的相邻视频帧的图像特征进行处理，得到所述目标视频帧的二维坐标集合，所述二维坐标集合包括所述目标视频帧中的多个特征点的二维坐标；基于所述三维坐标提取层，对所述二维坐标集合和所述目标视频帧的相邻视频帧的二维坐标集合进行处理，得到所述目标视频帧的三维坐标集合。4.根据权利要求2所述的方法，其特征在于，所述调用三维坐标提取模型之前，所述方法还包括：获取样本视频帧序列以及所述样本视频帧序列中的至少两个样本视频帧的样本三维坐标集合；将所述至少两个样本视频帧分别输入至所述三维坐标提取模型的第一个网络层中的至少两个网络节点，且所述至少两个网络节点的排列顺序与所输入的样本视频帧在所述样本视频帧序列中的排列顺序相同；基于所述三维坐标提取模型中的每个网络节点及任两个网络节点之间的连接关系，对所述至少两个样本视频帧进行处理，得到所述至少两个样本视频帧的测试三维坐标集合；根据所述每个样本视频帧的测试三维坐标集合与样本三维坐标集合之间的误差，对所述三维坐标提取模型中的每个网络节点进行训练。5.根据权利要求4所述的方法，其特征在于，所述获取样本视频帧序列以及所述样本视频帧序列中的至少两个样本视频帧的样本三维坐标集合，包括：获取原始样本视频以及所述原始样本视频中的多个视频帧的三维坐标集合；从所述原始样本视频中提取至少两个视频帧，将所述至少两个视频帧确定为样本视频帧，将提取的至少两个样本视频帧构成所述样本视频帧序列，将所述至少两个样本视频帧的三维坐标集合确定为样本三维坐标集合。6.一种三维坐标提取模型训练方法，其特征在于，所述方法包括：获取样本视频帧序列以及所述样本视频帧序列中的至少两个样本视频帧的样本三维坐标集合，所述样本三维坐标集合包括所述样本视频帧中的多个特征点的三维坐标；将所述样本视频帧序列输入至三维坐标提取模型中，根据所述样本视频帧序列中的每个样本视频帧和所述每个样本视频帧的相邻视频帧，获取所述每个样本视频帧的测试三维坐标集合；根据所述每个样本视频帧的测试三维坐标集合与样本三维坐标集合之间的误差，对所述三维坐标提取模型进行训练。7.根据权利要求6所述的方法，其特征在于，所述三维坐标提取模型包括多个网络层，每个网络层包括多个网络节点，每个网络节点与所属网络层的下一个网络层中的目标网络节点及所述目标网络节点的相邻网络节点连接；所述将所述样本视频帧序列输入至三维坐标提取模型中，根据所述样本视频帧序列中的每个样本视频帧和所述每个样本视频帧的相邻视频帧，获取所述每个样本视频帧的测试三维坐标集合，包括：将所述至少两个样本视频帧分别输入至所述三维坐标提取模型的第一个网络层中的至少两个网络节点，且所述至少两个网络节点的排列顺序与所输入的样本视频帧在所述样本视频帧序列中的排列顺序相同；基于所述三维坐标提取模型中的每个网络节点及任两个网络节点之间的连接关系，对所述至少两个样本视频帧进行处理，得到所述至少两个样本视频帧的测试三维坐标集合。8.根据权利要求7所述的方法，其特征在于，所述多个网络层包括依次连接的特征提取层、二维坐标提取层和三维坐标提取层；...

【专利技术属性】
技术研发人员：卢云帆，易阳，赵世杰，李峰，左小祥，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44