动作捕捉方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种动作捕捉方法、装置、电子设备及存储介质，该方法包括：通过采集的被捕捉对象的上半身图像，获取世界坐标系下被捕捉对象的上半身动作信息，并根据被捕捉对象的上半身动作信息以及预设的动作检测模型，获取被捕捉对象的下半身动作信息，进而根据被捕捉对象的上半身动作信息和下半身动作信息，生成被捕捉对象的全身动作数据。采用本公开的方案仅通过采集被捕捉对象的上半身图像，而生成被捕捉对象的全身动作数据，相对于传统技术中进行动作捉摸需要采集全身图像来说，极大的节省了图像采集所需的空间，从而突破了三维动画制作时图像采集的空间约束。

【技术实现步骤摘要】
动作捕捉方法、装置、电子设备及存储介质
本公开涉及机器视觉识别技术，尤其涉及一种动作捕捉方法、装置、电子设备及存储介质。
技术介绍
随着深度学习的发展，人体关键点检测技术取得了巨大的进步，基于此，纯视觉(基于普通USB摄像头，用户不需要穿戴任何专业设备)的动作捕捉显示方法也越来越多地被应用于低成本的3D动画制作流程中。但是，由于受到摄像头视场角的限制，普通摄像头的视场角一般不会超过90°，如果想要拍摄全身动作，摄像头和用户之间则需要足够大的运动空间，通常摄像头和用户之间的距离要达到2至3米。而对于普通用户来说，用户的电脑桌前一般很难达到2至3米的纵深，从而导致目前的纯视觉动作捕捉显示方法因受到较大的空间约束而难以实施。因此，如何突破空间约束使得普通用户可以采用一台终端设备就能显示全身3D动作是目前亟需解决的问题。
技术实现思路
本公开提供一种动作捕捉方法、装置、电子设备及存储介质，以至少解决相关技术中纯视觉动作捕捉因受到较大的空间约束而难以实施的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种本文档来自技高网...

【技术保护点】
1.一种动作捕捉方法，其特征在于，包括：/n基于图像采集设备采集的被捕捉对象的上半身图像，获取世界坐标系下被捕捉对象的上半身动作信息；/n根据所述上半身动作信息以及预设的动作检测模型，获取所述被捕捉对象的下半身动作信息，所述被捕捉对象的下半身动作信息包括所述被捕捉对象下半身的第一三维关节点坐标，所述动作检测模型是通过采集的样本图像动作数据训练神经网络得到的，所述样本图像动作数据中标注了样本对象的上半身动作样本信息、根节点坐标和朝向以及所述样本对象的下半身动作样本信息；/n根据所述被捕捉对象的上半身动作信息和下半身动作信息，生成所述被捕捉对象的全身动作数据。/n

【技术特征摘要】
1.一种动作捕捉方法，其特征在于，包括：
基于图像采集设备采集的被捕捉对象的上半身图像，获取世界坐标系下被捕捉对象的上半身动作信息；
根据所述上半身动作信息以及预设的动作检测模型，获取所述被捕捉对象的下半身动作信息，所述被捕捉对象的下半身动作信息包括所述被捕捉对象下半身的第一三维关节点坐标，所述动作检测模型是通过采集的样本图像动作数据训练神经网络得到的，所述样本图像动作数据中标注了样本对象的上半身动作样本信息、根节点坐标和朝向以及所述样本对象的下半身动作样本信息；
根据所述被捕捉对象的上半身动作信息和下半身动作信息，生成所述被捕捉对象的全身动作数据。


2.根据权利要求1所述的方法，其特征在于，所述上半身图像具有多帧图像；所述根据所述上半身动作信息以及预设的动作检测模型，获取所述被捕捉对象的下半身动作信息，包括：
将所述当前帧图像中被捕捉对象的上半身动作信息以及所述当前帧的上一帧图像中被捕捉对象的下半身动作信息输入所述动作检测模型中，得到所述当前帧图像中被捕捉对象的下半身动作信息。


3.根据权利要求2所述的方法，其特征在于，所述动作检测模型通过以下训练方法得到：
获取样本图像动作数据，所述样本图像动作数据中包括若干连续帧样本图像，每一帧样本图像中标注了样本对象的上半身动作样本信息、根节点坐标、朝向和下半身动作样本信息，所述上半身动作样本信息包括所述样本对象上半身的第一三维样本坐标，所述下半身动作样本信息包括所述样本对象下半身的第二三维样本坐标；
对于任意帧样本图像，将所述帧样本图像中标注的样本对象的上半身动作样本信息、根节点坐标、朝向和与所述帧样本图像相邻的上一帧样本图像中标注的所述样本对象的下半身样本动作信息，输入所述神经网络，得到所述神经网络输出的所述任意帧样本图像的下半身动作信息；
根据所述任意帧样本图像的下半身动作信息与所述任意帧样本图像中标注的下半身样本动作信息，确定损失值；
根据所述损失值训练所述神经网络，得到所述动作检测模型。


4.根据权利要求1所述的方法，其特征在于，所述基于图像采集设备采集的被捕捉对象的上半身图像，包括：
采用单视角图像采集设备采集所述被捕捉对象的上半身图像；或者，
采用下述方式设置的双视角图像采集装置采集得到所述被捕捉对象的上半身图像：
所述双视角图像采集装置包括第一图像采集设备和第二图像采集设备，以所述双视角图像采集装置中的第一图像采集设备和第二图像采集设备的连线为摆放角度的第一边，所述第一图像采集设备基于所述第一边以朝向所述被捕捉对象的第一摆放角度摆放，所述第二图像采集设备基于所述第一边以朝向所述被捕捉对象的第二摆放角度摆放，其中，所述第一图像采集设备和所述第二图像采集设备之间的距离设置为预设距离。


5.根据权利要求4所述的方法，其特征在于，在采用双视角图像采集装置采集得到所述被捕捉对象的上半身图像之前，还包括：
获取所述第一图...

【专利技术属性】
技术研发人员：徐屹，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11