基于深度学习的实时动作捕捉和三维动画生成方法与装置制造方法及图纸

本发明专利技术提供一种基于深度学习的实时动作捕捉和三维动画生成方法与装置，包括：接收人体动作视频帧；对人体动作视频帧进行插值处理；通过三维人体关键点检测模型进行检测，预测出人体的25个关键点的三维坐标；基于划分的层级进行动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；三维动画模型生成；使用旋转四元数驱动三维动画模型；对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频。本发明专利技术的方法只需可见光摄像头结合深度学习模型即可实时预测人体动作并驱动三维模型，成本低、实时性好。

Method and device of real-time action capture and 3D animation generation based on deep learning

【技术实现步骤摘要】
基于深度学习的实时动作捕捉和三维动画生成方法与装置
本专利技术涉及计算机图像处理领域，具体而言涉及一种基于深度学习的实时动作捕捉和三维动画生成方案。
技术介绍
现有技术的三维动画制作过程中往往先对演员的动作进行捕捉，再驱动三维动画模型做出相应动作，以达到逼真自然的效果。传统的方法需要演员穿戴装有传感器的设备，再将获取的动作信息渲染到三维动画模型并输出三维动画。这种人体动作驱动三维模型的方法存在两方面弊端，其一是动作捕捉设备不仅价格高昂、操作复杂，还会由于穿戴不适影响演员的表演，且设备的安装与使用受到场地的制约；其二是捕捉到的动作数据需专业人员通过专业软件进行后期渲染合成动画，工序繁琐耗时、人工成本较高，无法做到实时输出。
技术实现思路
本专利技术目的在于提供一种使用可见光摄像头结合深度学习模型实时预测人体动作并驱动三维模型的方法。为实现上述目的，本专利技术所使用的技术方案如下：基于深度学习的实时动作捕捉和三维动画生成方法，包括：接收通过可见光摄像装置获取的人体动作视频帧；<br>对人体动作视频本文档来自技高网...

【技术保护点】
1.一种基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，包括：/n接收通过可见光摄像装置获取的人体动作视频帧；/n对人体动作视频帧进行插值处理；/n通过三维人体关键点检测模型对插值处理后的视频帧进行检测，预测出人体的25个关键点的三维坐标；/n根据预设规则将关键点进行前后层级划分，并基于层级进行人体动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；/n三维动画模型生成，包括建立动画角色的骨骼蒙皮模型；/n使用前述的旋转四元数驱动三维动画模型；/n对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频。/n

【技术特征摘要】
1.一种基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，包括：
接收通过可见光摄像装置获取的人体动作视频帧；
对人体动作视频帧进行插值处理；
通过三维人体关键点检测模型对插值处理后的视频帧进行检测，预测出人体的25个关键点的三维坐标；
根据预设规则将关键点进行前后层级划分，并基于层级进行人体动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；
三维动画模型生成，包括建立动画角色的骨骼蒙皮模型；
使用前述的旋转四元数驱动三维动画模型；
对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频。


2.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的人体动作视频帧的插值处理包括：
对获取的人体动作视频帧使用双线性插值算法，使其放缩到符合三维人体关键点检测模型的像素值。


3.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的三维人体关键点检测模型为基于深度卷积神经网络的三维人体关键点检测模型，其通过标记三维关键点坐标的人体图像数据集进行训练，其中：
人体图像数据集为[In(xn1，yn1，zn1，xn2，yn2，zn2，...，xn25，yn25，zn25)]，其中In为第n幅包含人体的图像；(xnm，ynm，znm)(m＝1，2，...，25)为第n幅图的人体第m个关键点的三维坐标；n＝1，2，...，N，N为总数据量；
通过深度卷积神经网络进行训练的过程中，使用的损失函数为：其中是指模型对某一批次数据的第b个训练样本Ib预测的第m个关键点的三维坐标，B为批次大小。


4.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的前后层级划分的操作具体包括：
将25个人体关键点划分层级，其中从上到下表示关键点的前后层级；
其中25个人体关键点分别包括：
脊柱底，作为根关键点并据此划分的三个分支
第一分支：左髋、左膝、左踝与左脚；
第二分支：右髋、右膝、右踝与右脚；
第三分支：脊柱中、脊柱顶；
其第三分支具有以脊柱顶为根关键点划分的第一子分支、第二子分支以及第三子分支：
第一子分支：颈与头；
第二子分支：左肩、左肘、左腕、左手与左拇指，以及左指尖；
第三子分支：右肩、右肘、右腕、右手与右拇指，以及右指尖。


5.根据权利要求1或者4所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的人体动作分解的操作包括：
固定与各骨骼相连的前一层级关键点，骨骼依次绕xyz轴从骨骼基准状态各旋转某一角度，其中骨骼基准状态是指前一层级关键点到骨骼的方向为y轴方向。


6.根据权利要求5所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，对于任意一骨骼B，骨骼B绕与之相连的前一层级关键点P旋转的角度由关键点P与后两个层级关键点P′和P″坐标处理得到，计算方式为：
骨骼B的前方向向量：
骨骼B的上方向向量：
骨骼B的右方向向量：
再求解骨骼旋转角，具体包括：
对...

【专利技术属性】
技术研发人员：杨帆，潘鑫淼，郝强，白立群，胡建国，
申请(专利权)人：南京甄视智能科技有限公司，
类型：发明
国别省市：江苏;32