一种基于已有动作数据的真实感动作迁移和生成方法及系统技术方案

本发明专利技术提出一种基于已有动作数据的真实感动作迁移和生成方法及系统。该方法的具体步骤包括：使用数据手套对被测对象进行清晰、连续的动作拍摄；对目标迁移模型进行建模；用逆向运动学的方法对骨架序列进行重构；用前向运动学的方法对骨架尺寸进行迁移；将目标骨架与目标模型进行蒙皮与绘制权重的操作；计算骨架三维位置的真实值；对模型进行真实感材质纹理的绘制；最后进行渲染并输出。本发明专利技术具有自动化程度高、精度高的优点，过程简洁易操作，能得到无损的骨架序列，可满足专业的或者大众化的动作迁移需求。

A realistic action migration and generation method and system based on existing action data

The invention proposes a method and system for the movement and generation of realistic actions based on existing action data. The specific steps of this method include: using data gloves to take clear and continuous action photographs of the object under test; modeling the target migration model; reconstructing the skeleton sequence with the reverse kinematics method; migrating the skeleton size with the forward kinematics method; and skinning the target skeleton and the target model. With the operation of rendering weight, calculate the real value of the three-dimensional skeleton position, render the realistic texture of the model, render and output. The invention has the advantages of high degree of automation, high precision, simple process and easy operation, can obtain a lossless skeleton sequence, and can meet the needs of professional or popular movement migration.

【技术实现步骤摘要】
一种基于已有动作数据的真实感动作迁移和生成方法及系统
本专利技术属于图像处理和三维计算机动画交叉领域，具体涉及一种利用已有的动作骨架数据的真实感动作迁移和生成方法及系统。
技术介绍
传统的动作生成方法一般是用三维建模动画软件，如Maya、3DMax、Blender，通过创建骨架、创建模型、绑定蒙皮、绘制蒙皮权重系数、设置关键帧，平滑关键帧等步骤进行动作的生成。在迁移动作的情境下，若时间序列较长、关键帧数量较庞大，则会导致迁移动作的步骤费时费力，且不能完全与已有的动作相吻合，产生一定的误差，影响精度效果。蒙皮是处理角色模型的一个工作步骤，将原始模型与骨架关联起来，用骨骼的移动、旋转，带动模型的变形。绑定蒙皮的过程就是将模型绑到相应的骨架上。可以通过不同的蒙皮方式将模型绑定到骨架上，如：SmoothSkinning(平滑蒙皮)，使几个关节同时影响相同的点而提供平滑的变形效果，平滑蒙皮对皮肤的影响采用一种交叉影响的方式来实现；RigidSkinning(刚性蒙皮)，使每个关节影响一系列的可变形物体点，提供带有关节链接的变形效果，刚性蒙皮每个皮肤点只受一个关节的影响。骨骼的运动控制可以采用两种方式：一种是前向运动学(FK)，一种是逆向运动学(IK)。因为骨骼系统带有父子层级关系，父关节的转动会带动子关节转动。如果直接使用骨骼系统生成动作，需要从上层关节开始向下层关节逐级向下设置关键帧，这种方式被称为前向运动学，简称FK。如果动画是按照层级的相反次序来进行，则称为逆向运动学，简称IK。三维真实感动作的迁移与生成技术在过去几十年来发展迅速，在三维动画、三维电影特效应用领域上获得了突破性的成果，在促进影视特效和动画制作发展的同时，运动捕捉技术应运而生，如今的运动捕捉技术可以迅速记录人体的动作，进行延时分析或多次回放，通过被捕捉的信息，简单的可以生成某一时刻人体的空间位置；复杂的则可以计算出任何面部或躯干肌肉的细微变形，然后比较直观地将人体的真实动作匹配到所设计的动作角色上去。虽然运动捕捉技术的稳定性、操作效率、应用弹性得到了一定程度的提高，但复杂的捕捉仪器和复杂的捕捉过程往往导致高额的费用，匹配的复杂应用场景使更大的误差随之而来，而基于已有动作数据的动作迁移和生成方法能显著节约人力财力，并明显提高精度，具有广泛的研究与应用价值。以前需要较高性能的动作捕捉仪才能完成的动作迁移任务也可以通过简单的相机采集与建模软件来完成，也可以通过可穿戴数据手套等方式将动作骨架的序列重新计算再输入到建模软件进行重新绑定蒙皮来实现。
技术实现思路
为了满足骨架动作迁移的需要，本专利技术提供了一种基于已有动作数据的真实感动作迁移和生成方法及系统。本专利技术提供了一种基于已有动作数据的真实感动作迁移和生成方法，包括以下步骤：步骤1，骨架数据采集：使用动作捕捉系统对被测对象进行清晰、连续的动作拍摄；步骤2，目标模型建模：借助三维建模软件，采用多边形建模方法对目标模型进行建模；步骤3，骨架序列重构：以逆向运动学原理为基础，对采集的数据进行优化重构；步骤4，骨架尺寸迁移：以前向运动学原理为基础，对骨架序列进行尺寸的迁移；步骤5，蒙皮与绘制权重：将迁移后骨架与目标模型进行蒙皮的绑定与权重系数的绘制；步骤6，骨架真实值计算：依次计算每个关节点的三维位置；步骤7，真实感材质纹理绘制：绘制真实感材质纹理并对模型进行纹理贴图；步骤8，导出并渲染：将蒙皮结果导出，并用渲染引擎进行渲染。进一步地，所述步骤1中的数据收集主要有以下特点：1)所测物体处于简单环境中；2)拍摄时须正对拍摄对象进行连续的动作拍摄；3)动作拍摄时，比划要清晰、连贯，并尽可能放慢速度；4)动作捕捉能采集含有关节的动作序列；5)所提取的骨架序列是带有父子关系的，符合人体工学的拓扑结构，而且关节点完整无缺失。进一步地，所述步骤2中模型的建模可以采用多种建模方式，要求做到：模型表面布线整齐，整个模型的拓扑结构合理，并与骨架关键点的个数匹配，纹理贴图真实，材质符合人体皮肤特征。进一步地，所述步骤3中骨架重构的目标是得到每个关节点相对其父关节的旋转角度，通过最小化前向运动学损失求解逆向运动学，即通过前向运动学公式求得估计的关节位置，和已知的关节位置对比求损失，然后在合理的运动范围内最小化该损失即可求得每个关节点相对于其父关节的旋转角度信息。进一步地，所述步骤4中骨架尺寸的迁移要求通过前向运动学原理，保留原有序列每一帧的旋转信息，只改变目标骨架到吻合目标模型的尺寸上。保留原有的旋转信息原则是需要添加额外的角度约束，使得迁移后不会产生穿透、畸形等现象。进一步地，所述步骤5中要求采用平滑蒙皮的方法将迁移后的骨架与目标模型进行蒙皮与权重的绘制。该过程主要有以下特点：1)采用双四元数方法来平滑蒙皮模型；2)采用基于骨架层次设置权重的方法进行平滑蒙皮的绑定；3)使用平滑蒙皮影响对象防止发生不必要的形变。进一步地，所述步骤6中骨架真实值的计算基于前向运动学原理依次求出每个关节点的准确的三维位置。进一步地，所述步骤7中要求将三维的模型顶点面片结构进行二维的映射，然后在该二维的UV图上进行纹理的贴图绘制，再反过来映射到三维空间中。展开UV坐标的过程要求不能出现畸形的映射，每个三维点都有唯一的二维映射点。进一步地，所述步骤8中的渲染可以选择多种不同的渲染引擎进行渲染，主流的基于物理光照的渲染方法能达到比较理想的效果。下面以人手为例子说明本专利技术的方法，该方法包括以下步骤：步骤1，骨架数据采集。使用数据手套(如：CyberGlove、Measurand、DGTech等)对被测对象进行清晰、连续的动作拍摄，要求被测对象手持数据手套并在关键关节处用传感器连接，正对摄像机进行连续的有意义的动作比划，采集完毕后可以经过处理得到骨架动作序列。该步骤主要有以下特点：被测对象所得关键帧骨骼数据可以保存，并可编辑。步骤2，目标模型建模。实现动作的迁移，必须有目标迁移的模型，该模型的创建方法采用建模软件实现，如：SoftImage、Maya、UG、AutoCAD、3DMax等。下面以Maya为例子，介绍多边形建模方法(Polygonmethod)。该方法主要包含以下步骤，1)创建多边形，并对各个面片进行光滑处理；2)添加线条，根据手部的布线特征进行添加，包括添加环形线条、重排线条等；3)调整顶点，根据手部的拓扑结构进行表面关键顶点的调整，使之与手部拓扑结构吻合；4)编辑面片，使用挤出推入操作(Extrude)对一些特殊结构进行编辑，如指甲、手纹等；5)重排布线，使用添加割线、删除割线、弧度割线等编辑对整个手部布线进行最终的整理重排；6)展开UV坐标，使用纹理编辑器将三维模型的坐标(x,y,z)映射到二维空间(u,v)；7)纹理贴图，利用展开的UV坐标图编辑出一张合理的纹理贴图，并以展UV的逆过程将二维的纹理贴图映射到三维模型表面。步骤3，骨架序列重构。骨架序列重构是指在骨骼长度确定的情况下，从数据中通过逆向运动学方法求解计算每个关节点相对其父关节的旋转角度的过程。通过最小化前向运动学损失求解逆向运动学，即通过前向运动学公式求得估计的关节位置，和已知的关节位置对比求损失。以二维的例子来解释前向运动学，如附图7所示，假设根关节(Root)的坐标为本文档来自技高网...

【技术保护点】
1.一种基于已有动作数据的真实感动作迁移和生成方法，其特征在于，包括以下步骤：步骤1，使用动作捕捉系统对被测对象进行清晰、连续的动作拍摄，以采集骨架数据；步骤2，借助三维建模软件，采用多边形建模方法对目标模型进行建模；步骤3，以逆向运动学原理为基础，对采集的骨架数据进行优化重构；步骤4，以前向运动学原理为基础，对骨架序列进行尺寸的迁移；步骤5，将迁移后的骨架与目标模型进行蒙皮的绑定与权重系数的绘制；步骤6，依次计算骨架中每个关节点的三维位置；步骤7，绘制真实感材质纹理并对目标模型进行纹理贴图；步骤8，将蒙皮结果导出，并用渲染引擎进行渲染。

【技术特征摘要】
1.一种基于已有动作数据的真实感动作迁移和生成方法，其特征在于，包括以下步骤：步骤1，使用动作捕捉系统对被测对象进行清晰、连续的动作拍摄，以采集骨架数据；步骤2，借助三维建模软件，采用多边形建模方法对目标模型进行建模；步骤3，以逆向运动学原理为基础，对采集的骨架数据进行优化重构；步骤4，以前向运动学原理为基础，对骨架序列进行尺寸的迁移；步骤5，将迁移后的骨架与目标模型进行蒙皮的绑定与权重系数的绘制；步骤6，依次计算骨架中每个关节点的三维位置；步骤7，绘制真实感材质纹理并对目标模型进行纹理贴图；步骤8，将蒙皮结果导出，并用渲染引擎进行渲染。2.根据权利要求1所述的方法，其特征在于，所述步骤1中的骨架数据采集具有以下特点：1)所测物体处于简单环境中；2)拍摄时须正对拍摄对象进行连续的动作拍摄；3)动作拍摄时，比划要清晰、连贯，并尽可能放慢速度；4)动作捕捉能采集含有关节的动作序列；5)所提取的骨架序列是带有父子关系的，符合人体工学的拓扑结构，而且关节点完整无缺失。3.根据权利要求1所述方法，其特征在于，所述步骤2中目标模型的建模，要求做到：模型表面布线整齐，整个模型的拓扑结构合理，并与骨架关键点的个数匹配，纹理贴图真实，材质符合人体皮肤特征。4.根据权利要求1所述的方法，其特征在于，所述步骤3中骨架重构的目标是得到每个关节点相对其父关节的旋转角度，通过最小化前向运动学损失求解逆向运动学，即通过前向运动学公式求得估计的关节位置，和已知的关节位置对比求损失，然后在合理的运动范围内最小化该损失即可求得每个关节点相对于其父关节的旋转角度信息。5.根据权利要求1所述的方法，其特征在于，所述步骤4中骨架尺寸的迁移通过前向运动学原理，保留原有序列每一帧的旋转信息，只改变目标骨架到吻合目标模型的尺寸上...

【专利技术属性】
技术研发人员：郑文勇，朱玉影，邓小明，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京,11