支持多源异构动捕设备的虚拟人驱动方法与系统技术方案

本发明专利技术公开了一种支持多源异构动捕设备的虚拟人驱动方法与系统，属于计算机应用领域，解决现有技术通常针对某型的动捕设备进行专用的数据采集与虚拟人驱动，不支持新增的动捕设备，尤其是具有不同拓扑结构的新设备，从而造成兼容性较低的问题。本发明专利技术建立待驱动虚拟数字人和基于动捕设备本身定义的骨架模型之间的关节映射表；定义标准的动捕设备的统一数据采集接口，并为每个动捕设备实现该接口；基于定义的统一数据采集接口，从多个动捕设备中采集原始运动数据；基于旋转角度和位移信息对采集到的原始运动数据进行统一处理，即得到全身姿态数据；基于全身姿态数据对虚拟数字人进行运动驱动。本发明专利技术用于虚拟人驱动。本发明专利技术用于虚拟人驱动。本发明专利技术用于虚拟人驱动。

【技术实现步骤摘要】
支持多源异构动捕设备的虚拟人驱动方法与系统


[0001]一种支持多源异构动捕设备的虚拟人驱动方法与系统，用于虚拟人驱动，属于计算机应用领域。

技术介绍

[0002]使用动作捕捉设备采集人体运动数据来驱动真实人的数字替身，让虚拟数字人模仿真实人进行高逼真的运动模仿，广泛应用在人机工效分析、人体运动分析、动画/影视制作等工业、科研、娱乐领域，具有极高的应用价值。动作捕捉设备种类繁多、技术原理各有优劣。根据技术原理主要可以分为机械式、电磁式、光学式、惯性式几种；根据主要捕获对象主要可以分为：用于捕捉手部运动的数据手套、用于捕捉眼球运动的眼动仪、用于捕捉表情的面部捕捉设备系统，以及用于捕捉躯干及四肢运动的动捕衣等。
[0003]在实际应用中，通常需要获取人体全身多个部位的运动信息，如眼球视向、面部表情、手部手势、躯干及四肢姿态等，采用单一的捕捉设备难以满足此要求，而需要多个设备协同完成；另外，应用软件应尽不受限于具体的动捕设备，这要求应用软件能够兼容多种类型的动捕设备。由于这些设备来自不同厂商、采用不同的技术原理、拥有不同的骨架拓扑结构，形成了多源异构的特点，因此，现有技术存在如下技术问题：
[0004]1、现有技术通常针对某型的动捕设备(指某一类型动捕设备)进行专用的数据采集与虚拟人驱动，不支持新增的动捕设备，尤其是具有不同拓扑结构的新设备，从而造成兼容性较低的问题；
[0005]2、现有技术是基于某型的动捕设备进行虚拟人运动驱动，无法同时采集全身多个部位的运动数据，即难以应付复杂应用场景。例如CN110176062A
‑
一种基于运动捕捉数据的虚拟人体的控制方法，仅仅使用光学式动捕设备采集人体主要关节的运动数据，难以同时捕获眼球、手势等细微动作。

技术实现思路

[0006]针对上述研究的问题，本专利技术的目的在于提供一种支持多源异构动捕设备的虚拟人驱动方法与系统，解决现有技术通常针对某型的动捕设备进行专用的数据采集与虚拟人驱动，不支持新增的动捕设备，尤其是具有不同拓扑结构的新设备，从而造成兼容性较低的问题。
[0007]为了达到上述目的，本专利技术采用如下技术方案：
[0008]一种支持多源异构动捕设备的虚拟人驱动方法，包括如下步骤：
[0009]S1、关节映射
[0010]建立待驱动虚拟数字人和基于动捕设备本身定义的骨架模型之间的关节映射表；
[0011]S2、数据采集接口定义与实现
[0012]定义标准的动捕设备的统一数据采集接口，并为每个动捕设备实现该接口；
[0013]S3、原始数据采集
[0014]基于定义的统一数据采集接口，从多个动捕设备中采集原始运动数据；
[0015]S4、数据处理
[0016]基于旋转角度和位移信息对采集到的原始运动数据进行统一处理，即得到全身姿态数据；
[0017]S5、虚拟数字人运动驱动
[0018]基于全身姿态数据对虚拟数字人进行运动驱动。
[0019]进一步，所述步骤S1的具体步骤为：
[0020]S11、获取目标骨架和源骨架
[0021]使用BVH文件定义虚拟数字人的估计模型，并解析获取骨骼之间的关节关系，形成目标骨架SK
tgt
；
[0022]使用BVH文件定义每个动捕设备本身定义的骨架模型，并解析获取骨骼之间的关节关系，形成源骨架其中，上标i表示第i个动捕设备；
[0023]S12、关节匹配
[0024]匹配目标骨架SK
tgt
和源骨架之间的每一个相同关节；
[0025]S13、关节对齐
[0026]关节匹配后，以源骨架为参考，从源骨架的根关节开始迭代地修改目标骨架中各关节的关节角度，使目标骨架与源骨架姿态相同，记录此时目标骨架中的目标关节的旋转角度R
tgtinit
、目标骨架中的目标关节的世界坐标F
tgt
、对应源骨架中的源关节的世界坐标F
src
；
[0027]S14、若源骨架的自由度中包含有位移信息，转到步骤S15，否则，根据步骤S13得到的结果形成第i个关节映射表；
[0028]S15、计算目标骨架SK
tgt
与源骨架之间的腿长比，作为位移系数ratio
leg
，并与步骤S13得到的结果形成第i个关节映射表。
[0029]进一步，所述步骤S2的具体步骤为：
[0030]S21、根据动捕设备的操作特性，抽象动捕设备的共性操作，形成包含“参数配置”、“设备打开”、“设备标定”、“数据获取”、“消息处理”和“设备关闭”操作的统一数据采集接口；
[0031]S22、使用插件的方式，为每一个拟接入应用系统的动捕设备实现统一数据采集接口。
[0032]进一步，所述步骤S4的具体步骤为：
[0033]S41、根据各动捕设备采集到的原始运动数据，基于各动捕设备对应的关节映射表中对应关节之间的旋转角度变换关系，对源骨架中的每一个关节的原始运动数据进行空间变换，得到目标骨架中对应关节的旋转角度，其中，旋转角度变换关系包括目标骨架中的目标关节的旋转角度R
tgtinit
、目标骨架中的目标关节的世界坐标F
tgt
、对应源骨架中的源关节的世界坐标F
src
：
[0034]S42、若各关节映射表中包含位移系数ratio
leg
，转到步骤S43，否则，转到步骤S44；
[0035]S43、根据各关节映射表中的位移系数ratio
leg
，缩放源骨架的位移数据，得到目标骨架中对应关节的位移数据，并转到步骤S44；
[0036]S44、融合所有动捕设备变换后的运动数据，得到包含多个部位运动信息的全身姿态数据。
[0037]进一步，所述步骤S41中得到的目标骨架中各关节的旋转角度的计算公式为：
[0038][0039]其中，表示F
src
的逆，表示F
tgt
的逆，R
src
表示动捕设备采集到的源关节的旋转角度；
[0040]步骤S42中得到的目标骨架中各关节的位移数据的计算公式为：
[0041]L
tgt
＝L
src
*ratio
leg
[0042]其中，L
tgt
表示目标骨架中各关节的位移数据，L
src
表示动捕设备采集到的源关节的位移数据。
[0043]一种支持多源异构动捕设备的虚拟人驱动系统，包括：
[0044]关节映射模块：建立待驱动虚拟数字人和基于动捕设备本身定义的骨架模型之间的关节映射表；
[0045]设备操作模块：定义标准的动捕设备的统一数据采集接口，并为每个动捕设备实现该接口；
[0046]数据采集模块：基于定义的统一数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持多源异构动捕设备的虚拟人驱动方法，其特征在于，包括如下步骤：S1、关节映射建立待驱动虚拟数字人和基于动捕设备本身定义的骨架模型之间的关节映射表；S2、数据采集接口定义与实现定义标准的动捕设备的统一数据采集接口，并为每个动捕设备实现该接口；S3、原始数据采集基于定义的统一数据采集接口，从多个动捕设备中采集原始运动数据；S4、数据处理基于旋转角度和位移信息对采集到的原始运动数据进行统一处理，即得到全身姿态数据；S5、虚拟数字人运动驱动基于全身姿态数据对虚拟数字人进行运动驱动。2.根据权利要求1所述的一种支持多源异构动捕设备的虚拟人驱动方法，其特征在于，所述步骤S1的具体步骤为：S11、获取目标骨架和源骨架使用BVH文件定义虚拟数字人的估计模型，并解析获取骨骼之间的关节关系，形成目标骨架SK
tgt
；使用BVH文件定义每个动捕设备本身定义的骨架模型，并解析获取骨骼之间的关节关系，形成源骨架其中，上标i表示第i个动捕设备；S12、关节匹配匹配目标骨架SK
tgt
和源骨架之间的每一个相同关节；S13、关节对齐关节匹配后，以源骨架为参考，从源骨架的根关节开始迭代地修改目标骨架中各关节的关节角度，使目标骨架与源骨架姿态相同，记录此时目标骨架中的目标关节的旋转角度R
tgtinit
、目标骨架中的目标关节的世界坐标F
tgt
、对应源骨架中的源关节的世界坐标F
src
；S14、若源骨架的自由度中包含有位移信息，转到步骤S15，否则，根据步骤S13得到的结果形成第i个关节映射表；S15、计算目标骨架SK
tgt
与源骨架之间的腿长比，作为位移系数ratio
leg
，并与步骤S13得到的结果形成第i个关节映射表。3.根据权利要求2所述的一种支持多源异构动捕设备的虚拟人驱动方法，其特征在于，所述步骤S2的具体步骤为：S21、根据动捕设备的操作特性，抽象动捕设备的共性操作，形成包含“参数配置”、“设备打开”、“设备标定”、“数据获取”、“消息处理”和“设备关闭”操作的统一数据采集接口；S22、使用插件的方式，为每一个拟接入应用系统的动捕设备实现统一数据采集接口。4.根据权利要求3所述的一种支持多源异构动捕设备的虚拟人驱动方法，其特征在于，所述步骤S4的具体步骤为：
S41、根据各动捕设备采集到的原始运动数据，基于各动捕设备对应的关节映射表中对应关节之间的旋转角度变换关系，对源骨架中的每一个关节的原始运动数据进行空间变换，得到目标骨架中对应关节的旋转角度，其中，旋转角度变换关系包括目标骨架中的目标关节的旋转角度R
tgtinit
、目标骨架中的目标关节的世界坐标F
tgt
、对应源骨架中的源关节的世界坐标F
src
；S42、若各关节映射表中包含位移系数ratio
leg
，转到步骤S43，否则，转到步骤S44；S43、根据各关节映射表中的位移系数ratio
leg
，缩放源骨架的位移数据，得到目标骨架中对应关节的位移数据，并转到步骤S44；S44、融合所有动捕设备变换后的运动数据，得到包含多个部位运动信息的全身姿态数据。5.根据权利要求4所述的一种支持多源异构动捕设备的虚拟人驱动方法，其特征在于，所述步骤S41中得到的目标骨架中各关节的旋转角度的计算公式为：其中，表示F
src
的逆，表示F
tgt
的逆，R
src
表示动捕设备采集到的源关节的旋转角度；步骤S42中得到的目标骨架中各关节的位移数据的计算公式为：L
tgt
＝L
src
*ratio
leg
其中，L
tgt
表示目标骨架中各关节的位移数据，L
src
表示动...

【专利技术属性】
技术研发人员：程铮，陈川，陈东义，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：