一种虚拟预演中虚拟角色交互控制的系统技术方案

本发明专利技术涉及一种虚拟预演中虚拟角色交互控制的系统，属于电影虚拟制作及虚拟预演控制技术领域。包括信息采集模块、数据处理模块、交互控制模块以及可视化模块；信息采集模块与数据处理模块相连；信息采集模块以及数据处理模块分别与交互控制模块相连；交互控制模块与可视化模块相连；信息采集模块采集并获取低维控制数据信息；数据处理模块基于信息采集模块采集到的低维控制数据，产生高维角色关节运动数据；交互控制模块的功能是生成虚拟预演系统中的虚拟角色运动数据；可视化模块的功能是虚拟角色的预演展示。所述系统具有友好、低成本、体积小、控制方式多样及可移植性好的优势。

An interactive control system of virtual role in virtual rehearsal

【技术实现步骤摘要】
一种虚拟预演中虚拟角色交互控制的系统
本专利技术涉及一种虚拟预演中虚拟角色交互控制的系统，属于电影虚拟制作及虚拟预演控制

技术介绍
如今随着电影制作中特效成分的比重越来越大，电影制作的成本逐渐提高，电影的虚拟化制作进入了广大电影工作者的视野。早期虚拟预演，通过在三维软件中对场景进行重建之后，用低维模型或简单的动画角色替代真实角色，采用动画师人工添加关键帧的方式，给角色添加动画，示意出演员在场景里的位置调度等，以供剧组导演、摄影、演员等演职人员进行拍摄参考。随着计算机技术的发展，这种简单的虚拟预演技术已经不能满足行业发展的需求。在当前的虚拟化制作中，需要在虚拟预演环节体现虚拟角色丰富的运动信息，甚至于角色表情与肢体运动风格等。在现有的研究以及产业应用中，虚拟角色的交互控制主要有以下几种：基于关键帧动画的虚拟角色运动合成，动画师在预演软件中手工调节关键帧信息，插值生成虚拟角色的全身运动；基于物理的角色运动生成方法，根据角色的运动规律，结合角色骨骼信息，计算出符合生物力学原理的角色运动；使用动作捕捉系统捕获演员的真实表演，实时驱动虚拟角色的运动。基于电影虚拟化制作的实际需求，我们致力于研究电影工作人员与虚拟角色之间交互的控制系统，一方面获取低维控制信号，使用低维控制信号生成虚拟角色的运动，另一方面，在虚拟场景中交互控制虚拟角色运动，并完成虚拟角色的交互控制预演。
技术实现思路
本专利技术的目的在于针对现有虚拟化电影制作过程中，存在对虚拟角色控制方式单一、对外接口封闭、需要前期制作角色运动数据库、预演制作人员可操作性差以及实用性差的技术缺陷，提出了一种虚拟预演中虚拟角色交互控制的系统。所述虚拟预演中虚拟角色交互控制的系统包括信息采集模块、数据处理模块、交互控制模块以及可视化模块；其中，信息采集模块包括传统交互设备、手势识别单元、动作捕捉单元、外部接口单元以及信息获取优先级切换单元；数据处理模块包括升维映射单元；交互控制模块包括切换单元、直接控制单元以及映射控制单元；可视化模块包括视觉优化单元；所述虚拟预演中虚拟角色交互控制的系统中各组成模块及单元的连接关系如下：信息采集模块与数据处理模块相连；信息采集模块以及数据处理模块分别与交互控制模块相连；交互控制模块与可视化模块相连；具体为：传统交互设备、手势识别单元、动作捕捉单元、外部接口单元分别与直接控制单元、升维映射单元以及信息获取优先级切换单元相连；升维映射单元与映射控制单元相连；直接控制单元与映射控制单元分别与切换单元相连；直接控制单元与映射控制单元分别与视觉优化单元相连；所述虚拟预演中虚拟角色交互控制的系统中各组成模块的功能如下：信息采集模块采集并获取低维控制数据信息；数据处理模块基于信息采集模块采集到的低维控制数据，产生高维角色关节运动数据；交互控制模块的功能是生成虚拟预演系统中的虚拟角色运动数据；可视化模块的功能是虚拟角色的预演展示。所述虚拟预演中虚拟角色交互控制的系统的工作过程，包括如下步骤：步骤1、信息采集模块采集低维的控制数据信息；其中，低维的控制数据信息来源于信息采集模块中的传统交互设备、手势识别单元、动作捕捉单元以及外部接口单元；步骤2、获取交互控制低维数据后，将低维数据映射为高维数据，即将获取的控制信息映射生成虚拟角色的全身骨骼运动及全身运动；其中，映射生成虚拟角色的全身骨骼运动及全身运动具体在升维映射单元中实现；且所述低维数据到高维数据的映射在每个时间步长都需要进行操作；其中，全身运动是基于映射虚拟角色的全身骨骼运动进行实时优化得到全身关节数据，进而生成虚拟角色的全身运动；且全身运动的生成受映射控制单元控制；步骤3、虚拟角色的交互控制及可视化呈现；其中，交互控制是指对虚拟角色的控制，在交互控制模块中实现，将信息采集模块采集到的控制数据，通过切换单元分配到不同的控制单元，再在控制单元中生成映射到角色全身的运动数据；可视化呈现是指在计算机上绘制渲染虚拟角色，向使用者呈现出虚拟角色，这在可视化模块中实现，需要交互控制模块中生成的运动数据传递给视觉优化单元，利用视觉优化单元对运动数据进行进一步编辑，编辑后的数据传递给虚拟引擎进行绘制，生成虚拟角色图像。有益效果所述虚拟预演中虚拟角色交互控制的系统，与现有虚拟预演交互控制系统相比，具有如下有益效果：1.所述交互控制系统使用简单的设备来交互控制虚拟角色的运动，方便电影创作者使用具有模型简单、使用方便、处理快捷且无需使用角色运动数据库；2.所述交互控制系统具有友好及开放性高的优势，基于获取的低维控制信息进行人机交互控制虚拟角色运动；3.所述交互控制系统具有低成本、体积小、控制方式多样及可移植性好的优势；4.所述系统应用灵活，基于选择特定模块与功能，不仅能在中小型剧组进行实际应用，还能扩展应用到大型剧组中。附图说明图1是本专利技术一种虚拟预演中虚拟角色交互控制的系统的组成示意图；图2电影虚拟预演平台现场实时工作流及离线工作流程；图3虚拟角色交互控制的预演全流程。具体实施方式下面结合附图及具体实施例对本专利技术一种虚拟预演中虚拟角色交互控制的系统的具体实施进行详细阐述。实施例1本实施例阐述了将本专利技术所述的虚拟角色交互控制系统应用于虚拟预演场景。所述虚拟预演依托的虚拟角色交互控制系统如图1所示。图1中，传统交互设备、手势识别单元、动作捕捉单元、外部接口单元分别与直接控制单元、升维映射单元以及信息获取优先级切换单元相连；升维映射单元与映射控制单元相连；直接控制单元与映射控制单元分别与切换单元相连；直接控制单元与映射控制单元分别与视觉优化单元相连。信息采集模块，除了利用普通的键鼠输入，还利用OptiTrack进行光学运动捕获和采用LeapMotion手势识别的方式，采集并获取低维控制数据信息：基于OptiTrack的光学运动捕获，采用多刚体组合的方式进行空间定位。每个刚体使用4-12个空间捕捉标记点，单个刚体内不超过20个捕捉标记点，且对刚体的标记点进行不对称放置以避免干扰冲突，保证刚体的唯一性。通过这种方式，每一个刚体采集数据包含位置、姿态角等空间捕捉信息，作为控制数据。采用LeapMotion手势识别的方式，利用体感控制器，可得到每个手指、手腕的信息，包含25个关节/手的数据，单个关节内可提取出空间位置、状态、方向、向量、深度等多个独立数据作为控制信息；数据处理模块基于信息采集模块采集到的低维控制数据，基于二阶倒立摆模型，将角色的运动状态映射为一个二阶倒立摆模型。然后根据步态控制参数与环境约束，对二阶倒立摆进行运动规划。基于二阶倒立摆的运动，根据运动规律与创作者的需求，优化计算关节力矩，合成角色全身运动。其中可以通过设置不同的参数，如步幅步频等，能够实时控制角色运动，生成物理真实的全身运动，产生高维角色关节运动数据。再根据其他约束信息，对部分关节数据进行本文档来自技高网...

【技术保护点】
1.一种虚拟预演中虚拟角色交互控制的系统，其特征在于：包括信息采集模块、数据处理模块、交互控制模块以及可视化模块；/n其中，信息采集模块包括传统交互设备、手势识别单元、动作捕捉单元、外部接口单元以及信息获取优先级切换单元；数据处理模块包括升维映射单元；交互控制模块包括切换单元、直接控制单元以及映射控制单元；可视化模块包括视觉优化单元；/n所述虚拟预演中虚拟角色交互控制的系统中各组成模块及单元的连接关系如下：/n信息采集模块与数据处理模块相连；信息采集模块以及数据处理模块分别与交互控制模块相连；交互控制模块与可视化模块相连；/n具体为：传统交互设备、手势识别单元、动作捕捉单元、外部接口单元分别与直接控制单元、升维映射单元以及信息获取优先级切换单元相连；升维映射单元与映射控制单元相连；直接控制单元与映射控制单元分别与切换单元相连；直接控制单元与映射控制单元分别与视觉优化单元相连；/n所述虚拟预演中虚拟角色交互控制的系统中各组成模块的功能如下：/n信息采集模块采集并获取低维控制数据信息；数据处理模块基于信息采集模块采集到的低维控制数据，产生高维角色关节运动数据；交互控制模块的功能是生成虚拟预演系统中的虚拟角色运动数据；可视化模块的功能是虚拟角色的预演展示；/n所述虚拟预演中虚拟角色交互控制的系统的工作过程，包括如下步骤：/n步骤1、信息采集模块采集低维的控制数据信息；/n其中，低维的控制数据信息来源于信息采集模块中的传统交互设备、手势识别单元、动作捕捉单元以及外部接口单元；/n步骤2、获取交互控制低维数据后，将低维数据映射为高维数据，即将获取的控制信息映射生成虚拟角色的全身骨骼运动及全身运动；/n其中，映射生成虚拟角色的全身骨骼运动及全身运动具体在升维映射单元中实现；且所述低维数据到高维数据的映射在每个时间步长都需要进行操作；/n其中，全身运动是基于映射虚拟角色的全身骨骼运动进行实时优化得到全身关节数据，进而生成虚拟角色的全身运动；且全身运动的生成受映射控制单元控制；/n步骤3、虚拟角色的交互控制及可视化呈现；/n其中，交互控制是指对虚拟角色的控制，在交互控制模块中实现，将信息采集模块采集到的控制数据，通过切换单元分配到不同的控制单元，再在控制单元中生成映射到角色全身的运动数据；/n可视化呈现是指在计算机上绘制渲染虚拟角色，向使用者呈现出虚拟角色，这在可视化模块中实现，需要交互控制模块中生成的运动数据传递给视觉优化单元，利用视觉优化单元对运动数据进行进一步编辑，编辑后的数据传递给虚拟引擎进行绘制，生成虚拟角色图像。/n...

【技术特征摘要】
1.一种虚拟预演中虚拟角色交互控制的系统，其特征在于：包括信息采集模块、数据处理模块、交互控制模块以及可视化模块；
其中，信息采集模块包括传统交互设备、手势识别单元、动作捕捉单元、外部接口单元以及信息获取优先级切换单元；数据处理模块包括升维映射单元；交互控制模块包括切换单元、直接控制单元以及映射控制单元；可视化模块包括视觉优化单元；
所述虚拟预演中虚拟角色交互控制的系统中各组成模块及单元的连接关系如下：
信息采集模块与数据处理模块相连；信息采集模块以及数据处理模块分别与交互控制模块相连；交互控制模块与可视化模块相连；
具体为：传统交互设备、手势识别单元、动作捕捉单元、外部接口单元分别与直接控制单元、升维映射单元以及信息获取优先级切换单元相连；升维映射单元与映射控制单元相连；直接控制单元与映射控制单元分别与切换单元相连；直接控制单元与映射控制单元分别与视觉优化单元相连；
所述虚拟预演中虚拟角色交互控制的系统中各组成模块的功能如下：
信息采集模块采集并获取低维控制数据信息；数据处理模块基于信息采集模块采集到的低维控制数据，产生高维角色关节运动数据；交互控制模块的功能是生成虚拟预演系统中的虚拟角色运动数据；可视化模块的功能是虚拟角色的预演展示；
所述...

【专利技术属性】
技术研发人员：赵建军，刘戈三，陈军，陈俊良，黄竣鹏，
申请(专利权)人：北京电影学院，
类型：发明
国别省市：北京;11