虚拟人现场互动表演系统技术方案

本实用新型专利技术公开了一种虚拟人现场互动表演系统，其能够实现虚拟人物互动表演。本实用新型专利技术公开的虚拟人现场互动表演系统包含用于采集表演者动作信息的后台组件、完成信号传输处理转换工作的现场处理计算机组件和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件；后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备、用于采集表演者表情信息的表情捕捉设备和用于采集表演者声音信息的变声设备；所述表演现场组件包含现场显示设备和现场视频设备；所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。

【技术实现步骤摘要】
虚拟人现场互动表演系统
本技术涉及舞台表演和动画领域，具体涉及现场动画表演和互动系统。
技术介绍
虚拟人互动系统通过将表演者的形象映射在虚拟人物上进行实时表演，可以广泛应用于舞台表演，教育培训，虚拟现实表演等各种领域，通过虚拟人，观众可以感受到与非真实人物交流的特殊感受，从而达到特定的表演效果。但现有技术通常使用前期制作，将表演流程固定下来。这样的情况导致虚拟人物只能够按照预先设定的流程和动作进行表演，无法与观众互动。即使加入一定的程序设计也只能获得有限的互动效果，无法和真实演员一样处理现场的复杂情况。
技术实现思路
本技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种虚拟人现场互动表演系统，其通过采集真实表演者的动作信息来提供更好的互动效果。为了达到上述目的，本技术公开的虚拟人现场互动表演系统采用以下技术方案予以实现：虚拟人现场互动表演系统，包含用于采集表演者动作信息的后台组件、完成信号传输处理转换工作的现场处理计算机组件和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件；后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备、用于采集表演者表情信息的表情捕捉设备和用于采集表演者声音信息的变声设备；所述表演现场组件包含现场显示设备和现场视频设备；所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。作为本技术公开的虚拟人现场互动表演系统的一种优选实施方式：所述后台组件中：所述动作捕捉设备将表演者的动作实时映射在虚拟人物上；所述表情捕捉设备将表演者的面部表情实时映射在虚拟人物上；所述变声设备将表演者的声音通过变声系统映射在虚拟人物上；所述动作捕捉设备为基于惯性传感器的动作捕捉设备或是基于光学传感器动作捕捉设备；所述基于惯性传感器的动作捕捉设备包含多个惯性传感器模块；这些惯性传感器模块分布在表演者身体各个部位以测量各部位关节的运动情况；所述基于光学传感器的动作捕捉设备，通过放置于表演者前方的深度摄像机捕捉表演者的表演情况，通过计算得到各个部位关节的运动情况；所述表演现场组件中：所述现场显示设备，将虚拟人物图像传达给观众，所述现场显示设备为现场大屏幕或者虚拟现实显示设备；所述现场视频设备，将现场的情况实时反馈给表演者，帮助表演者根据现场情况做出正确反映；所述现场视频设备部包含一部或一部以上数量的摄像机。作为本技术公开的虚拟人现场互动表演系统的一种优选实施方式：所述表情捕捉设备将捕捉摄像机绑定在表演者佩戴的头盔上拍摄表演者的面部视频，将视频实时传送到所述现场处理计算机从而转换为虚拟人物的表情；所述捕捉摄像机为基于深度的摄像机、彩色或单色摄像机。所述变声设备包含配置于表演者头盔上的麦克风；麦克风将表演者的声音实时传送到现场处理计算机，现场处理计算机将表演者的声音变化为符合虚拟人特点的声音后通过表演现场组件中的音响进行播放；所述变声设备包含控制器开关的开关组件。作为本技术公开的虚拟人现场互动表演系统的一种优选实施方式：所述后台组件通过互联网与所述现场处理计算机通讯连接。作为本技术公开的虚拟人现场互动表演系统的一种优选实施方式：所述表演现场组件为多组，且每组表演现场组件分布在不同的位置。为了达到上述目的，本技术公开的虚拟人现场互动表演方法采用以下技术方案予以实现：采用上述的任一虚拟人现场互动表演系统执行如下步骤：(1)表演者动作信息采集：采用后台组件采集表演者的关节动作信息、面部表情信息和声音信息；(2)信息处理：将步骤(1)采集到的表演者动作信息传输至现场处理计算机组件，且通过现场计算机组件进行处理转换成虚拟信息；(3)虚拟人表演：将步骤(2)处理后的虚拟信息实时映射在表演现场组件的现场显示设备上的虚拟人物上。本技术有益效果是：本技术通过人类表演者克服传统动画互动表演中与观众互动有限的问题，本技术可以通过虚拟人物表达人类表演者无法完成的内容和效果。具体的，本技术的动作捕捉设备，捕捉表演者的关节三维运动信息，并将信息发送至现场处理计算机；表情捕捉设备，捕捉表演者的表情影像，并将信息发送至现场处理计算机；变声设备，捕捉表演者的声音，并将信息发送至现场处理计算机；现场处理计算机接收传递来的关节三维运动信息，并将运动情况映射到虚拟人的动作上；接收传递来的表情影像，提取表情信息映射到虚拟人的表情上；对虚拟人进行渲染，形成视频流，发送至现场显示设备；接收变声设备的声音信息，变声后发送至现场显示设备播放；现场显示设备，可以是大屏幕，也可以是虚拟现实播放设备；本技术还可以通过监控设备将视频发送至表演者。附图说明图1为本技术的虚拟人现场互动表演系统的结构示意图。附图标记说明：100-后台组件，200-现场处理计算机组件，300-表演现场组件；101-动作捕捉设备，102-表情捕捉设备，103-变声设备；301-现场显示设备，302-现场视频设备。具体实施方式下面结合附图及实施例描述本技术具体实施方式：如图1所示，其示出了本技术的具体实施方式，如图1所示，本技术公开的虚拟人现场互动表演系统，包含用于采集表演者动作信息的后台组件100、完成信号传输处理转换工作的现场处理计算机组件200和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件300；后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备101、用于采集表演者表情信息的表情捕捉设备102和用于采集表演者声音信息的变声设备103；所述表演现场组件包含现场显示设备301和现场视频设备302；所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。优选的，如图所示：所述后台组件中：所述动作捕捉设备将表演者的动作实时映射在虚拟人物上；所述表情捕捉设备将表演者的面部表情实时映射在虚拟人物上；所述变声设备将表演者的声音通过变声系统映射在虚拟人物上；所述动作捕捉设备为基于惯性传感器的动作捕捉设备或是基于光学传感器动作捕捉设备；所述基于惯性传感器的动作捕捉设备包含多个惯性传感器模块；这些惯性传感器模块分布在表演者身体各个部位以测量各部位关节的运动情况；所述基于光学传感器的动作捕捉设备，通过放置于表演者前方的深度摄像机捕捉表演者的表演情况，通过计算得到各个部位关节的运动情况；所述表演现场组件中：所述现场显示设备，将虚拟人物图像传达给观众，所述现场显示设备为现场大屏幕或者虚拟现实显示设备；所述现场视频设备，将现场的情况实时反馈给表演者，帮助表演者根据现场情况做出正确反映；所述现场视频设备部包含一部或一部以上数量的摄像机。现场视频设备将现场情况通过摄像系统反馈给表演者，帮助表演者根据现场情况做出正确反映；可以由一部摄像机拍摄，也可以由多个摄像机同时拍摄。优选的，如图所示：所述表情捕捉设备将捕捉摄像机绑定在表演者佩戴的头盔上拍摄表演者的面部视频，将视频实时传送到所述现场处理计算机从而转换为虚拟人物的表情；所述捕捉摄像机为基于深度的摄像机、彩色或单色摄像机。所述变声设备包含配置于表演者头盔上的麦克风；麦克风将表演者的声音实时传送到现场处理计算机，现场处理计算机将表演者的声本文档来自技高网...

【技术保护点】
虚拟人现场互动表演系统，其特征在于：包含用于采集表演者动作信息的后台组件、完成信号传输处理转换工作的现场处理计算机组件和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件；后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备、用于采集表演者表情信息的表情捕捉设备和用于采集表演者声音信息的变声设备；所述表演现场组件包含现场显示设备和现场视频设备；所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。

【技术特征摘要】
1.虚拟人现场互动表演系统，其特征在于：包含用于采集表演者动作信息的后台组件、完成信号传输处理转换工作的现场处理计算机组件和用于将后台组件采集的表演者动作信息映射在虚拟人物上的表演现场组件；后台组件包含佩戴在表演者身上的用于采集表演者关节动作信息的动作捕捉设备、用于采集表演者表情信息的表情捕捉设备和用于采集表演者声音信息的变声设备；所述表演现场组件包含现场显示设备和现场视频设备；所述现场处理计算机组件与后台组件通讯连接；所述现场处理计算机组件还与所述表演现场组件通讯连接。2.如权利要求1所述的虚拟人现场互动表演系统，其特征在于：所述后台组件中：所述动作捕捉设备将表演者的动作实时映射在虚拟人物上；所述表情捕捉设备将表演者的面部表情实时映射在虚拟人物上；所述变声设备将表演者的声音通过变声系统映射在虚拟人物上；所述动作捕捉设备为基于惯性传感器的动作捕捉设备或是基于光学传感器动作捕捉设备；所述基于惯性传感器的动作捕捉设备包含多个惯性传感器模块；这些惯性传感器模块分布在表演者身体各个部位以测量各部位关节的运动情况；所述基于光学传感器的动作捕捉设备，通过放置于表演者前方的深度摄像机捕捉表...

【专利技术属性】
技术研发人员：褚智威，杨少毅，
申请(专利权)人：西安蒜泥电子科技有限责任公司，
类型：新型
国别省市：陕西,61