基于“人、机、物”三元具身融合的音频孪生系统技术方案

本发明专利技术提供基于"人、机、物”三元具身融合的音频孪生系统，涉及音频孪生系统领域。该音频孪生系统，包括XR控制器、虚幻引擎模块(Unreal Engine)、虚拟场景实时渲染模块、媒体服务器终端和增强现实(AR)实时渲染模块。该系统通过XR控制器可以做到摄像机和镜头的校准，空间映射和色彩的校准，从将现实中的物品、人物与虚拟空间进行融合，达到场景孪生的效果，在演出的过程中，设备可以感知多模态、多模态的交互信息，并实时渲染和反馈交互，该系可以对音响的播放、灯光的照射角度和照射方向以及多个摄像头的录制情况进行终端控制，从而保证“人、机、物”的完美融合，加强了XR虚实融合场景孪生和虚拟乐队的真实性。孪生和虚拟乐队的真实性。孪生和虚拟乐队的真实性。

【技术实现步骤摘要】
基于“人、机、物”三元具身融合的音频孪生系统


[0001]本专利技术涉及音频孪生系统领域，具体为基于“人、机、物”三元具身融合的音频孪生系统。

技术介绍

[0002]随着我国经济的高速发展，网络的普及和歌曲的制作越来越便利，每天都有成千上万的新歌曲涌现，歌曲海量化累计的同时，用户也表现出明显的个性化音乐喜好，随着用户对音乐和舞台的期望值越发高涨，虚拟舞台和基于XR虚实融合场景孪生和多感官具身智能交互也不断的出现在人们的生活中，为人们带来全新的体验，将现实中的物品、人物与虚拟空间进行融合也出现在人们的视野。
[0003]随着人们需求的不断提高，传统音频孪生系统在搭建虚拟乐队和虚拟舞台的过程中，难以达到场景孪生的效果，同时传统音频孪生系统在演出的过程中，设备难以感知多模态、多模态的交互信息，同时难以实时渲染、反馈交互，从而难以满足人们对虚拟舞台和虚拟乐队的需求，为此，急需进行技术改进。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了基于“人、机、物”三元具身融合的音频孪生系统，解决了传统音频孪生系统在搭建虚拟乐队和虚拟舞台的过程中，难以达到场景孪生的问题，解决了传统音频孪生系统在演出的过程中，设备难以感知多模态、多模态的交互信息，同时难以实时渲染、反馈交互的问题。
[0006](二)技术方案
[0007]为实现以上目的，本专利技术通过以下技术方案予以实现：基于“人、机、物”三元具身融合的音频孪生系统，该系统包括XR控制器、虚幻引擎模块(Unreal Engine)、虚拟场景实时渲染模块、媒体服务器终端和增强现实(AR)实时渲染模块；
[0008]XR控制器，该控制器可以做到摄像机和镜头的校准，空间映射和色彩的校准，从将现实中的物品、人物与虚拟空间进行融合，达到场景孪生的效果，在演出的过程中，设备可以感知多模态、多模态的交互信息，并实时渲染和反馈交互。
[0009]虚幻引擎模块(Unreal Engine)，该模块基于64位色高精度动态渲染管道，通过Gamma校正和线性颜色空间渲染器提供了较高的颜色精度，同时支持了各种后期特效例如光晕，镜头光环和景深等效果，从而达到搭建虚拟乐队与虚拟舞台，在虚拟空间中进行演绎的目的；
[0010]虚拟场景实时渲染模块，该模块可以搭建虚拟场景，就是所谓后期合成所呈现的画面，使得虚拟场景的画面细腻真实，场景中的物体和人物边缘及线条光滑无毛刺，使画面精细、逼真；
[0011]媒体服务器终端，该模块可以对音响的播放、灯光的照射角度和照射方向以及多
个摄像头的录制情况进行终端控制，从而保证“人、机、物”的完美融合，达到了多感官具身智能交互的目的，也加强了XR虚实融合场景孪生和虚拟乐队的真实性；
[0012]增强现实(AR)实时渲染模块，该模块是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
[0013]优选的，所述媒体服务器终端包括音响控制模块和灯光控制模块，通过音响控制模块可以按照虚拟的实时场景去传输对应的声音，从而提高虚拟场景的真实性，通过灯光控制模块可以按照虚拟场景去传输对应的灯光，从而进一步提高虚拟场景的真实性。
[0014]优选的，所述音响控制模块和灯光控制模块包括LED实景舞台，所述LED实景舞台包括LED墙1、LED墙2、LED地板、道具和演员，LED实景舞台是搭建虚拟乐队、XR虚实融合场景孪生和多感官具身智能交互的基础，通过LED墙1、LED墙2、LED地板、道具和演员的交互转换，可以为人们呈现出虚拟乐队生动真实的效果。
[0015]优选的，所述LED实景舞台包括LED处理器，通过LED处理器可有多种布局,如墙面地面为曲面结构。
[0016]优选的，所述媒体服务器终端包括摄像机模组，所述摄像机模组包括多个摄像机，所述多个摄像机包括摄像机自动追踪模块和摄像机镜头自动校准模块，通过多个摄像机可以对虚拟场景进行全方位多角度的录制与拍摄，通过摄像机自动追踪模块能够自动识别图像信息，图像移动时它跟着移动捕捉图像，它可以识别监控范围内物体运动，并自动控制云台对移动物体进行追踪，物体所有动作都被清晰地传往监视器，通过摄像机镜头自动校准模块可以达到消除色差、去紫边、修正小光圈导致的画质下降等问题，从而提高多个摄像头录制与拍摄的质量。
[0017]优选的，所述增强现实(AR)实时渲染模块包括增强现实(AR)内容，所述增强现实(AR)内容包括视觉效果混合模块，通过视觉效果混合模块将现实中的物品、人物与虚拟空间进行融合，达到场景孪生的效果，在演出的过程中，设备可以感知多模态、多模态的交互信息，并实时渲染、反馈交互。
[0018]优选的，所述XR控制器包括XR设备配置模块，所述XR设备配置模块包括VX和RX。
[0019]基于“人、机、物”三元具身融合的音频孪生系统的使用方法，包括以下步骤：
[0020]S1.XR控制器
[0021]该控制器可以做到摄像机和镜头的校准，空间映射和色彩的校准，从将现实中的物品、人物与虚拟空间进行融合，达到场景孪生的效果，在演出的过程中，设备可以感知多模态、多模态的交互信息，并实时渲染和反馈交互；
[0022]S2.虚幻引擎模块(Unreal Engine)
[0023]该模块基于64位色高精度动态渲染管道，通过Gamma校正和线性颜色空间渲染器提供了较高的颜色精度，同时支持了各种后期特效例如光晕，镜头光环和景深等效果，从而达到搭建虚拟乐队与虚拟舞台，在虚拟空间中进行演绎的目的；
[0024]S3.虚拟场景实时渲染模块
[0025]该模块可以搭建虚拟场景，就是所谓后期合成所呈现的画面，使得虚拟场景的画面细腻真实，场景中的物体和人物边缘及线条光滑无毛刺，使画面精细、逼真；
[0026]S4.媒体服务器终端
[0027]该模块可以对音响的播放、灯光的照射角度和照射方向以及多个摄像头的录制情况进行终端控制，从而保证“人、机、物”的完美融合，达到了多感官具身智能交互的目的，也加强了XR虚实融合场景孪生和虚拟乐队的真实性；
[0028]S5.增强现实(AR)实时渲染模块
[0029]该模块是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
[0030](三)有益效果
[0031]本专利技术提供了基于“人、机、物”三元具身融合的音频孪生系统。具备以下有益效果：
[0032]1、本专利技术设计的基于“人、机、物”三元具身融合的音频孪生系统，该系统通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于"人、机、物”三元具身融合的音频孪生系统，其特征在于：该系统包括XR控制器、虚幻引擎模块(Unreal Engine)、虚拟场景实时渲染模块、媒体服务器终端和增强现实(AR)实时渲染模块；XR控制器，该控制器可以做到摄像机和镜头的校准，空间映射和色彩的校准，从将现实中的物品、人物与虚拟空间进行融合，达到场景孪生的效果，在演出的过程中，设备可以感知多模态、多模态的交互信息，并实时渲染和反馈交互。虚幻引擎模块(Unreal Engine)，该模块基于64位色高精度动态渲染管道，通过Gamma校正和线性颜色空间渲染器提供了较高的颜色精度，同时支持了各种后期特效例如光晕，镜头光环和景深等效果，从而达到搭建虚拟乐队与虚拟舞台，在虚拟空间中进行演绎的目的；虚拟场景实时渲染模块，该模块可以搭建虚拟场景，就是所谓后期合成所呈现的画面，使得虚拟场景的画面细腻真实，场景中的物体和人物边缘及线条光滑无毛刺，使画面精细、逼真；媒体服务器终端，该模块可以对音响的播放、灯光的照射角度和照射方向以及多个摄像头的录制情况进行终端控制，从而保证“人、机、物”的完美融合，达到了多感官具身智能交互的目的，也加强了XR虚实融合场景孪生和虚拟乐队的真实性；增强现实(AR)实时渲染模块，该模块是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。2.根据权利要求1所述的基于"人、机、物”三元具身融合的音频孪生系统，其特征在于：所述媒体服务器终端包括音响控制模块和灯光控制模块，通过音响控制模块可以按照虚拟的实时场景去传输对应的声音，从而提高虚拟场景的真实性，通过灯光控制模块可以按照虚拟场景去传输对应的灯光，从而进一步提高虚拟场景的真实性。3.根据权利要求2所述的基于"人、机、物”三元具身融合的音频孪生系统，其特征在于：所述音响控制模块和灯光控制模块包括LED实景舞台，所述LED实景舞台包括LED墙1、LED墙2、LED地板、道具和演员，LED实景舞台是搭建虚拟乐队、XR虚实融合场景孪生和多感官具身智能交互的基础，通过LED墙1、LED墙2、LED地板、道具和演员的交互转换，可以为人们呈现出虚拟乐队生动真实的效果。4.根据权利要求3述的基于"人、机、物”三元具身融合的音频孪生系统，其特征在于：所述LED实景舞台包括LED处理器，通过LED处理器可有多种布局,如墙面地面为曲面结构。5.根据权利要求1所述的基于"人、机、物”三元具身融合的音频孪生系统，其...

【专利技术属性】
技术研发人员：靳聪，吴杰，周帜，罗清然，陈若熙，罗聪，韩哲，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：