一种基于虚幻引擎的多机位渲染方法与装置制造方法及图纸

本发明专利技术属于虚拟人技术领域，公开了一种基于虚幻引擎的多机位渲染方法与装置，首先在虚幻引擎中搭建好直播场景，并将通过专业三维建模软件创建的三维虚拟人模型加载到虚幻引擎中，然后通过动作捕捉设备和面部捕捉设备实时采集真人肢体动作数据、面部表情数据、口型数据并输出到虚幻引擎；虚幻引擎基于输入数据实时渲染虚拟人模型；同时通过虚拟摄像机多机位实时拍摄虚拟人并将各机位生成的即时视频数据分别输出到导播设备；通过录音设备实时采集真人音频数据，并输出到导播设备；导播设备错时选择不同机位的视频数据与音频数据一起制做形成节目数据并输出给展示终端。本发明专利技术实现了虚拟人多机位实时渲染。了虚拟人多机位实时渲染。了虚拟人多机位实时渲染。

【技术实现步骤摘要】
一种基于虚幻引擎的多机位渲染方法与装置


[0001]本专利技术属于虚拟人
，涉及通过真人映射虚拟人进行直播的技术，具体涉及虚拟人渲染方法与装置。

技术介绍

[0002]随着数字化虚拟形象的兴起和三维建模技术的成熟，三维虚拟人直播的应用场景越来越多。借助多样的虚拟人形象和三维虚拟场景，可突破现实世界的局限，轻松实现上天入地的直播场景切换并集成最合适的主播形象、声音及动作，带给观众一场视听盛宴。虚幻引擎（Unreal Engine）是一款由Epic Games开发的具有强大开发功能和开源策略的三维渲染引擎。在基于真人表演实时驱动虚拟人过程中，如何保证低延时、音画同步、口型对应是较难解决的技术问题。
[0003]申请号为CN202211114839.9的专利申请公开了一种虚拟主播角色模型和语音数据叠加摄录视频系统，通过摄录视频系统采集真人动作数据，采集真人音频数据，并建立保存三维场景数据的场景数据库。然后，根据采集的动作数据和语音数据进行数据处理并使虚拟模型产生相应的动作和口型运动；最后，在三维场景中对运动的虚拟模型进行拍摄并结合音频数据输出完整的音像数据。该系统存在的不足在于：1.数据处理复杂：现有方案使用过程中，需现将采集到的音频数据预处理成发音数据，再将发音数据处理成与动作采集模块采集的数据一致的矢量加载数据组。然后通过运行矢量加载数据组使虚拟人的肢体动作、口型动作与音频数据保持一致。在此过程中，数据处理量大且对数据的计算和处理能力要求高。
[0004]2.不具备实时性：现有方案中，采集到的音频数据需要预处理成发音数据驱动虚拟人物的口型动作。因此，无法实现实时语音驱动。

技术实现思路

[0005]本专利技术要解决的技术问题主要是如何实时驱动虚拟人的声音、动作和面部表情并实现虚拟人音画同步问题。
[0006]为解决上述问题，本专利技术首先提出：一种基于虚幻引擎的多机位渲染方法，包括如下步骤：步骤S1、三维设计师使用：3DMax,Maya,Daz等专业设计软件，创建3位的虚拟人模型，在虚幻引擎中导入三维的虚拟人模型；步骤S2、实时采集真人肢体动作数据、面部表情数据、口型数据并输出到虚幻引擎；步骤S3、虚幻引擎根据直人实时肢体动作数据、面部表情数据、口型数据实时渲染虚拟人模型使虚拟人呈现与真人同步的肢体动作、面部表情、口型；多机位实时拍摄虚拟人并将各机位生成的即时视频数据分别输出到导播设备；步骤S4、实时采集真人音频数据，并输出到导播设备；
步骤S5、导播设备错时选择不同机位的视频数据与音频数据一起制做形成节目数据并输出给展示终端。
[0007]进一步地，所述步骤S1包括如下步骤：S1
‑
1，在虚幻引擎中搭建场景：新建或者调用预设的目标场景，并在目标场景中各目标机位分别设置虚拟摄像机；S1
‑
2，建立模型：调用预设的三维虚拟人物模型，并配置虚拟人肢体动作运动节点、面部表情运动节点、唇部动作运动节点。
[0008]进一步地，所述步骤S2包括如下步骤：S2
‑
1，利用动作捕捉设备捕捉真人肢体动作运动节点的运动信号，分析获得各肢体动作运动节点当前位置数据或者相对于上一时刻的位移数据作为真人当前肢体动作数据；S2
‑
2，利用面部捕捉设备捕捉真人面部表情运动节点和唇部动作运动节点的运动信号，分析获得各面部表情运动节点当前位置数据或者相对于上一时刻的位移数据作为真人当前面部表情数据；分析获得各唇部动作运动节点当前位置数据或者相对于上一时刻的位移数据作为真人当口型数据。
[0009]进一步地，所述步骤S3包括如下步骤：S3
‑
1，虚幻引擎实时接收真人当前肢体动作数据、面部表情数据、口型数据；S3
‑
2，并根据真人各运动节点的当前位置数据或者相对于上一时刻的位移数据即时更新虚拟人模型各运动节点当前位置；S3
‑
3，各虚拟摄像机分别从不同方位对虚拟人模型进行摄像，并生成各个机位的即时视频数据，然后分别输出到导播设备。
[0010]进一步地，所述步骤S4包括如下步骤：S4
‑
1，利用录音设备实时采集真人当前发出的声音，并将生成的音频数据输出到导播设备。
[0011]进一步地，所述步骤S5包括如下步骤：S5
‑
1，导播设备实时接收虚幻引擎的各虚拟摄像机发送的各机位即时视频数据；实时接收录音设备发送的音频数据；S5
‑
2，导播设备根据预设机位切换方案或者用户手动输入的最新切换指令，选择相应机位的视频数据与音频数据组合形成节目数据并输出给播放展示前端。
[0012]进一步地，在步骤S5
‑
2中，为了让播出的节目口型与声音同步，在合成节目数据之前先进行音画同步处理。
[0013]作为一种可选的音画图步处理的方法：节目直播开始前，（通过人工）先判断不经过同步处理的声音和画面之间存在的时间差，将该时间差作为固定的同步延时。然后在合成节目数据时，将偏快的数据流按该同步延时延后与偏慢的数据流合成。
[0014]事前时间差判断可以由人工来进行判断。例如设置一个调时旋扭，操作人员一边调节旋扭，一边观看节目呈现效果，直到目视音画同步。
[0015]也可以，进一步地，本专利技术提出一种误差更小的自动化判断时间差的方法：设置一段人物影像，在影像中间隔设置若干特异画面以及与特异画面对应的特异声音。播放该段影像，通过面捕设备对该影像进行画面捕捉，同时通过录音设备对该影像进行声音捕捉。面
部捕捉设备将面部动作节点数据传输至虚幻引擎。虚幻引擎对数据完成处理后将视频数据传输至导播设备。音频通过SDI接口输入导播设备。至此，导播设备完成同时接收音频和面部动作节点数据。此时对面部动作节点数据的唇部口型动作进行动态实时识别，根据识别结果和该口型对应的特异声音进行比较，计算得到时间差。将该时间差传入音视频同步模块，作为音视频校准的时间差值,达到音视频同步。
[0016]作为另一种可选的音画图步处理的方法：实时判断声音与面面之间的即时时间差，然后在合成节目数据时，将偏快的数据流按该该即时时间差延后与偏慢的数据流合成。
[0017]进一步地，一种即时时间差判断方法，建立一个口型特征（大小与形状）与音频特征（频率高低、音量大小）之间对应关系的数据库，以t0为起点时间，按时长t，读取一段视频数据作为测试视频段，提取测试视频段中全部或若干帧图像，分别识别图像中口型特征，并根据数据库确定对应的音频特征，绘制测试视频段的音频特征拟合曲线，以不同时间点为起点(t0
’
1、t0
’
2、t0
’3……
t0
’
n)提取时长同样为t的若干测试音频段，分别识别并绘制测试音频段的音频特征拟合曲线，计算测试视频段音频特征拟合曲线与测试音频段的音频特征拟合曲线之间的相似度，相似度最高的测试音频段起点时间t0
’
x与测试视频段起点时间t本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚幻引擎的多机位渲染方法，其特征在于，包括如下步骤：步骤S1、创建三维的虚拟人模型，并在虚幻引擎中导入三维的虚拟人模型；步骤S2、实时采集真人肢体动作数据、面部表情数据、口型数据并输出到虚幻引擎；步骤S3、虚幻引擎根据直人实时肢体动作数据、面部表情数据、口型数据实时渲染虚拟人模型使虚拟人呈现与真人同步的肢体动作、面部表情、口型；多机位实时拍摄虚拟人并将各机位生成的即时视频数据分别输出到导播设备；步骤S4、实时采集真人音频数据，并输出到导播设备；步骤S5、导播设备错时选择不同机位的视频数据与音频数据一起制做形成节目数据并输出给展示终端。2.根据权利要求1所述的基于虚幻引擎的多机位渲染方法，其特征在于，所述步骤S1包括如下步骤：S1
‑
1，在虚幻引擎中搭建场景：新建或者调用预设的目标场景，并在目标场景中各目标机位分别设置虚拟摄像机；S1
‑
2，建立模型：调用预设的三维虚拟人物模型，并配置虚拟人肢体动作运动节点、面部表情运动节点、唇部动作运动节点。3.根据权利要求1所述的基于虚幻引擎的多机位渲染方法，其特征在于，所述步骤S2包括如下步骤：S2
‑
1，利用动作捕捉设备捕捉真人肢体动作运动节点的运动信号，分析获得各肢体动作运动节点当前位置数据或者相对于上一时刻的位移数据作为真人当前肢体动作数据；S2
‑
2，利用面部捕捉设备捕捉真人面部表情运动节点和唇部动作运动节点的运动信号，分析获得各面部表情运动节点当前位置数据或者相对于上一时刻的位移数据作为真人当前面部表情数据；分析获得各唇部动作运动节点当前位置数据或者相对于上一时刻的位移数据作为真人当口型数据。4.根据权利要求1所述的基于虚幻引擎的多机位渲染方法，其特征在于，所述步骤S3包括如下步骤：S3
‑
1，虚幻引擎实时接收真人当前肢体动作数据、面部表情数据、口型数据；S3
‑
2，并根据真人各运动节点的当前位置数据或者相对于上一时刻的位移数据即时更新虚拟人模型各运动节点当前位置；S3
‑
3，各虚拟摄像机分别从不同方位对虚拟人模型进行摄像，并生成各个机位的即时视频数据，然后分别输出到导播设备。5.根据权利要求1所述的基于虚幻引擎的多机位渲染方法，其特征在于，所述步骤S4包括如下步骤：S4
‑
1，利用录音设备实时采集真人当前发出的声音，并将生成的音频数据输出到导播设备。6.根据权利要求1所述的基于虚幻引擎的多机位渲染方法，其特征在于，所述步骤S5包括如下步骤：S5
‑
1，导播设备实时接收虚幻引擎的各虚拟摄像机发送的各机位即时视频数据；实时接收录音设备发送的音频数据；S5
‑
2，导播设备根据预设机位切换方案或者用户手动输入的最新切换指令，选择相应
机位的视频数据与音频数据组合形成节目数据并输出给播放展示前端。7.根据权利要求6所述的基于虚幻引擎的多机位渲染方法，其特征在于，在步骤S5
‑
2中，在合成节目数...

【专利技术属性】
技术研发人员：钱代友，贺波，吴昌，杨鹏，吴孟超，
申请(专利权)人：杭州趣看科技有限公司，
类型：发明
国别省市：