一种3D虚拟数字人植入视频方法及系统技术方案

一种3D虚拟数字人植入视频方法，其特征在于，包括以下步骤：制作3D虚拟数字人模型，所述3D虚拟数字人模型包括唇形信息库、语音信息库、姿态信息库，还包括语音信息与唇形信息的关联信息库、语音信息与姿态信息的关联信息库；制作视频模板；将3D虚拟数字人模型导入至视频模板；输出3D虚拟数字人视频；其中，所述将3D虚拟数字人模型导入至视频模板的方法包括：把3D虚拟数字人模型导入至视频模板的背景图像，根据背景图像为3D虚拟数字人模型匹配语音信息，根据语音信息分别为3D虚拟数字人模型匹配唇形、姿态。有利于自动化实现虚拟数字人在发出语音时的唇形、姿态的丰富性、真实性。真实性。真实性。

【技术实现步骤摘要】
一种3D虚拟数字人植入视频方法及系统


[0001]本专利技术涉及计算机领域，尤其是一种3D虚拟数字人植入视频方法及系统。

技术介绍

[0002]随着科学技术的发展和现代工业技术的需要，3D虚拟数字人视频需求量急速增加，但是目前的3D虚拟数字人的人物特征是单一的，只有单一的语音、或人物姿态，缺乏面部表情、姿态的同步，同时缺乏人物特征与背景视频的同步。

技术实现思路

[0003]为了克服现有技术中所存在的上述缺陷，本专利技术提供了一种3D虚拟数字人植入视频方法及系统。
[0004]本专利技术解决其技术问题所采用的技术方案是：
[0005]一种3D虚拟数字人植入视频方法，包括以下步骤：
[0006]制作3D虚拟数字人模型，所述3D虚拟数字人模型包括人物特征库，所述人物特征库包括唇形信息库、语音信息库、姿态信息库，还包括语音信息与唇形信息的关联信息库、语音信息与姿态信息的关联信息库；
[0007]制作视频模板，所述视频模板包括背景图像、时间轴；
[0008]将3D虚拟数字人模型导入至视频模板；
[0009]输出3D虚拟数字人视频；
[0010]其中，所述将3D虚拟数字人模型导入至视频模板的方法包括：
[0011]把3D虚拟数字人模型导入至背景图像，根据背景图像为3D虚拟数字人模型匹配语音信息，根据语音信息分别为3D虚拟数字人模型匹配唇形、姿态。
[0012]优选地，所述语音信息库包括语义标签，所述语义标签包括多个维度的标签。
[0013]优选地，所述语义标签包括场景标签。
[0014]优选地，所述背景图像包括场景标签；
[0015]所述根据背景图像为3D虚拟数字人模型匹配语音信息的方法包括根据背景图像的场景标签、语音信息的场景标签，将语音信息与背景图像进行匹配。
[0016]优选地，所述语义标签包括心情标签；
[0017]所述人物特征库还包括人脸表情信息库、人脸表情信息与心情标签的关联信息库；
[0018]所述把3D虚拟数字人模型导入至视频模板的方法还包括：根据语音信息分别为3D虚拟数字人模型匹配唇形、姿态之后，根据所述心情标签为3D虚拟数字人模型匹配人脸表情。
[0019]优选地，所述人物特征库还包括所述唇形信息与所述心情标签的关联信息库。
[0020]优选地，所述人物特征库还包括所述姿态与所述心情标签的关联信息库。
[0021]优选地，所述把3D虚拟数字人模型导入至视频模板的方法还包括：根据所述心情
标签为3D虚拟数字人模型匹配人脸表情之后，根据人脸表情修正唇形。
[0022]本方案还保护一种系统，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现任一项所述的3D虚拟数字人植入视频方法的步骤。
[0023]本方案还保护一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述的3D虚拟数字人植入视频方法的步骤。
[0024]本专利技术的有益效果是，
[0025]1、本专利的3D虚拟数字人模型包括融合多种人物特征的特征库，包括语音信息与唇形信息的关联信息库、语音信息与姿态信息的关联信息库；且多种人物特征信息包括语音、唇形、姿态是同步的，有利于自动化实现虚拟数字人在发出语音时的唇形、姿态的丰富性、真实性。
[0026]2、本专利可以根据视频模板的背景图像为3D虚拟数字人模型匹配语音信息，有利于自动化实现3D虚拟数字人与背景视频的融合。
[0027]3、本专利的3D虚拟数字人模型还保护人物特征库还包括人脸表情信息库、人脸表情信息与心情标签的关联信息库，能够根据语音信息的心情标签让3D虚拟数字人呈现相应的表情，更加丰富了虚拟人的真实性。
附图说明
[0028]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0029]图1为本专利技术所示的一种3D虚拟数字人植入视频方法的流程图。
[0030]图2为本专利技术所示的一种3D虚拟数字人的人物特征库的结构图。
具体实施方式
[0031]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0032]本申请中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0033]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0034]实施例1：如图1所示，一种3D虚拟数字人植入视频方法，包括以下步骤：
[0035]1)制作3D虚拟数字人模型；
[0036]2)为所述3D虚拟数字人模型准备人物特征库，所述人物特征库包括人脸库、唇形信息库、语音信息库、姿态信息库，还包括语音信息与唇形信息的关联信息库、语音信息与姿态信息的关联信息库；
[0037]3)制作视频模板，比如视频动画，所述视频模板包括背景图像、时间轴；
[0038]4)将3D虚拟数字人导入至视频模板；
[0039]具体方法包括：
[0040]把3D虚拟数字人模型导入至背景图像，根据背景图像为3D虚拟数字人模型匹配语音信息，根据语音信息分别为3D虚拟数字人模型匹配唇形、姿态。比如3D虚拟数字人是虚拟导游，在西湖景点则匹配西湖的景点语音介绍信息，在故宫景点则匹配故宫的景点语音介绍信息。
[0041]5)输出3D虚拟数字人视频。
[0042]实施例2：一种3D虚拟数字人植入视频方法，包括以下步骤：
[0043]1)制作3D虚拟数字人模型；
[0044]2)为3D虚拟数字人模型准备人物特征库(如图2所示)，所述人物特征库包括人脸库、唇形信息库、语音信息库、姿态信息库，还包括语音信息与唇形信息的关联信息库、语音信息与姿态信息的关联信息库；
[0045]因为：不同的语音发音就会有不同的唇形；不同的语音内容关联着不同的语料本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D虚拟数字人植入视频方法，其特征在于，包括以下步骤：制作3D虚拟数字人模型，所述3D虚拟数字人模型包括人物特征库，所述人物特征库包括唇形信息库、语音信息库、姿态信息库，还包括语音信息与唇形信息的关联信息库、语音信息与姿态信息的关联信息库；制作视频模板，所述视频模板包括背景图像；将3D虚拟数字人模型导入至视频模板；输出3D虚拟数字人视频；其中，所述将3D虚拟数字人模型导入至视频模板的方法包括：把3D虚拟数字人模型导入至背景图像，根据背景图像为3D虚拟数字人模型匹配语音信息，根据语音信息分别为3D虚拟数字人模型匹配唇形、姿态。2.根据权利要求1所述的方法，其特征在于，所述语音信息库包括语义标签，所述语义标签包括多个维度的标签。3.根据权利要求2所述的方法，其特征在于，所述语义标签包括场景标签。4.根据权利要求3所述的方法，其特征在于，所述背景图像包括场景标签；所述根据背景图像为3D虚拟数字人模型匹配语音信息的方法包括根据背景图像的场景标签、语音信息的场景标签，将语音信息与背景图像进行匹配。5.根据权利要求2所述的方法，其特征在于，所述语义标签包括心情标签...

【专利技术属性】
技术研发人员：蒋亚洪，陈思宇，潘永路，
申请(专利权)人：杭州优链时代科技有限公司，
类型：发明
国别省市：