【技术实现步骤摘要】
基于人像的视频生成系统
本专利技术实施例涉及视频处理
，尤其涉及基于人像的视频生成系统。
技术介绍
虚拟人像是指利用计算机生成的人像。目前基于人像的视频生成方法主要是通过计算机图形技术合成三维动画人物，用动画参数驱动人脸的面部、头部等表情动作。然而，这种方式需要针对某个特定人像进行建模，如若更换一个人像，需要重新调整模型，不具有普适性。
技术实现思路
本专利技术实施例提供一种基于人像的视频生成系统，以提高基于人像的视频生成的普适性。本专利技术实施例提供了一种基于人像的视频系统，包括：第一输入单元，适于获取目标人脸静态图像；第二输入单元，适于获取人像表达控制数据；目标人像生成单元，包括训练完成的生成对抗网络模型，适于对所述第一输入单元输入的目标人脸静态图像及所述第二输入单元输入的人像表达控制数据分别进行相应的特征提取处理及进行特征融合，生成图像序列，所述图像序列中人像的动作与所述人像表达控制数据的表达特征匹配；输出单元，适于输出所述目标人像生成单元所生成的图像序列。可选地，所述...
【技术保护点】
1.一种基于人像的视频生成系统，其特征在于，包括：/n第一输入单元，适于获取目标人脸静态图像；/n第二输入单元，适于获取人像表达控制数据；/n目标人像生成单元，包括训练完成的生成对抗网络模型，适于对所述第一输入单元输入的目标人脸静态图像及所述第二输入单元输入的人像表达控制数据分别进行相应的特征提取处理及进行特征融合，生成图像序列，所述图像序列中人像的动作与所述人像表达控制数据的表达特征匹配；/n输出单元，适于输出所述目标人像生成单元所生成的图像序列。/n
【技术特征摘要】
1.一种基于人像的视频生成系统，其特征在于，包括：
第一输入单元，适于获取目标人脸静态图像；
第二输入单元，适于获取人像表达控制数据；
目标人像生成单元，包括训练完成的生成对抗网络模型，适于对所述第一输入单元输入的目标人脸静态图像及所述第二输入单元输入的人像表达控制数据分别进行相应的特征提取处理及进行特征融合，生成图像序列，所述图像序列中人像的动作与所述人像表达控制数据的表达特征匹配；
输出单元，适于输出所述目标人像生成单元所生成的图像序列。
2.根据权利要求1所述的基于人像的视频生成系统，其特征在于，所述第二输入单元包括以下至少一种：
第一输入子单元，适于输入情感数据；
第二输入子单元，适于输入语音数据。
3.根据权利要求2所述的基于人像的视频生成系统，其特征在于，所述第二输入子单元包括：文本转语音模块，适于获取文本数据，并将所述文本数据转换为语音数据。
4.根据权利要求3所述的基于人像的视频生成系统，其特征在于，所述第一输入子单元包括以下至少一种：
情感标签输入模块，适于输入情感标签作为所述情感数据；
情感识别模块，适于识别所述语音数据或所述文本数据的情感特征，将识别出的情感特征序列作为所述情感数据。
5.根据权利要求4所述的基于人像的视频生成系统，其特征在于，所述目标人像生成单元包括：
人像生成器，适于对所述目标人脸静态图像和所述人像表达控制数据分别进行相应的特征提取处理及进行特征融合，生成所述图像序列。
6.根据权利要求5所述的基于人像的视频生成系统，其特征在于，所述人像生成器包括：
第一图像编码器，适于将所述目标人脸静态图像进行编码，提取得到图像特征集；
人像情感表达特征提取器，适于将所述情感数据输入预设的人像表达特征提取模型，提取得到人像情感表达特征序列。
7.根据权利要求6所述的基于人像的视频生成系统，其特征在于，所述人像情感表达特征提取器包括以下至少一种：
面部表情特征提取器，适于将所述情感数据输入预设的表情特征提取模型，提取得到人像面部表情特征序列；
姿态特征提取器，适于将所述情感数据输入预设的姿态特征提取模型，提取得到人像姿态特征序列。
8.根据权利要求7所述的基于人像的视频生成系统，其特征在于，所述人像情感表达特征提取器还包括：
时序变换器，适于对所述人像面部表情特征序列或人像姿态特...
【专利技术属性】
技术研发人员：王慧，朱频频，
申请(专利权)人：上海智臻智能网络科技股份有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。