一种人物场景视频生成方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种人物场景视频生成方法、系统、装置及存储介质，通过训练好生成对抗网络模型，并将带有限制条件的标签图像输入训练好的生成对抗网络模型中，从而可输出与限制条件对应的真人图片，限制条件可指导生成对抗网络模型生成与限制条件对应的真实图像，从而可对生成内容进行更加精细的内容控制，生成更加可控的高清图像。并且可根据后续使用中产生的新生成需求，增加新的限制条件，使生成内容根据需求扩展变得更加丰富；而且无需每段视频都必须有真实人物进行录制，具有更快的制作效率与更加丰富的扩展形式。本发明专利技术广泛应用于计算机技术领域。

【技术实现步骤摘要】
一种人物场景视频生成方法、系统、装置及存储介质
本专利技术涉及计算机
，尤其是一种人物场景视频生成方法、系统、装置及存储介质。
技术介绍
随着虚拟现实技术和/或增强现实的不断发展，用于共享应用的三维模型越来越多，通过这些共享应用的三维模型构建三维场景，该三维场景已经广泛应用于很多领域，可以在很大程度上为用户提供更直观的视觉享受，提高用户的体验。现有的人物图像合成方式大多采用计算机图形学(CG)的方式，通过建模、合成、材质、渲染等多个板块，首先将物体模型一块块的搭建起来，再对不同部位进行贴图渲染达到更加真实的效果，最后再将其与真实环境融合。在其中每一步都需要专业人员花费大量精力，对每一张图都要细致加工，整体制作时间较长并且人力成本较高，无法同时兼顾高质量与高效率的要求；现有的根据文字稿制作视频内容的方式，每段视频都必须有真实人物进行录制，也需要花费大量的时间，且工作效率低。
技术实现思路
为解决上述至少一个问题，本专利技术的目的在于提供一种人物场景视频生成方法、系统、装置及存储介质。本专利技术所采取的技术本文档来自技高网...

【技术保护点】
1.一种人物场景视频生成方法，其特征在于，包括：/n获取第一图像，所述第一图像为带有限制条件的标签图像，所述限制条件包括人脸轮廓、人体关键点骨架、人体轮廓、头部轮廓和背景；/n利用训练好的生成对抗网络模型接收所述第一图像并进行处理，以输出第二图像，所述第二图像为与限制条件对应的真实图像；/n获取语音信号；/n将所述第二图像与所述语音信号结合，生成人物场景视频。/n

【技术特征摘要】
1.一种人物场景视频生成方法，其特征在于，包括：
获取第一图像，所述第一图像为带有限制条件的标签图像，所述限制条件包括人脸轮廓、人体关键点骨架、人体轮廓、头部轮廓和背景；
利用训练好的生成对抗网络模型接收所述第一图像并进行处理，以输出第二图像，所述第二图像为与限制条件对应的真实图像；
获取语音信号；
将所述第二图像与所述语音信号结合，生成人物场景视频。


2.根据权利要求1所述的一种人物场景视频生成方法，其特征在于，还包括对生成对抗网络模型进行训练，包括：
构建训练集，所述训练集由人物图像样本、人物视频样本和标签样本组成，所述标签样本是通过对所述人物图像样本和人物视频样本进行关键点及掩码提取得到；
获取所述训练集以对生成对抗网络模型进行训练。


3.根据权利要求2所述的一种人物场景视频生成方法，其特征在于，还包括对生成对抗网络模型进行检测，包括：
修改标签样本；
生成对抗网络模型获取修改后的标签样本；
检测生成对抗网络模型是否输出与标签对应的图像和/或视频。


4.根据权利要求3所述的一种人物场景视频生成方法，其特征在于，所述修改标签样本这一步骤，具体包括：
对人物图像样本和人物视频样本进行关键点和掩码提取得到标签样本；
改变关键点坐标位置和掩码形状，以修改标签样本。


5.根据权利要求3所述的一种人物场景视频生成方法，其特征在于，所述生成对抗网络模型包括生成网络和判别网络；
所述生成网络用于接收所述第一图像，并生成第二图像；
所述判别网络用于判别所述第二图像的真实度。


6.根据权利要求5所述的一种人物场景视频生成方法，其特征在于，所述生成网络包括多个子网络，其中包括第一子网络和第二子网络；
所述第一子网络用于生成包含全局信息的图像；
所述第二子网络用于...

【专利技术属性】
技术研发人员：李权，叶俊杰，王伦基，黄桂芳，任勇，韩蓝青，
申请(专利权)人：清华珠三角研究院，赛业广州生物科技有限公司，
类型：发明
国别省市：广东;44