【技术实现步骤摘要】
视频生成方法及装置
本申请实施例涉及计算机
，尤其涉及一种视频生成方法及装置。
技术介绍
虚拟偶像是一种通过绘画、动画等形式制作，在网络、电视等虚拟场景进行活动的架空形象，可以与用户或观众进行互动交流，具备广泛的应用前景。虚拟偶像需要具备声音和与当前语音情景匹配的动作表情，从而得到虚拟偶像的视频。目前虚拟偶像的动作标签的实现是通过捕捉真人动作并生成三维动作数据，然后根据三维动作数据来驱动虚拟偶像进行动作模拟的。该方案的缺点是，对于虚拟偶像的每一次动作表情的生成，都需要对真人的动作进行捕捉，其工程量巨大，且灵活性较差。
技术实现思路
本申请实施例提供一种视频生成方法及装置，以解决目前虚拟偶像的视频生成方法工程量巨大且灵活性较差的问题。第一方面，本申请实施例提供一种视频生成方法，包括：获取语音信息和第一人脸图像；根据所述语音信息和所述第一人脸图像生成第一视频，所述第一视频包括所述第一人脸图像对应的人物读所述语音信息时的第一面部特征变化；根据所述第一视频，确定多个人...
【技术保护点】
1.一种视频生成方法，其特征在于，包括：/n获取语音信息和第一人脸图像；/n根据所述语音信息和所述第一人脸图像生成第一视频，所述第一视频包括所述第一人脸图像对应的人物读所述语音信息时的第一面部特征变化；/n根据所述第一视频，确定多个人脸部位对应的动作特征；/n根据所述动作特征和虚拟对象，生成动画视频，所述动画视频包括所述虚拟对象读所述语音信息时的第二面部特征变化。/n
【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：
获取语音信息和第一人脸图像；
根据所述语音信息和所述第一人脸图像生成第一视频，所述第一视频包括所述第一人脸图像对应的人物读所述语音信息时的第一面部特征变化；
根据所述第一视频，确定多个人脸部位对应的动作特征；
根据所述动作特征和虚拟对象，生成动画视频，所述动画视频包括所述虚拟对象读所述语音信息时的第二面部特征变化。
2.根据权利要求1所述的方法，其特征在于，根据所述语音信息和所述第一人脸图像生成第一视频，包括：
对所述语音信息和所述第一人脸图像进行处理，得到多张第二人脸图像，所述第二人脸图像为所述人物读所述语音信息时的人脸图像；
按照预设帧率合成所述多张第二人脸图像，得到所述第一视频。
3.根据权利要求2所述的方法，其特征在于，对所述语音信息和所述第一人脸图像进行处理，得到多张第二人脸图像，包括：
通过预设模型对所述语音信息和所述第一人脸图像进行处理，得到多张第二人脸图像；
其中，所述预设模型为对多组样本学习得到的，每组样本包括音频特征和混合图像。
4.根据权利要求3所述的方法，其特征在于，任意一组样本通过如下步骤获取：
获取视频数据，所述视频数据为样本用户读样本语音的视频；
根据所述视频数据获取音频特征、所述音频特征对应的匹配人脸图像和所述音频特征对应的非匹配人脸图像；
根据所述匹配人脸图像获取被覆盖人脸图像，所述被覆盖人脸图像为覆盖了所述匹配人脸图像的嘴部区域的图像；
对所述非匹配人脸图像和所述被覆盖人脸图像进行拼接处理，得到混合图像。
5.根据权利要求4所述的方法，其特征在于，所述预设模型包括生成子模型和判别子模型；所述预设模型的训练步骤如下：
将所述音频特征和所述混合图像输入至生成子模型，并通过所述生成子模型对所述音频特征和所述混合图像进行特征融合处理，得到人脸图像；
将所述音频特征和所述人脸图像输入至所述判别子模型，得到判别结果；
根据所述判别结果和所述匹配人脸图像，得到所述预设模型的判别损失；
根据所述判别损失对所述生成子模型和所述判别子模型的参数进行调整，得到训练完成的预设模型。
6.根据权利要求3所述的方法，其特征在于，通过预设模型对所述语音信息和所述第一人脸图像进行处理，得到多张第二人脸图像，包括：
在所述语音信息中确定多个音频段；
分别将每个音频段和所述第一人脸图像输入至所述预设模型，以使所述预设模型分别输出每个音频段对应的第二人脸图像。
7.根据权利要求6所述的方法，其特征在于，所述第一人脸图像的数量为一张；分别将每个音频段和所述第一人脸图像输入至所述预设模型，包括：
复制所述第一人脸图像，直至所述...
【专利技术属性】
技术研发人员：梁智聪，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。