【技术实现步骤摘要】
本专利技术涉及计算机图像处理和机器学习领域，更具体地，涉及一种基于空间相关性模型的人脸表情操纵视频生成方法与系统。
技术介绍
1、随着互联网技术的更新迭代，以及人们对于视频影像的质量要求的提高，现有的人脸表情操纵技术存在的缺点逐渐暴露在大众的视野中。目前的人脸表情操纵技术在对人脸表情进行操纵时，对于语音及其对应的嘴部动作的保持能力存在不足，导致实际应用中出现视频话音不同步。此外，人脸表情操纵技术缺乏局部监督，生成的视频存在局部失真的情况，导致用户观感不佳。
2、现有技术提供了一种虚拟数字人唇形同步方法及系统。本方法首先根据预先获取的目标语料进行视频拍摄得到样本视频，并从样本视频中提取出人脸图像和音频信息，然后将人脸图像通过openface工具进行处理得到面部关键点图像，并将音频信息进行预处理转换为mel频谱图；最后基于面部关键点图像和mel频谱图对wav2lip模型进行训练，并训练完成的wav2lip模型对目标视频进行处理得到对应的唇形视频。
技术实现思路
1、本专利技术为克服...
【技术保护点】
1.一种基于空间相关性模型的人脸表情操纵视频生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于空间相关性模型的人脸表情操纵视频生成方法，其特征在于，获得训练好的空间相关性模型的方法为：
3.根据权利要求2所述的一种基于空间相关性模型的人脸表情操纵视频生成方法，其特征在于，所述特征提取网络单元包括依次连接的第一卷积层、第一归一化层、第一激活层、第一残差层、第二残差层、第三残差层、第四残差层、第二归一化层、平均池化层、全连接层、第三归一化层、第二激活层；
4.根据权利要求2所述的一种基于空间相关性模型的人脸表情操纵视频生...
【技术特征摘要】
1.一种基于空间相关性模型的人脸表情操纵视频生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于空间相关性模型的人脸表情操纵视频生成方法，其特征在于，获得训练好的空间相关性模型的方法为：
3.根据权利要求2所述的一种基于空间相关性模型的人脸表情操纵视频生成方法，其特征在于，所述特征提取网络单元包括依次连接的第一卷积层、第一归一化层、第一激活层、第一残差层、第二残差层、第三残差层、第四残差层、第二归一化层、平均池化层、全连接层、第三归一化层、第二激活层；
4.根据权利要求2所述的一种基于空间相关性模型的人脸表情操纵视频生成方法，其特征在于，所述视觉差异损失总损失具体为：
5.根据权利要求4所述的一种基于空间相关性模型的人脸表情操纵视频生成方法，其特征在于，所述对比损失具体为：
6.一...
【专利技术属性】
技术研发人员：陈添水，朱宇杰，林坚满，杨志景，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。