基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法技术方案

本发明专利技术公开了一种基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法，由深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块构成；深度学习模块通过训练卷积神经网络，得到生成三维模型的必要参数；三维重建模块根据输入的人脸照片/视频得到对应的三维模型；视频预处理模块对目标视频进行处理进而得到每一帧所对应的人脸特征点及表情参数；二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；视频编辑模块将新的人脸替换到目标视频上，并平滑处理和光照条件调整。

【技术实现步骤摘要】
基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法
：本专利技术属于计算机领域，涉及一种三维重建及视频编辑系统，尤其是一种基于深度学习的人脸三维重建及人脸替换的视频编辑系统及方法。
技术介绍
：近年来，“阿凡达”式的虚拟角色生成技术被越来越多的应用在影视制作和电子游戏中。其中，面部重构的准确与否对虚拟角色尤为重要。实时的展现面部表情更是能让虚拟角色更加逼真。同时，深度学习的兴起使得过去难以解决的计算机视觉问题找到了新的突破口。经过一定训练的卷积神经网络可以有效的应用于人脸三维重建上，从而大大降低对拍摄工具和输入内容的要求。中国专利(201510406365.9)公开了一种实时人脸识别监视系统，包括监视系统及人脸识别系统，监视系统采集的视频信号经过本机压缩，通过网络输入至人脸识别系统；人脸识别系统主要包括人脸捕捉引擎、干扰还原引擎、人脸建模引擎、人脸比对引擎、数据库；计算机通过交换机连接监视系统；照片库存储原始比对照片；人脸捕捉引擎通过视频输入设备采集并获取视频或图像信息中含有人脸生物特征的2D人像；干扰还原引擎对捕捉到的2D人像进行修正还原；人脸建模引擎对采集到的符合建模条件的本文档来自技高网...

【技术保护点】
一种基于深度学习的人脸三维重建和人脸替换的视频编辑系统，其特征在于：由深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块构成；深度学习模块通过训练卷积神经网络，得到生成三维模型的必要参数；三维重建模块根据输入的人脸照片/视频得到对应的三维模型；视频预处理模块对目标视频进行处理进而得到每一帧所对应的人脸特征点及表情参数；二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；视频编辑模块将新的人脸替换到目标视频上，并平滑处理和光照条件调整。

【技术特征摘要】
1.一种基于深度学习的人脸三维重建和人脸替换的视频编辑系统，其特征在于：由深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块构成；深度学习模块通过训练卷积神经网络，得到生成三维模型的必要参数；三维重建模块根据输入的人脸照片/视频得到对应的三维模型；视频预处理模块对目标视频进行处理进而得到每一帧所对应的人脸特征点及表情参数；二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；视频编辑模块将新的人脸替换到目标视频上，并平滑处理和光照条件调整。2.基于权利要求1所述的视频编辑系统的方法，其特征在于，按照如下步骤：(1)在用户使用本系统之前，深度学习模块通过虚拟照片来训练卷积神经网络；(2)用户将目标人脸照片和目标视频输入本发明的系统中；(3)三维重建模块利用深度学习模块所训练出的卷积神经网络对人脸照片和目标视频里的人脸分别进行三维重建；(4)视频预处理模块对目标视频进行处理；(5)二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；(6)视频编辑模块将新的人脸替换到目标视频上。3.基于权利要求1所述的视频编辑系统的方法，其特征在于，所述步骤(1)如下：在用户使用本系统之前，需要对神经网络就行训练，以用于之后的三维重建部分；A.虚拟照片生成：用现有的小型三维人脸数据库，通过变换光照、角度生成大量虚拟照片；B.神经网络训练：构建一个卷...

【专利技术属性】
技术研发人员：徐迪，
申请(专利权)人：徐迪，
类型：发明
国别省市：陕西,61