基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法技术方案

本发明专利技术公开了一种基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法，由深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块构成；深度学习模块通过训练卷积神经网络，得到生成三维模型的必要参数；三维重建模块根据输入的人脸照片/视频得到对应的三维模型；视频预处理模块对目标视频进行处理进而得到每一帧所对应的人脸特征点及表情参数；二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；视频编辑模块将新的人脸替换到目标视频上，并平滑处理和光照条件调整。

【技术实现步骤摘要】
基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法
：本专利技术属于计算机领域，涉及一种三维重建及视频编辑系统，尤其是一种基于深度学习的人脸三维重建及人脸替换的视频编辑系统及方法。
技术介绍
：近年来，“阿凡达”式的虚拟角色生成技术被越来越多的应用在影视制作和电子游戏中。其中，面部重构的准确与否对虚拟角色尤为重要。实时的展现面部表情更是能让虚拟角色更加逼真。同时，深度学习的兴起使得过去难以解决的计算机视觉问题找到了新的突破口。经过一定训练的卷积神经网络可以有效的应用于人脸三维重建上，从而大大降低对拍摄工具和输入内容的要求。中国专利(201510406365.9)公开了一种实时人脸识别监视系统，包括监视系统及人脸识别系统，监视系统采集的视频信号经过本机压缩，通过网络输入至人脸识别系统；人脸识别系统主要包括人脸捕捉引擎、干扰还原引擎、人脸建模引擎、人脸比对引擎、数据库；计算机通过交换机连接监视系统；照片库存储原始比对照片；人脸捕捉引擎通过视频输入设备采集并获取视频或图像信息中含有人脸生物特征的2D人像；干扰还原引擎对捕捉到的2D人像进行修正还原；人脸建模引擎对采集到的符合建模条件的2D人像进行3D展开和3D建模，生成3D特征值；人脸比对引擎对获取的2D人像生成的3D特征值，与照片库中照片生成的3D特征值进行比对，得出比对结果。该专利的目的是人脸识别，虽然生成了三维模型，但是完全没有考虑三维模型的表情变化，无法做到表情嫁接，且不能用作视频编辑。中国专利(201310105220.6)公开了一种实时人脸检测算法，涉及人机自然交互技术，旨在提供一种占用较少系统资源且快速的人脸检测方法。本专利技术技术要点包括：整帧检测步骤：对输入图像进行整帧人脸检测，若未检测到人脸信息，则对下一帧图像进行整帧人脸检测，直到检测到人脸信息；记录整帧检测到的人脸区域步骤：记录人脸位于该帧图像的位置信息及人脸矩形大小，得到人脸区域；对所述整帧检测到具有人脸信息图像后的第1帧图像、第2帧图像、第3帧图像及第4帧图像依次进行预测位置检测步骤；重复上述各步骤处理后续的图像。该专利仅仅是单纯的二维人脸检测，并无生成三维模型，更没有同一张人脸的不同表情，也就无法做到表情嫁接，也不能用作视频编辑。如上所述，现有的技术要求使用额外硬件(如景深摄像头)，或是人脸替换过于简单，没有考虑到脸部三维模型和表情因素。而将以上步骤都能够达到实时标准的技术就更加匮乏。适合大众使用且效果逼真的人脸三维重建及人脸替换的视频编辑技术几乎是一片空白。
技术实现思路
：本专利技术的目的在于克服上述现有技术的缺点，提供基于深度学习的人脸三维重建及人脸替换的视频编辑系统及方法。用户只需要拍摄一张人脸照片，就可以通过本专利技术的深度学习系统得到所对应的三维模型，并且可以对一般视频(如访谈类视频)进行实时编辑，将此三维模型替换到原视频的人脸上。本专利技术通过如下步骤：1.用现有的小型三维人脸数据库在不同的虚拟光照下生成大量虚拟照片。2.通过这些虚拟照片来训练卷积神经网络，完成深度学习。3.将目标人脸照片输入进训练好的神经网络，得到对应的三维模型。4.将目标视频进行预处理，通过神经网络得到三维模型，并计算出每一帧的人脸特征点和表情参数。5.将步骤3所生成的三维人脸模型逐帧调整表情参数，每一帧生成相对应的人脸图片。6.将步骤5所生成的人脸图片逐帧替换到目标视频上，并进行平滑处理和光照条件调整，最终得到逼真的换脸视频。本专利技术的目的是通过以下技术方案来实现的：一种基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法，由深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块构成。深度学习模块通过训练卷积神经网络，得到生成三维模型的必要参数；三维重建模块根据输入的人脸照片/视频得到对应的三维模型；视频预处理模块对目标视频进行处理进而得到每一帧所对应的人脸特征点及表情参数；二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；视频编辑模块将新的人脸替换到目标视频上，并平滑处理和光照条件调整。所述的三维重建和视频编辑方法，按照如下步骤：(1)在用户使用本系统之前，深度学习模块通过虚拟照片来训练卷积神经网络；(2)用户将目标人脸照片和目标视频输入本专利技术的系统中；(3)三维重建模块利用深度学习模块所训练出的卷积神经网络对人脸照片和目标视频里的人脸分别进行三维重建；(4)视频预处理模块对目标视频进行处理；(5)二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；(6)视频编辑模块将新的人脸替换到目标视频上。所述步骤(1)如下：在用户使用本系统之前，需要对神经网络就行训练，以用于之后的三维重建部分。(注：此步骤只需进行一次，无需反复训练)A.虚拟照片生成：用现有的小型三维人脸数据库，通过变换光照、角度生成大量虚拟照片；B.神经网络训练：构建一个卷积神经网络，并使用三维人脸及其对应的虚拟照片进行训练。所述步骤(4)如下：对于目标视频中的每一帧，需要计算并生成人脸的特征点和表情参数。A.人脸特征点生成：可按标准的人脸68个特征点就行实时标注；B.人脸表情参数计算：根据步骤(3)所生成的三维模型，利用巴塞尔人脸模型(BaselFaceModel)对视频中每一帧所对应的表情参数就行计算。所述步骤(5)如下：将步骤(3)所生成的三维模型与步骤(4)生成的特征点与参数进行比对，逐帧生成新的二维图片。每张图片经过如下处理：A.方向与尺度调整：将三维模型与原视频里的二维图片通过脸部特征点进行调整、对齐，使两张脸尽可能重合；B.表情嫁接：根据原视频里的表情参数对三维模型进行形变调整；C.三维投影：将经过对齐、表情调整后的三维模型投射到二维图片上，得到新的二维图片作为脸部贴图。所述步骤(6)如下：用新的人脸逐帧替换到目标视频上的原有人脸。A.初步替换：首先，将视频中的原有的人脸替换成步骤(5)所生成的人脸贴图；B.平滑处理：将人脸边缘进行平滑及颜色模糊处理，避免出现颜色突变等失真现象；C.光照调整：直接剪接产生的新人脸和原有人脸会有光照不符的情况，因此我们需要将原有光照作用于新的人脸上，从而达到逼真的换脸。本专利技术的有益效果：A.通过深度学习训练一个神经网络，使得单张人脸图片也能快速生成高精度的三维人脸模型。B.通过巴塞尔人脸模型(BaselFaceModel)的表情参数实现表情嫁接，进而进行视频编辑，达到实时且逼真的换脸效果。附图说明：图1为本专利技术的系统示意图。图2为本专利技术的迭代误差反馈流程图。具体实施方式：下面结合附图对本专利技术做进一步详细描述：如图1所示，本专利技术包含为深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块。1.在用户使用本系统之前，深度学习模块通过虚拟照片来训练卷积神经网络。此训练步骤在后台进行，且只需要一次。深度学习需要大量数据来进行训练，而大规模的人脸数据库又不存在，因此我们首先需要借助现存的小型数据库生成大量虚拟人脸数据库。具体步骤包括：A.虚拟照片生成：借助现有的小型三维人脸数据库，将每个三维模型在不同的角度虚拟摄像机和虚拟光照条件下，通过三维到二维的映射，生成大量虚拟照片。对于每组虚拟照片，虽然它们是由相同的三维模型生成，但是本文档来自技高网...

【技术保护点】
一种基于深度学习的人脸三维重建和人脸替换的视频编辑系统，其特征在于：由深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块构成；深度学习模块通过训练卷积神经网络，得到生成三维模型的必要参数；三维重建模块根据输入的人脸照片/视频得到对应的三维模型；视频预处理模块对目标视频进行处理进而得到每一帧所对应的人脸特征点及表情参数；二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；视频编辑模块将新的人脸替换到目标视频上，并平滑处理和光照条件调整。

【技术特征摘要】
1.一种基于深度学习的人脸三维重建和人脸替换的视频编辑系统，其特征在于：由深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块构成；深度学习模块通过训练卷积神经网络，得到生成三维模型的必要参数；三维重建模块根据输入的人脸照片/视频得到对应的三维模型；视频预处理模块对目标视频进行处理进而得到每一帧所对应的人脸特征点及表情参数；二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；视频编辑模块将新的人脸替换到目标视频上，并平滑处理和光照条件调整。2.基于权利要求1所述的视频编辑系统的方法，其特征在于，按照如下步骤：(1)在用户使用本系统之前，深度学习模块通过虚拟照片来训练卷积神经网络；(2)用户将目标人脸照片和目标视频输入本发明的系统中；(3)三维重建模块利用深度学习模块所训练出的卷积神经网络对人脸照片和目标视频里的人脸分别进行三维重建；(4)视频预处理模块对目标视频进行处理；(5)二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；(6)视频编辑模块将新的人脸替换到目标视频上。3.基于权利要求1所述的视频编辑系统的方法，其特征在于，所述步骤(1)如下：在用户使用本系统之前，需要对神经网络就行训练，以用于之后的三维重建部分；A.虚拟照片生成：用现有的小型三维人脸数据库，通过变换光照、角度生成大量虚拟照片；B.神经网络训练：构建一个卷...

【专利技术属性】
技术研发人员：徐迪，
申请(专利权)人：徐迪，
类型：发明
国别省市：陕西,61