一种基于单个参考视频的人脸视频光影迁移生成方法技术

本发明专利技术公开了一种基于单个参考视频的人脸视频光影迁移生成方法，属于虚拟现实和计算机视觉领域。给定一段近似均匀光照下的正面人脸视频(目标视频)和一段变光照条件下的人脸视频(参考视频)，将参考视频的脸部光影效果迁移至目标视频，生成与参考视频光照效果相似、逼真的视频。本发明专利技术包括：目标关键帧的光照信息迁移和目标非关键帧光照信息传播。其中目标关键帧的光照效果迁移包括：目标关键帧与目标参考关键帧对齐、边缘保持平滑、皮肤区域光照信息提取、非皮肤区域光照信息插值。本发明专利技术可广泛应用推广到影视后期制作、个人视频编辑等应用场景。

【技术实现步骤摘要】

本专利技术涉及虚拟现实和计算视觉领域，具体的说是一种基于单个参考视频的人脸表情视频光照迁移方法。
技术介绍
基于视频素材的虚实融合技术是虚拟现实技术的重要组成部分。由于构成虚拟场景与场景对象可能来自不同的素材，场景对象和场景的光照效果可能会存在较大的差异，然而虚实融合场景需要场景与场景对象具有一致的光照效果。然而在场景对象采集过程中无法预知场景的光照条件进而无法根据场景光照条件设置采集环境的光照条件。一种可行方案是在均匀光照条件下采集场景对象视频，然后在场景虚实融合过程中将所需要的光照条件迁移到场景对象。视频场景对象的光照迁移问题，即如何将带有场景光照条件的人脸视频迁移到拍摄于均匀光照条件下的参考人脸表情视频，是目前急需解决的问题。目前，有一种人脸视频光影迁移方法。2007年南加州大学的Peers等采用了一种基于关键帧的人脸视频对象光照迁移方法，通过采集静态参考人脸对象在不同光照条件下反射场。并利用同一对象在不同光照条件下的人脸图像与在正面均匀光照条件下的人脸图像之间比值，构建相应光照条件下关键帧的商图。然后计算目标帧图像与前后关键帧图像间的光流，接着利用光流变形前后关键帧商图得到目标帧，混合后得到目标帧商图，最后利用目标帧商图完成目标帧图像的光照迁移。该方法能够生成逼真的光照迁移结果，但该方法需要昂贵和复杂的采集设备，对于普通用户难以实现。有一些基于图像的人脸图像光照迁移方法。2009年休斯顿大学李青等提出了一种基于LTV (Logarithmic Total Variation)模型的人脸光照迁移技术,能够把参考人脸的光照迁移到目标人脸上去。该方法无需知道人脸的几何和光照信息。通过将人脸图像分解为光照信息和光照信息无关的人脸特征两个部分。并利用参考图像的光照信息替换目标图像的光照信息实现光照迁移。首先利用几何变形技术对参考人脸变形；然后将目标人脸和变形后的参考人脸都分解成为依赖于光照的部分和不依赖于光照的部分；最后通过交换两幅人脸图像依赖于光照的部分，得到目标对象光照迁移结果。该方法仅需要一幅参考图像用于光照迁移，并能处理彩色图像与灰度图像的光照迁移。2010年清华大学的陈健生等提出了一种基于局部约束与全局优化的人脸重光照方法。该方法通过局部线性调整保证光照信息的平滑性并通过相互重叠窗口来实现整个图像全局优化。2011年北京航空航天大学的陈小武等提出了一种基于边缘保持测人脸光照迁移方法。首先自动检测或者手工标记图像对象的征点，并通过图像变形方法将参考图像对象对齐到目标图像对象并将图像的明度与色度进行分离，只对明度进行处理，而保持色度的不变；然后利用加权最小二乘滤波器将图像分解为大尺度层图像 和细节层图像；最后将滤波后的大尺度图像与目标对象的细节层混合得到光照迁移结果的明度图像，再与目标对象的颜色层混合得到光照迁移结果。以上基于图像的方法都没考虑到视频间的平滑过渡关系以及参考帧与目标帧的表情差异。
技术实现思路
本专利技术设计开发了 。本专利技术利用单个的与目标视频时间长度相同的参考视频，将参考视频的光照信息迁移到目标视频上。本专利技术提供的技术方案为:—种基于单个参考视频的人脸视频光影迁移生成方法，包括:步骤1、选取与目标视频的时间长度相同的参考视频，在目标视频中每隔η帧选取一中贞为目标关键巾贞，在参考视频中每隔η巾贞选取一巾贞为参考关键巾贞，其中η为奇数；步骤2、选取和定位目标关键帧的特征点和参考关键帧的特征点；步骤3、计算两个相邻参考关键帧的光照信息差异，如果两个相邻参考关键帧的光照信息差异大于参考关键帧规定域值，则将这两个相邻的参考关键帧之间的中间参考非关键帧选为参考关键帧，并将与该中间参考非关键帧的时刻相同的目标非关键帧选为目标关键帧，计算两个相邻目标关键巾贞的表情差异，如果这两个相邻的目标关键巾贞的表情差异大于目标关键帧规定域值，则将这两个目标关键帧之间的中间目标非关键帧选为目标关键帧，并将与该中间目标非关键帧的时刻相同的参考非关键帧选为参考关键帧，若有新的目标关键帧和参考关键帧产生，则选取和定位新的目标关键帧的特征点和新的参考关键帧的特征点；步骤4、根据目标关键巾贞的特征点和参考关键巾贞的特征点，对齐目标关键巾贞与参考关键巾贞;步骤5、将参考关键帧的光照信息迁移到目标关键上；步骤6、将相邻两个目标关键帧上的光照信息传播到这两个相邻目标关键帧之间的非目标关键帧上。优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤2中的参考关键帧和目标关键帧的特征点包括:人脸皮肤区域的特征点和人脸非皮肤区域边界轮廓特征点。优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤3为利用相邻两个参考关键帧的阴影区域面积差异来定量计算这两个相邻参考关键帧的光照息差异；利用两相邻目标关键帧的特征点之间的位置差异定量计算这两个相邻目标关键帧上的表情差异。优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤3中所述的参考关键帧规定域值为小于等于参考关键帧中人脸部区域面积值的1/8到大于等于参考关键帧中人脸部区域面积值的1/12的任一值；所述的目标关键帧规定域值为小于等于目标关键帧中人脸部区域宽度值的1/8到大于等于目标关键帧中人脸部区域宽度值的1/12的任一值。优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤5采用以下方式实现:利用边缘保持滤波器除去目标关键帧的人脸皮肤区域的和与该目标关键帧对齐的参考关键帧的人脸皮肤区域的与光照信息无关的信息，用滤波后的参考关键帧除以滤波后的与该参考关键巾贞对齐的目标关键巾贞，得与该参考关键巾贞对齐的目标关键巾贞的人脸的皮肤区域的光照信息；根据目标关键帧的人脸非皮肤区域边界轮廓特征点对该目标关键帧的人脸非皮肤区域进行三角剖分，根据三角剖分结果对该目标关键帧的非皮肤区域进行光照信息插值。优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤6采用以下方式实现:计算两个相邻的目标关键帧与这两个相邻目标关键帧之间的目标非关键帧的帧间对应关系；利用这两个相邻目标关键帧与这两个目标关键帧之间的目标非关键帧的帧间对应关系，将这两个相邻目标关键帧的光照信息对齐到这两个目标关键帧之间的目标非关键帧上；将对齐后的这两个相邻目标关键帧的光影信息线性组合，得到这两个相邻目标关键帧之间的目标非关键帧的光影信息。本专利技术针对目前的视频场景对象的光照迁移技术存在的问题，设计了一种基于单个参考视频的人脸视频光影 迁移生成方法，本专利技术使用单个参考视频就能实现，降低了具体操作的技术难度也节省了成本；本专利技术中通过将参考视频中的参考关键帧与目标视频中的目标关键帧对齐，并通过多次计算将参考视频的光照信息迁移到目标视频上，使得在参考视频与目标视频表情差别比较大的情况下，依然能生成逼真的光照迁移效果，同时也避免了光影抖动现象。附图说明图1为本专利技术所述的基于单个参考视频的人脸视频光影迁移生成方法的总流程示意图。图2为本专利技术所述的基于单个参考视频的人脸视频光影迁移生成方法中的参考关键帧的光照信息迁移到目标关键帧上的流程图。图3为本专利技术所述的基于单个参考视频的人脸视频光影迁移生成方法中的目标关键帧非皮肤区域插入值示意图。图4为本专利技术所述的基于单个参本文档来自技高网...

【技术保护点】
一种基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，包括：步骤1、选取与目标视频的时间长度相同的参考视频，在目标视频中每隔n帧选取一帧为目标关键帧，在参考视频中每隔n帧选取一帧为参考关键帧，其中n为奇数；步骤2、选取和定位目标关键帧的特征点和参考关键帧的特征点；步骤3、计算两个相邻参考关键帧的光照信息差异，如果两个相邻参考关键帧的光照信息差异大于参考关键帧规定域值，则将这两个相邻的参考关键帧之间的中间参考非关键帧选为参考关键帧，并将与该中间参考非关键帧的时刻相同的目标非关键帧选为目标关键帧；计算两个相邻目标关键帧的表情差异，如果这两个相邻的目标关键帧的表情差异大于目标关键帧规定域值，则将这两个目标关键帧之间的中间目标非关键帧选为目标关键帧，并将与该中间目标非关键帧的时刻相同的参考非关键帧选为参考关键帧；若有新的目标关键帧和参考关键帧产生，则选取和定位新的目标关键帧的特征点和新的参考关键帧的特征点；步骤4、根据目标关键帧的特征点和参考关键帧的特征点，对齐目标关键帧与参考关键帧；步骤5、将参考关键帧的光照信息迁移到目标关键上；步骤6、将相邻两个目标关键帧上的光照信息传播到这两个相邻目标关键帧之间的非目标关键帧上。...

【技术特征摘要】

【专利技术属性】
技术研发人员：陈小武，吴洪宇，赵沁平，杨梦夏，方志宏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：