一种基于单个参考视频的人脸视频光影迁移生成方法技术

本发明专利技术公开了一种基于单个参考视频的人脸视频光影迁移生成方法，属于虚拟现实和计算机视觉领域。给定一段近似均匀光照下的正面人脸视频(目标视频)和一段变光照条件下的人脸视频(参考视频)，将参考视频的脸部光影效果迁移至目标视频，生成与参考视频光照效果相似、逼真的视频。本发明专利技术包括：目标关键帧的光照信息迁移和目标非关键帧光照信息传播。其中目标关键帧的光照效果迁移包括：目标关键帧与目标参考关键帧对齐、边缘保持平滑、皮肤区域光照信息提取、非皮肤区域光照信息插值。本发明专利技术可广泛应用推广到影视后期制作、个人视频编辑等应用场景。

【技术实现步骤摘要】

本专利技术涉及虚拟现实和计算视觉领域，具体的说是一种基于单个参考视频的人脸表情视频光照迁移方法。
技术介绍
基于视频素材的虚实融合技术是虚拟现实技术的重要组成部分。由于构成虚拟场景与场景对象可能来自不同的素材，场景对象和场景的光照效果可能会存在较大的差异，然而虚实融合场景需要场景与场景对象具有一致的光照效果。然而在场景对象采集过程中无法预知场景的光照条件进而无法根据场景光照条件设置采集环境的光照条件。一种可行方案是在均匀光照条件下采集场景对象视频，然后在场景虚实融合过程中将所需要的光照条件迁移到场景对象。视频场景对象的光照迁移问题，即如何将带有场景光照条件的人脸视频迁移到拍摄于均匀光照条件下的参考人脸表情视频，是目前急需解决的问题。目前，有一种人脸视频光影迁移方法。2007年南加州大学的Peers等采用了一种基于关键帧的人脸视频对象光照迁移方法，通过采集静态参考人脸对象在不同光照条件下反射场。并利用同一对象在不同光照条件下的人脸图像与在正面均匀光照条件下的人脸图像之间比值，构建相应光照条件下关键帧的商图。然后计算目标帧图像与前后关键帧图像间的光流，接着利用光流变形前后关键帧商图得到本文档来自技高网...

【技术保护点】
一种基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，包括：步骤1、选取与目标视频的时间长度相同的参考视频，在目标视频中每隔n帧选取一帧为目标关键帧，在参考视频中每隔n帧选取一帧为参考关键帧，其中n为奇数；步骤2、选取和定位目标关键帧的特征点和参考关键帧的特征点；步骤3、计算两个相邻参考关键帧的光照信息差异，如果两个相邻参考关键帧的光照信息差异大于参考关键帧规定域值，则将这两个相邻的参考关键帧之间的中间参考非关键帧选为参考关键帧，并将与该中间参考非关键帧的时刻相同的目标非关键帧选为目标关键帧；计算两个相邻目标关键帧的表情差异，如果这两个相邻的目标关键帧的表情差异大于目标关键帧规定域值，则...

【技术特征摘要】

【专利技术属性】
技术研发人员：陈小武，吴洪宇，赵沁平，杨梦夏，方志宏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：