一种基于实时视频本征分解的人脸外观编辑方法技术

本发明专利技术公开了一种基于实时视频本征分解的人脸外观编辑方法，在视频播放之前，用户先在参考人脸图像的本征albedo层和shading层做编辑；在视频播放时，这些编辑会被实时传递到视频流的人脸对应的层上。该技术主要分为如下三个步骤：参考人脸图像的处理、视频流的实时本征分解、和视频流的人脸外观编辑。本发明专利技术首次提出了在实时视频中进行本征分解的技术，利用此技术可以在实时视频中实现多种人脸外观编辑，如去除人脸皱纹，改变环境光照，色调传递等。

【技术实现步骤摘要】

本专利技术涉及计算机视频处理领域，尤其涉及一种对人脸实时视频流进行本征分解和外观编辑的方法。
技术介绍
关于人脸图像的编辑已经有很多研究工作，如不同人脸的替换(BITOUK,D.,KUMAR,N.,DHILLON,S.,BELHUMEUR,P.N.,AND NAYAR,S.K.2008.Face Swapping:Automatically Replacing Faces in Photographs.ACM Trans.Graph.27,3,39.)和将人脸变形到更具吸引力的人脸结构(LEYVAND,T.,COHEN-OR,D.,DROR,G.,AND LISCHINSKI,D.2008.Data-driven enhancement of facial attractiveness.ACM Trans.Graph.27,3,38.)。和这些改变人脸的工作不同，本专利技术的目的是编辑人脸外观。另一类编辑工作是合成人脸器官来改变表情(YANG,F.,WANG,J.,SHECHTMAN,E.,BOURDEV,L.,AND METAXAS,D.2011.Expression flow for 3d-aware face component transfer.ACM Trans.Graph.30,4,60.)，但此类工作无法直接用于视频流。跟本工作更相关的工作是人脸图像的化妆。一类方法是使用反射模型渲染彩妆，该方法需要精细的人脸几何和皮肤散射模型的计算(SCHERBAUM,K.,RITSCHEL,T.,HULLIN,M.,THORM¨A HLEN,T.,BLANZ,V.,AND SEIDEL,H.-P.2011.Computer-suggested facial makeup.Computer Graphics Forum 30,2,485–492.)(HUANG,C.-G.,LIN,W.-C.,HUANG,T.-S.,AND CHUANG,J.-H.2013.Physically-based cosmetic rendering.In Proceedings of I3D’13,190.)。其它方法直接改变图像的RGB值，如alpha通道混合(LIU,L.,XU,H.,XING,J.,LIU,S.,ZHOU,X.,AND YAN,S.2013.”wow！you are so beautiful today！”.In Proceedings of the 21st ACM International Conference on Multimedia,3–12.)和梯度编辑(TONG,W.-S.,TANG,C.-K.,BROWN,M.S.,AND XU,Y.-Q.2007.Example-based cosmetic transfer.In Proc.Pacific Graphics,211–218.)。由于没有将图像进行本征分解，这些方法的可实施的保证真实性的编辑是有限的。2009年的一个工作将人脸图像分解成了结构层、细节层和色差层(GUO,D.,AND SIM,T.2009.Digital face makeup by example.In Proc.IEEE CVPR’09,73–79.)，但是此分解不是准确的本征分解。在视频的本征分解方面，因为数据量巨大，处理速度很重要。有的技术假设视频的albedo
时序上为定值而shading缓慢变化(KONG,N.,GEHLER,P.V.,AND BLACK,M.J.2014.Intrinsic video.In Proc.ECCV’14,360–375.)；它的目标函数定义在整个视频序列上，计算时间随着帧数增加而线性增加，无法实现用户交互。采用预计算的查找表的方法可以实现逐帧的本征分解(BONNEEL,N.,SUNKAVALLI,K.,TOMPKIN,J.,SUN,D.,PARIS,S.,AND PFISTER,H.2014.Interactive intrinsic video editing.ACM Trans.Graph.33,6,197.)，该查找表记录了本证分解问题的混合l2-lp形式的预计算的解。使用该方法可以在交互级别的速度实现视频本征分解，但是用户需要在帧中间添加标记来改善分解；这就不适合于实况视频的应用，因为实况视频需要达到实时的处理速率。比起逐帧计算完整的分解，有的方法将第一帧的分解扩散到后续帧(YE,G.,GARCES,E.,LIU,Y.,DAI,Q.,AND GUTIERREZ,D.2014.Intrinsic video and applications.ACM Trans.Graph.33,4,80.)。该方法建立了基于时间连续性和像素属于哪个颜色聚类的可能性的概率框架。扩散在视频流中按正序和反序进行，得到高质量结果。但是该方法的计算速度适用于视频后处理，不适合实况视频的处理。本专利技术同样采用了基于扩散的分解方法，但是利用人脸的结构和近期人脸分析的工具达到了实时的高精度扩散。近期有专门的工作用于计算人脸的本征图像估计(LI,C.,ZHOU,K.,AND LIN,S.2014.Intrinsic face image decomposition with human face priors.In Proc.ECCV’14,218–233.)。该方法使用皮肤反射和人脸几何作为先验知识来提升分解正确率。该方法可以达到当前技术最好的结果，但是计算量巨大；而且它只考虑了人脸皮肤区域，没有考虑头发和脖子，而这些区域是本专利技术可以编辑的区域。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出了一种基于实时视频本征分解的人脸外观编辑方法。本专利技术通过建立起视频流各帧和参考人脸图像的各个区域的对应关系，将离线阶段的参考人脸图像高精度的本征分解传递给视频流各帧，并按照同样方法将相应的编辑传递给各帧，从而可以实现实况视频的人脸外观编辑。该专利技术首次达到了视频的实时本征分解，并利用人脸的结构特征，取到了比现有视频分解技术更好的效果，具有很高的实用价值。本专利技术的目的是通过以下技术方案实现的，一种基于实时视频本征分解的人脸外观编辑方法，包括以下步骤：(1)离线参考人脸图像的处理：将参考图像进行高质量本征分解和区域分割，计算各区域的颜色模型和结构模型，并构建albedo查询表。(2)视频流的实时本征分解：为视频流的当前帧找出和步骤1得到的参考图像各区域相
对应的区域，再利用步骤1的albedo查询表传递本征值到视频帧上；(3)人脸外观编辑：根据步骤2得到的视频帧与参考图像的区域对应关系，以及本征分解的结果，将在参考图像的本征层上的编辑传递到视频帧上。本专利技术的有益效果是，本专利技术通过传递参考人脸图像的区域分割和本征分解，可以有效降低视频流本征分解的计算开销，大大提高本征分解效率同时保证高准确度。本专利技术首次提出了针对人脸视频的实时本征分解和外观编辑方法，通过将处理对象限制在人脸，并借助人脸的结构信息，可取得比当前技术更好的效果。本专利技术具有通用性强、使用简便等优点。附图说明图1是实时的视频帧的区域分割和本征分解图，从左到右：输入视频帧，跟踪的人脸特本文档来自技高网...

【技术保护点】
一种基于实时视频本征分解的人脸外观编辑方法，其特征在于，包括如下步骤：(1)离线参考人脸图像的处理：将参考图像进行高质量本征分解和区域分割，计算各区域的颜色模型和结构模型，并构建albedo查询表。(2)视频流的实时本征分解：为视频流的当前帧找出和步骤1得到的参考图像各区域相对应的区域，再利用步骤1的albedo查询表传递本征值到视频帧上。(3)人脸外观编辑：根据步骤2得到的视频帧与参考图像的区域对应关系，以及本征分解的结果，将在参考图像的本征层上的编辑传递到视频帧上。

【技术特征摘要】
1.一种基于实时视频本征分解的人脸外观编辑方法，其特征在于，包括如下步骤：(1)离线参考人脸图像的处理：将参考图像进行高质量本征分解和区域分割，计算各区域的颜色模型和结构模型，并构建albedo查询表。(2)视频流的实时本征分解：为视频流的当前帧找出和步骤1得到的参考图像各区域相对应的区域，再利用步骤1的albedo查询表传递本征值到视频帧上。(3)人脸外观编辑：根据步骤2得到的视频帧与参考图像的区域对应关系，以及本征分解的结果，将在参考图像的本征层上的编辑传递到视频帧上。2.根据权利要求1所述的基于实时视频本征分解的人脸外观编辑方法，其特征在于，所述步骤1包括如下子步骤：(1.1)选择拍摄环境和视频流一致的参考图像，使用自动或交互式方法取得高质量的本征分解结果。(1.2)将参考图像分割为各个语义区域，分割后的语义区域按照分层结构进行组织。(1.3)为步骤1.2分割出的各区域构造本征albedo查询表，为像素颜色和albedo值建立映射。(1.4)为步骤1.2分割出的各区域建立颜色概率模型和...

【专利技术属性】
技术研发人员：周昆，柴蒙磊，翁彦琳，陈凯迪，邵天甲，
申请(专利权)人：浙江大学，联想北京有限公司，
类型：发明
国别省市：浙江;33