用于编辑面部图像的方法和设备技术

本发明专利技术涉及用于对图像中的面部表情进行编辑的方法，该方法包括：编辑脸部的3D网格模型以修改面部表情，以及生成与经修改的模型相对应的新的图像，从而提供具有经修改的面部表情的图像。

Method and apparatus for editing face images

The present invention relates to a method for editing images in facial expression, the method includes: 3D mesh editing to modify facial facial expressions, and model generation and modified corresponding to the new image, thus providing images with modified facial expressions.

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于编辑图像的方法和设备。具体地，本专利技术涉及用于编辑图像中的面部表情的方法和设备，但不完全如此。
技术介绍
人脸是捕获到的图像和视频中的重要主题。可以在各种场景(例如，在室内派对场景中或旅游景点前面摆造型)中捕获到人脸。然而，通常没有适当地捕获适合实际情形的人脸表情。在这种情形中，需要图片编辑软件来对面部表情进行修改。可能需要额外的图像来合成例如使人张开嘴或微笑的新表情。然而，这种工作非常繁琐，并且需要使用者具有大量时间和技巧。同时，编辑面部表情是最常见的图片编辑需求之一。在视频情形中，为使得编辑不产生时序伪迹和抖动，编辑面部表情甚至更难。通常，需要在每个时步对准确的3D模型进行注册，这需要专用的捕获设置或耗费大量计算时间的复杂算法。考虑到以上情形设计了本专利技术。
技术实现思路
一般来说，本专利技术涉及用于编辑图像中的面部表情的方法，该方法包括：编辑脸部的3D网格模型以修改面部表情，以及生成与经修改的模型相对应的新的图像，从而提供具有经修改的面部表情的图像。本专利技术的一方面提供了通过将公共网格模板模型注册到捕获的脸部视频来收集多个脸部区域的肌理数据库的方法。本专利技术的另一方面提供了通过在不同的脸部区域中选择最适当的面部表情来产生复合图像的方法。本专利技术的另一方面提供了应用局部变形来对所合成的复合图像中的投影变换进行校正的方法。本专利技术的另一方面提供了对脸部肌理数据库进行组织和索引并选择与面部表情相对应的最接近的肌理的方法。本专利技术的另一方面提供了通过将3D脸部模型操作为代理来执行RGB脸部图像编辑的方法。本专利技术的另一方面提供了通过将3D脸部模型编辑为代理来同时使多个脸部图像形成同一面部姿态的方法。本专利技术的另一方面涉及对图像中的面部表情进行编辑的方法，该方法包括：使用融合变形模型来对脸部的变形空间进行参数化；从与3D面部表情改变相对应的各个面部区域建立图像肌理的数据库；通过对从数据库读取的、来自不同的面部区域的适当的图像肌理进行复合来生成新的面部图像。本专利技术的另一方面提供了对描绘面部表情的图像进行编辑的方法，该方法包括：提供不同的面部区域的图像块的数据库；对注册到待编辑的图像的面部模型进行编辑；根据修改从数据库选择块，并从块生成复合图像。本专利技术的另一方面提供了对图像中的面部表情进行编辑的设备，该设备包括存储器和与该存储器通信的至少一个处理器，存储器包括指令，当该指令被处理器执行时使得设备执行以下操作：编辑脸部的3D网格模型以修改面部表情；生成与经修改的模型相对应的新的图像，从而提供具有经修改的面部表情的图像。本专利技术的另一方面提供用于对图像中的面部表情进行编辑的设备，该设备包括存储器和与存储器通信的至少一个处理器，存储器包括指令，当该指令被处理器执行时使得设备执行以下操作：访问不同的面部区域的图像块的数据库；对注册到待编辑的图像的面部模型进行编辑；根据修改从数据库选择块，以及从块生成复合图像。本专利技术的实施例提供了对采用简单的单眼摄像机捕获的脸部视频进行编辑的方法。在预处理阶段，假设对视频应用脸部跟踪算法并且随时间对面部表情注册3D网格模型。然后，在运行时，用户直接编辑脸部的3D网格模型并合成与3D面部表情相对应的新的视觉图像。通过使用线性化融合变形模型并从与3D表情改变相对应的各个面部区域收集图像肌理的数据库来对变形空间进行参数化。通过参考数据库从不同的脸部区域复合最适当的肌理来生成新的脸部图像。这样，提供了一种快速的方式来在给定的输入脸部图像中编辑并合成新的面部表情。存在针对基于脸部模型的视频编辑的若干种应用。可以用快速且简单的方式对一般消费者拍录的家庭视频和照片进行编辑来显示新的面部表情。根据本专利技术的实施例的脸部合成技术也可以应用于编辑演员的表情来用于电影的后期制作。也作为通信代理应用于心理学研究以及创建虚拟人阿凡达。由本专利技术的元件实施的一些处理可以由计算机来实现。因此，这种元件可以采用全硬件实施例、全软件实施例(包括固件、常驻软件、微代码、等)、或本文中一般称之为“电路”、“模块”、或“系统”的合并软件和硬件方面的实施例的形式。此外，这种元件可以采用在任何有形的表达介质中实施的计算机程序产品的形式，该有形的表达介质中具有在该介质中实施的计算机可用程序代码。由于本专利技术的元件可以在软件中实现，本专利技术可以被实施为计算机可读代码，用于提供任何适当的承载介质上的可编程装置。有形承载介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备以及类似物。暂态承载介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如，微波或RF信号)之类的信号。附图说明现在将仅通过示例的方式并参考以下附图来描述本专利技术的实施例，在附图中：图1是示出根据本专利技术的实施例的编辑图像的方法的步骤的流程图；图2示出根据本专利技术的实施例的、针对不同的面部区域并关于不同的表情的数据库中的一组肌理的示例；图3示出根据本专利技术的实施例的通过拖动顶点来改变3D网格模型上的面部表情；图4示出与用户编辑相对应的在不同区域中选择的块的示例；图5示出根据本专利技术的实施例的合成新的面部表情的示例；图6示出根据本专利技术的实施例的对不同参与者的新的面部表情的示例合成；图7示出根据本专利技术的实施例的图像处理设备。具体实施方式图1是示出根据本专利技术的实施例的对描绘面部表情的图像进行编辑的方法的步骤的流程图。在步骤S101中，通过使用预处理步骤S100中执行的面部模型图像注册方法来建立面部图像块的肌理数据库，其中面部图像块与各种面部表情中的不同面部区域相对应。步骤S100中应用的面部模型图像注册方法包括输入捕获的脸部图像的单眼脸部视频序列并跟踪图像序列中人脸的面部特征点。捕获的图像序列描绘随时间变化的各种面部表情，例如，发怒、大笑、谈话、微笑、眨眼、挑眉的面部表情以及正常的面部表情。图2的列(A)中示出了图像序列的示例。可以应用例如稀疏空间特征跟踪算法来跟踪图像序列中的面部特征点(例如，鼻尖、嘴角、眼睛等)。图2的列(B)中的图像指示面部特征点的示例。对面部特征点的跟踪产生视频序列的每个时步(帧)处的摄像机投影矩阵以及示出不同的面部特征点的一组稀疏的3D点。该处理包括应用被参数化的人脸的3D网格融合变形模型，从而在不同的面部表情间进行融合。将这些面部表情中的每一个表情称之为融合变形目标。融合变形目标间加权的线性融合产生任意的面部表情。在形式上，将脸部模型表示为含有所有的顶点坐标的列向量F，其中所有的顶点坐标具有任意但固定的如xyzxyz…xyz这样的顺序。类似地，可以用bk来表示第k个融合变形目标，并且融合变形模型由以下等式给出：任意权重wk基本上定义了融合变形目标bk的跨度并且当结合起来时它们定义了被建模的脸部F的表情范围。可以将所有的融合变形目标作为矩阵B的列并且将权重排列为单个向量w，这样得到由以下等式表示的融合变形模型：F＝Bw因此得到3D脸部模型F，其在经受一些刚性和非刚性变换之后，可以在先前获得的一组稀疏的3D面部特征点之上被注册。然后应用将该3D脸部融合变形模型注册到先前的稀疏面部特征点的输出的方法，其中输入视频中的人与网格模板模型相比具有非常不同的生理特征。在图2的列(C)中示出了所收集的肌理图像块的示例。这些肌理中的每本文档来自技高网...

【技术保护点】
一种编辑面部图像的方法，其中该面部图像描绘了具有面部表情的脸部的至少一部分，该方法包括：编辑注册到所述面部图像的3D网格模型，以修改所述面部表情；生成与经编辑的模型相对应的新的面部图像，从而提供具有经修改的面部表情的新的面部图像；其中所述新的面部图像是通过对选择的面部图像块进行复合而生成的，所述面部图像块根据经编辑的3D网格模型被选择。

【技术特征摘要】
【国外来华专利技术】2014.08.29 EP 14306336.0;2015.06.10 EP 15305883.91.一种编辑面部图像的方法，其中该面部图像描绘了具有面部表情的脸部的至少一部分，该方法包括：编辑注册到所述面部图像的3D网格模型，以修改所述面部表情；生成与经编辑的模型相对应的新的面部图像，从而提供具有经修改的面部表情的新的面部图像；其中所述新的面部图像是通过对选择的面部图像块进行复合而生成的，所述面部图像块根据经编辑的3D网格模型被选择。2.如权利要求1所述的方法，其中，所述面部图像块是从收集自所述脸部的捕获图像的序列的面部图像块的数据库中选择的，每个面部图像块与所述序列中给定时间处的所述脸部的一部分相对应。3.如权利要求2所述的方法，其中，所述捕获图像的序列被注册到公共网格模板模型。4.如任何在前的权利要求所述的方法，包括对所述3D网格模型应用局部变形，以对所述新的面部图像中的投影变换进行校正。5.如任何在前的权利要求所述的方法，其中，所述3D网格模型是被参数化以在不同的面部表情间进行融合的融合变形模型。6.如任何在前的权利要求所述的方法，包括通过将3D脸部模型操作为代理来执行RGB脸部图像编辑。7.如任何在前的权利要求所述的方法，包括通过将3D脸部模型编辑为代理来同时使多个脸部图像形成同一面部姿态。8.一种用于编辑脸部的至少一部分...

【专利技术属性】
技术研发人员：基兰·瓦拉纳西，普拉维尔·辛格，弗朗索瓦·勒·卡洛卡，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR