用于从面部图像提取颜色的方法和系统技术方案

一种电子装置，执行从对象(例如，现实生活中的人)的二维(2D)面部图像提取颜色的方法，该方法包括：基于关键点预测模型，识别2D面部图像中的多个关键点；旋转2D面部图像，直到来自所识别的多个关键点中的多个目标关键点与标准面部的对应目标关键点对齐；在旋转后的2D面部图像中定位多个部分，每个部分由所识别的多个关键点的相应子集限定；根据2D面部图像的像素值提取多个部分中的每个部分的颜色；以及使用所提取的颜色，生成现实生活中的人的三维(3D)模型，3D模型与2D面部图像的相应面部特征颜色相匹配。颜色相匹配。颜色相匹配。

【技术实现步骤摘要】
【国外来华专利技术】用于从面部图像提取颜色的方法和系统
相关申请的交叉引用
[0001]本申请是于2021年3月15日提交的、题为“METHODS AND SYSTEMS FOR EXTRACTING COLOR FROM FACIAL IMAGE(用于从面部图像提取颜色的方法和系统)”的第17/202,116号美国专利申请的接续申请，并要求该美国专利申请的优先权，该美国专利申请通过引用整体并入本文中。


[0002]本公开总体上涉及图像技术，具体地涉及图像处理和头部/面部模型形成方法和系统。

技术介绍

[0003]具有多个传感器(例如多视角相机，深度传感器等)的商业化面部捕捉系统用于获得具有或不具有明确标志的人的精确三维(3D)面部模型。这些工具从多个传感器捕捉人脸的几何形状和纹理信息，并将多模态信息融合到通用3D面部模型。受益于来自各种传感器的多模态信息，所获得的3D面部模型较为精确。然而，这些商业化系统昂贵，且需要额外的软件购买来处理原始数据。此外，这些系统通常部署在面部捕捉工作室，需要参与者或志愿者来采集数据，这使得数据收集过程耗时，甚至成本更高昂。简而言之，对于采集3D面部数据，面部捕捉系统昂贵且耗时。相反，智能手机或相机如今广泛可用，因此可能存在大量可用的RGB(红色，绿色，蓝色)图像。以RGB图像作为输入来产生3D面部模型，可受益于大量图像数据。
[0004]二维(2D)RGB图像只是3D世界到2D平面的投影。从2D图像恢复3D几何形状是需要优化或学习算法以使重建过程规则化的不适定问题。对于3D面部重建，已开发和使用基于参数化的面部模型3D可变形模型(3DMM)的方法。具体地，诸如巴塞尔面部模型(BFM)和萨里面部模型(SFM)的面部模型是通常使用的面部模型，其需要商业许可。基于面部模型的方法采用扫描3D人脸模型集(展示各种面部特征和表情)作为其基础，然后基于3D面部模型产生面部特征和表情的参数化表示。可基于参数化将新的3D面部表示为基础3D面部模型的线性组合。由于这些方法的性质，导致用于形成基础和参数空间的3D面部模型限制了基于面部模型的方法的表达性。此外，从输入面部图像或2D地标拟合3DMM参数的优化过程进一步牺牲了面部图像中的详细面部特征。因此，基于面部模型的方法不能精确地恢复3D面部特征，且需要商业许可来使用诸如BFM和SFM的面部模型。
[0005]随着深度学习算法的普及，语义分割算法得到了大量关注。这样的算法可以将面部图像中的每个像素划分成不同的类别，例如背景，皮肤，头发，眼睛，鼻子和嘴巴。
[0006]虽然语义分割方法可实现比较精确的结果，但是所有像素的语义分割是一个非常复杂的问题，其通常需要复杂的网络结构，导致计算复杂度高。此外，为了训练语义分割网络，需要对大量的训练数据进行标记，且语义分割需要对整个图像的像素进行划分，这非常繁琐、耗时且成本高。因此，不适合于不需要高平均颜色精度但需要高效率的场景。
[0007]优化拉普拉斯算子和其它衍生算子的、由关键点驱动的变形方法已在学术界进行了很好的研究。双谐波变形的数学表达式可记为Δ2x'＝0。受约束的关键点，即边界条件，可表示为x
b
'＝x
bc
。在上述等式中，Δ是拉普拉斯算子，x'是未知的已变形网格顶点的位置，以及x
bc
是在变形之后给出的关键点的位置。在每个维度中需要对双拉普拉斯方程进行求解。双谐波函数是对双拉普拉斯方程的解，但也是所谓的“拉普拉斯能量”的最小元。
[0008]能量最小化的性质是网格的平滑。如果直接应用上述最小元，则将消除所有详细特征。此外，当关键点的位置保持不变时，预计已变形网格与原始网格完全相同。在这些考虑之中，双谐波变形的优选使用是为了对除了顶点的位置之外的顶点的位移进行求解。以这种方式，已变形位置可写成x'＝x+d，其中d是未知顶点在每个维度中的位移。自然地，双谐波变形的方程受到d
b
＝x
bc
‑
x
b
的约束而变成Δ2d＝0，其中d
b
是变形之后关键点的位移。
[0009]随着游戏行业的快速发展，定制面部头像(face avatar)生成变得越来越流行。对于没有艺术技能的普通玩家，很难调节控制参数以生成可描述细微变化的面部。
[0010]在一些现有的面部生成系统和方法，例如正义(Justice)面部生成系统中，面部模型的预测是预测图像中的2D信息，例如眉毛、嘴巴、鼻子和照片中的其它像素的分割。这些2D分割容易受到平面外旋转和部分遮挡的影响，且基本上需要正面。此外，由于最终游戏面部头像和输入的相似性由面部识别系统确定，这将该方法限制为仅真实风格游戏。如果游戏的风格为与真实面部大为不同的卡通风格，则不能使用该方法。
[0011]在一些其它现有的面部生成系统和方法，例如天涯明月刀(Moonlight Blade)面部生成系统中，从输入图像重建真实面部。该方法限于真实风格游戏，且不能应用于卡通风格游戏。其次，该方法的输出参数是已重建的游戏风格的面部网格，然后对网格的每个部分执行模板匹配。该方法限制了不同面部部分的组合。游戏面部的总体多样性与预先生成的模板的数量密切相关。如果某一部分(例如嘴巴形状)具有少量模板，则其可产生极少不同的变化，使得所生成的面部缺乏多样性。

技术实现思路

[0012]基于学习的面部重建和关键点检测方法依赖于3D地面真值数据作为黄金标准来训练尽可能近似地面真值的模型。因此，3D地面真值确定基于学习的方法的上限。为了确保面部重建的精确度和期望的关键点检测，在一些实施例中，使用2D面部关键点标注来生成3D面部模型的地面真值，而不必使用昂贵的面部捕捉系统。本文公开的方法生成保持了输入图像的详细面部特征的3D地面真值面部模型，克服了现有面部模型(例如丢失面部特征的基于3DMM的方法)的缺点，而且还避免使用一些现有的基于面部模型的方法所需的参数化面部模型(例如BFM和SFM，这两者都需要商业许可)。
[0013]除了面部关键点检测之外，在一些实施例中，针对面部特征分类任务实施多任务学习和迁移学习解决方案，使得可以从对关键点信息进行补充的输入面部图像提取更多信息。对于用于创建玩家的面部头像的计算机或移动游戏，检测到的面部关键点与预测的面部特征一起是有价值的。
[0014]在一些实施例中，本文公开了一种轻量级方法，其用于从单个照片中提取人脸的每个部分的平均颜色，包括皮肤、眉毛、瞳孔、嘴唇、头发和眼影的平均颜色。同时，还使用算法来基于平均颜色自动地转换纹理图，使得转换后的纹理仍然具有原始亮度和色差，但主
颜色变成目标颜色。
[0015]随着计算机视觉和人工智能(AI)技术的快速发展，3D人脸关键点的捕捉和重建已达到高精度的水平。越来越多的游戏正利用AI检测来使游戏角色更加生动。本文公开的方法和系统基于已重建的3D关键点来定制3D头部头像。通常由关键点驱动的变形适用于任意网格。本文提出的头部头像定制和变形方法的过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种从对象的二维(2D)面部图像提取颜色的方法，包括：基于关键点预测模型，识别所述2D面部图像中的多个关键点；旋转所述2D面部图像，直到来自所识别的多个关键点中的多个目标关键点与标准面部的对应目标关键点对齐；在旋转后的2D面部图像中定位多个部分，每个部分由所识别的多个关键点的相应子集限定；根据所述2D面部图像的像素值提取所述多个部分中的每个部分的颜色；以及使用所提取的颜色，生成所述对象的三维(3D)模型，所述3D模型与所述2D面部图像的相应面部特征颜色相匹配。2.根据权利要求1所述的方法，其中，所述关键点预测模型根据用户手动标注的关键点基于机器学习而形成。3.根据权利要求1所述的方法，其中，用于对齐的所述多个目标关键点位于所述2D面部图像的左右对称侧。4.根据权利要求1所述的方法，其中，提取所述多个部分中的每个部分的颜色包括：选择对应部分内的相应限定区域中的所有像素的R值、G值和B值各自的中间值，作为预测平均颜色。5.根据权利要求1所述的方法，其中，提取所述多个部分中的每个部分的颜色包括：确定皮肤部分内用于皮肤颜色提取的区域；以及选择所述用于皮肤颜色提取的区域中的所有像素的R值、G值和B值各自的中间值，作为所述皮肤部分的预测平均颜色。6.根据权利要求5所述的方法，其中，皮肤部分内所述用于皮肤颜色提取的区域被确定为面部上位于眼睛下方且位于鼻子下边缘上方的区域。7.根据权利要求1所述的方法，其中，提取所述多个部分中的每个部分的颜色包括眉毛部分内的眉毛颜色提取，所述眉毛部分内的眉毛颜色提取包括：对应于确定出一个眉毛位于更接近所述2D面部图像的观看者的一侧，选择所述一个眉毛作为目标眉毛；对应于确定出两个眉毛相等地接近所述2D面部图像的观看者，选择所述两个眉毛作为目标眉毛；提取一个或多个所述目标眉毛内的一个或多个中间眉毛区域；将所述一个或多个中间眉毛区域内的每个像素值与平均皮肤颜色进行比较；收集所述一个或多个中间眉毛区域内像素值与所述平均皮肤颜色之差超出阈值的像素；以及选择用于所述眉毛颜色提取的、所收集的像素的R值、G值和B值各自的中间值，作为所述眉毛部分的预测平均颜色。8.根据权利要求1所述的方法，其中，提取所述多个部分中的每个部分的颜色包括眼睛部分内的瞳孔颜色提取，所述眼睛部分内的瞳孔颜色提取包括：对应于确定出一只眼睛位于更接近所述2D面部图像的观看者的一侧，选择所述一只眼睛作为目标眼睛；对应于确定出两只眼睛相等地接近所述2D面部图像的观看者，选择所述两只眼睛作为目标眼睛；
提取一个或多个所述目标眼睛内没有睫毛的区域；将所提取的区域内的每个像素值与预定阈值进行比较；收集所提取的区域内像素值超出所述预定阈值的像素；以及选择用于所述瞳孔颜色提取的、所收集的像素的R值、G值和B值各自的中间值，作为所述瞳孔的预测平均颜色。9.根据权利要求1所述的方法，其中，提取所述多个部分中的每个部分的颜色包括嘴唇部分内的嘴唇颜色提取，所述嘴唇部分内的嘴唇颜色提取包括：收集由下唇部的关键点包围的区域中的所有像素；以及选择用于所述嘴唇颜色提取的、所收集的像素的R值、G值和B值各自的中间值，作为所述嘴唇部分的预测平均颜色。10.根据权利要求1所述的方法，其中，提取所述多个部分中的每个部分的颜色包括头发部分内的头发颜色提取，所述头发部分内的头发颜色提取包括：对包括有前额从两侧延伸到头发部分中的部分的区域进行识别；从所述区域的中间到左边界和右边界，确定超出预定阈值的像素颜色变化；基于超出预定阈值的所述像素颜色变化，将所述区域划分成头发区域和皮肤区域；以及选择所述区域内的所述头发区域的像素的R值、G值和B值各自的中间值，作为所述头发部分的预测平均颜色。11.根据权利要求10所述的方法，其中，包括有前额从两侧延伸到头发部分中的部分的所述区域被识别为矩形区域，所述矩形区域的下边界在两个眉毛拐角处，所述左边界和所述右边界在与位于所述2D面部图像的左右对称侧的关键点向外相距固定距离处，以及所述矩形区域的高度等于从所述眉毛的上边缘到眼睛的下边缘的距离。12.根据权利要求1所述的方法，其中，提取所述多个部分中的每个部分的颜色包括眼影部分内的眼影颜色提取，所述眼影部分内的眼影颜色提取包括：对应于确定出一只眼睛位于更接近所述2D面部图像的观看者的一侧，选择所述一只眼睛作为目标眼睛；对应于确定出两只眼睛相等地接近所述2D面部图像的观看者，选择所述两只眼睛作为目标眼睛；提取一个或多个所述眼影部分内接近所述目标眼睛的一个或多个中间区域；收集所提取的一个或多个中间区域内满足以下各项的像素：亮度高于预定亮度阈值以排除睫毛，并且像素色调值与平均皮皮肤颜色调值之差超出预定阈值；对...

【专利技术属性】
技术研发人员：杨博，刘松润，王博，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：