用于个性化3D头部模型变形的方法和系统技术方案

一种电子装置，其执行用于生成三维(3D)头部变形模型的方法，该方法包括：接收二维(2D)面部图像；基于人工智能(AI)模型，识别2D面部图像中的第一组关键点；基于位于3D头部模板模型上的一组用户提供的关键点注释，将第一组关键点映射到位于3D头部模板模型的网格的多个顶点上的第二组关键点；通过减小第一组关键点与第二组关键点之间的差异，对3D头部模板模型的网格执行变形，以获得变形的3D头部网格模型；以及对经变形的3D头部网格模型应用混合形状方法，以根据2D面部图像获得头部模型。以根据2D面部图像获得头部模型。以根据2D面部图像获得头部模型。

【技术实现步骤摘要】
【国外来华专利技术】用于个性化3D头部模型变形的方法和系统
相关申请的交叉引用
[0001]本申请是题为“METHODS AND SYSTEMS FOR PERSONALIZED 3D HEAD MODEL DEFORMATION”并且于2021年3月15日提交的美国专利申请第17/202,112号的继续申请并且要求该美国专利申请的优先权，该美国专利申请的全部内容通过引用并入本文中。


[0002]本公开内容总体上涉及图像技术，并且特别地涉及图像处理和头部/面部模型形成方法和系统。

技术介绍

[0003]具有多个传感器(例如，多视角摄像装置、深度传感器等)的商业面部捕获系统用于获得具有或不具有显式标记的人的准确三维(three
‑
dimensional，3D)面部模型。这些工具从多个传感器捕获人类面部的几何形状和纹理信息，并且将多模态信息融合到一般的3D面部模型。受益于来自各种传感器的多模态信息，获得的3D面部模型是准确的。然而，这些商业系统昂贵，并且需要额外购买软件来处理原始数据。此外，这些系统通常部署在面部捕获工作室处，需要参与者或志愿者以获取数据，这使得数据收集过程耗时且甚至成本更高。简言之，面部捕获系统获取3D面部数据是昂贵且耗时的。相反，智能电话或摄像装置现今广泛可用，因此潜在地存在可用的大量RGB(红、绿、蓝)图像。将RGB图像作为输入来产生3D面部模型可以受益于大量的图像数据。
[0004]二维(two
‑
dimensional，2D)RGB图像仅是3D世界到2D平面的投影。根据2D图像恢复3D几何形状是不适定的问题，其需要优化或学习算法来调整重建过程。对于3D面部重建，已经开发和使用了基于参数化的面部模型3D形变模型(3D Morphable Model，3DMM)的方法。特别地，像巴塞尔面部模型(Basel Face Model，BFM)和萨里面部模型(Surrey Face Model，SFM)这样的面部模型是常用的面部模型，它们需要商业许可。基于面部模型的方法将一组扫描的3D人类面部模型(演示各种面部特征和表情)作为其基础，然后基于3D面部模型来产生面部特征和表情的参数化表示。可以基于参数化将新的3D面部表示为基础3D面部模型的线性组合。由于这些方法的本质，用于形成基础的3D面部模型和参数空间限制了基于面部模型的方法的表达性。此外，根据输入的面部图像或2D特征点来拟合3DMM参数的优化过程还牺牲了面部图像中的详细面部特征。因此，基于面部模型的方法不能准确地恢复3D面部特征，并且还需要商业许可来使用诸如BFM和SFM的面部模型。
[0005]随着深度学习算法的普及，语义分割算法已得到大量的关注。这样的算法可以将面部图像中的每个像素划分成例如背景、皮肤、头发、眼睛、鼻子和嘴巴等不同的类别。
[0006]虽然语义分割方法可以实现相对准确的结果，但是所有像素的语义分割是非常复杂的问题，其通常需要复杂的网络结构，从而导致高计算复杂度。此外，为了训练语义分割网络，需要对大量的训练数据进行标注，并且语义分割需要对整个图像的像素进行划分，这非常繁琐、费时且成本高。因此，语义分割不适合于不需要高平均颜色准确度但需要高效率
的场景。
[0007]优化拉普拉斯和其他导出算子的关键点驱动变形方法在学术界已得到良好的研究。双谐波变形的数学表达可以被表示为Δ2x
′
＝0。受约束的关键点，即边界条件，可以被表达为xb
′
＝x
bc
。在以上等式中，Δ是拉普拉斯算子，x
′
是未知的变形网格顶点的位置，并且x
bc
是变形之后的给定关键点的位置。在每个维度中需要双拉普拉斯方程的解。双谐波函数是双拉普拉斯方程的解，但也是所谓的“拉普拉斯能量”的极小(minimizer)。
[0008]能量极小化的本质是网格的平滑化。如果直接应用以上提及的极小，则所有的详细特征将被平滑掉。此外，当关键点的位置保持不变时，预计变形的网格与原始网格完全相同。出于这些考虑，优先使用双谐波变形来求解顶点的位移而不是它们的位置。以该方式，变形的位置可以写为x
′
＝x+d，其中，d是未知顶点在每个维度中的位移。自然地，双谐波变形的等式在d
b
＝x
bc
‑
x
b
下变为Δ2d＝0，其中，d
b
是变形之后的关键点的位移。
[0009]随着游戏行业的快速发展，定制的面部化身生成已经变得越来越流行。对于没有艺术技巧的普通玩家而言，通过调谐控制参数以生成可以描述细微变化的面部是非常困难的。
[0010]在一些现有的诸如Justice面部生成系统(Justice Face Generation System)的面部生成系统和方法中，对面部模型的预测是对图像中的2D信息进行预测，例如，对照片中的眉毛、嘴巴、鼻子和其他像素进行分割。这些2D分割容易受到平面外旋转和部分遮挡的影响，并且基本上需要正面的面部。此外，由于最终的游戏面部化身与输入的相似度由面部识别系统确定，这将该方法限制为仅逼真风格游戏。如果游戏的风格是卡通风格，这与真实的面部非常不同，因此不能使用该方法。
[0011]在一些其他现有的诸如Moonlight Blade面部生成系统(Moonlight Blade Face Generation System)的面部生成系统和方法中，根据输入图像来重建真实面部。该方法限于逼真风格游戏，并且不能应用于卡通风格游戏。其次，该方法的输出参数是重建的游戏风格面部网格，并且然后，对网格的每个部分执行模板匹配。该方法限制了不同面部部位的组合。游戏面部的整体多样性与预先生成的模板的数目密切相关。如果某个部位例如嘴巴形状具有少量的模板，则可能产生很少的不同变化，使得生成的面部缺乏多样性。

技术实现思路

[0012]基于学习的面部重建和关键点检测方法依赖于3D真值数据作为黄金标准来训练尽可能近地接近真值的模型。因此，3D真值确定基于学习的方法的上限。为了确保面部重建的准确度和期望的关键点检测，在一些实施方式中，使用2D面部关键点注释来生成3D面部模型的真值，而无需使用昂贵的面部捕获系统。本文公开的方法生成保留了输入图像的详细面部特征的3D真值面部模型，克服了丢失面部特征的现有面部模型(例如基于3DMM的方法)的缺点，并且还避免了对如BFM和SFM(两者都需要商业许可)的参数化面部模型的使用，一些现有的基于面部模型的方法需要使用这些参数化面部模型。
[0013]除了面部关键点检测之外，在一些实施方式中，针对面部特征分类任务实现多任务学习和迁移学习解决方案，使得可以从输入面部图像中提取更多信息，所述更多信息与关键点信息互补。检测的面部关键点与预测的面部特征一起对于用于创建玩家的面部化身的计算机或移动游戏是有价值的。
[0014]在一些实施方式中，本文中公开了用于从单个照片中提取人类面部的每个部位的平均颜色，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种生成三维(3D)头部变形模型的计算机实现的方法，包括：接收二维(2D)面部图像；基于人工智能(AI)模型，识别所述2D面部图像中的第一组关键点；基于位于3D头部模板模型上的一组用户提供的关键点注释，将所述第一组关键点映射到位于所述3D头部模板模型的网格的多个顶点上的第二组关键点；通过减小所述第一组关键点与所述第二组关键点之间的差异，对所述3D头部模板模型的网格执行变形，以获得经变形的3D头部网格模型；以及对所述经变形的3D头部网格模型应用混合形状方法，以根据所述2D面部图像获得头部模型。2.根据权利要求1所述的方法，其中，将所述第一组关键点映射到所述第二组关键点还包括：将所述2D面部图像上的所述第一组关键点与所述3D头部模板模型的网格上的所述多个顶点相关联；以及基于通过面部上的相应关键点识别的对应特征，映射所述第一组关键点与所述第二组关键点。3.根据权利要求1所述的方法，其中，执行变形包括：通过使用所述第一组关键点到所述第二组关键点的映射以及通过使用与所述第一组关键点有关的变形的边界条件，将所述3D头部模板模型的网格变形为所述经变形的3D头部网格模型。4.根据权利要求3所述的方法，其中，执行变形还包括：在变形优化的过程中应用不同的约束，所述不同的约束包括以下中的一个或更多个：关键点的位置、相邻平滑度、特性和原始位置。5.根据权利要求3所述的方法，其中，执行变形还包括：对变形的过程应用约束，所述约束是以下中的一个或更多个的加权求和：关键点的位置、相邻平滑度、特性和原始位置。6.根据权利要求1所述的方法，其中，识别所述第一组关键点包括：使用卷积神经网络(CNN)。7.根据权利要求1所述的方法，其中，所述变形包括不具有拉普拉斯算子的仿射变形。8.根据权利要求7所述的方法，其中，所述仿射变形通过改变平滑度参数来实现变形调谐。9.根据权利要求1所述的方法，其中，在不与骨架绑定的情况下对所述3D头部模板模型的网格进行变形。10.根据权利要求1所述的方法，其中，所述面部变形模型包括真实风格模型或卡通风格模型。11.根据权利要求1所述的方法，其中，对所述经变形的3D头部网格模型应用所述混合形状方法包括：根据相应关键点的位置，对所述经变形的3D头部网格模型的所述第二组关键点中的每一个分配相应的混合权重；以及对具有不同的混合权重的所述第二组关键点应用不同水平的变形。12.根据权利要求1所述的方法，其中，对所述经变形的3D头部网格模型应用所述混合形状方法包括：保持所述经变形的3D头部网格模型的背侧的形状与变形之前的3D头部模板
模型的原始背侧形状相同。13.一种电子装置，包括一个或更多个处理单元、耦接至所述一个或更多个处理单元的存储器以及存储在所述存储器中的多个程序，所述多个程序在由所述一个或更多个处理单元执行时，使得所述电子装置执行生成三维(3D)头部变形模型的多个操作，所述多个操作包括：接收二维(2D)面部图像；基于人工智能(AI)模型，识别所述2D面部图像中的第一组关键点；基于位于3D头部模板模型上的一组用户提供的关键点注释，将所述第一组关键点映射到位于所述3D头部模板模型的网格的多个...

【专利技术属性】
技术研发人员：刘松润，杨博，王博，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：