本申请提供了一种根据2D人脸图片生成3D人脸模型的方法与装置、电子设备及存储介质，方法包括：获取待处理的2D人脸图片，提取2D人脸图片中指定局部人脸区域的特征点记为第一特征点，计算第一特征点的特征值；对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，根据该指定局部人脸区域所属的类型确定目标局部人脸区域模型；根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型，能够解决现有技术存在的无法即时生成3D人脸模型的问题。3D人脸模型的问题。3D人脸模型的问题。
【技术实现步骤摘要】
根据2D人脸图片生成3D人脸模型的方法与装置
[0001]本专利技术涉及计算机
，特别涉及一种根据2D人脸图片生成3D人脸模型的方法与装置、电子设备及存储介质。
技术介绍
[0002]随着元宇宙的蓬勃发展，用户拥有一个与自己高相似度的虚拟形象的需求日益增强。为满足用户需求，需要根据人脸图片生成人脸模型。
[0003]但是目前主流方法多基于人脸3D形变统计模型3DMM和生成式对抗网络GAN生成人脸模型，实现过程中会生成人脸（是一个模型），并将人脸附着在基础头部模型上，其至少存在如下问题：1、受光照影响，生成的人脸无法精确贴合在头部模型上，在贴合的分界线处，存在颜色明暗的差距以及比较清晰的分界线；2、生成的人脸模型是2.5D图像而非3D图像，即从某个角度看起来像3D图像，但是从其它角度看起来会不自然，不像3D图像，无法多角度表现自然；3、穿模问题，即在某个角度上比较自然，但是换角度看会有凹凸，人脸与头部模型间会有穿透。
[0004]由于存在上述问题，导致该方法多用于辅助人物虚拟角色制作，人脸模型在生成后依然需要美术工作人员做调整，无法满足云游戏等需要即时生成3D人脸模型的场景需要。
技术实现思路
[0005]有鉴于此，本申请实施例提供一种根据2D人脸图片生成3D人脸模型的方法与装置、电子设备及存储介质，能够解决现有技术存在的无法即时生成3D人脸模型的问题。
[0006]第一方面，本申请实施例提供了一种根据2D人脸图片生成3D人脸模型的方法，包括：获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。
[0007]第二方面，本申请实施例还提供了一种根据2D人脸图片生成3D人脸模型的装置，包括：第一计算单元，用于获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部
人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；确定单元，用于对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；生成单元，用于根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。
[0008]第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的根据2D人脸图片生成3D人脸模型的方法的步骤。
[0009]第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的根据2D人脸图片生成3D人脸模型的方法的步骤。
[0010]综上，本申请实施例提供的根据2D人脸图片生成3D人脸模型的方法与装置、电子设备及存储介质，对于待处理的2D人脸图片中每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，继而根据类型确定出该指定局部人脸区域的目标局部人脸区域模型，最后根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型，整个方案不涉及将人脸附着在基础头部模型上，因而不会出现现有技术存在的生成的人脸无法精确贴合在头部模型上，在贴合的分界线处，存在颜色明暗的差距以及比较清晰的分界线的问题，以及穿模的问题；而且3D人脸模型是根据各个指定局部人脸区域的目标局部人脸区域模型生成的，而目标局部人脸区域模型为3D模型，这就使得生成的3D人脸模型从任意一个角度来看均是3D图像，不会出现现有技术存在的无法多角度表现自然的问题，因此，整个方案不需要美术工作人员参与，可以即时生成3D人脸模型，而且生成的3D人脸模型与2D人脸图片中人脸高度相似，不会产生恐怖谷问题，可以满足云游戏等需要即时生成3D人脸模型的场景需要。
附图说明
[0011]图1为本申请实施例提供的一种根据2D人脸图片生成3D人脸模型的方法的流程示意图；图2为本申请实施例提供的一种根据2D人脸图片生成3D人脸模型的装置的结构示意图；图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0012]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操
作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0013]另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0014]需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0015]参照图1所示，为本申请实施例提供的一种根据2D人脸图片生成3D人脸模型的方法的流程示意图，具体包括：S10、获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；本实施例中，在获取待处理的2D人脸图片之后，可以基于深度神经网络，对2D人脸图片进行人脸检测，在检测到2D人脸图片中仅包含一张人脸时，执行后续的提取第一特征点等步骤；而如果检测到2D人脸图片中包含不只一张人脸，则可以重新获取待处理的2D人脸图片并进行人脸检测，直至确定2D人脸图片中仅包含一张人脸时，执行后续的提取第一特征点等步骤。在提取第一特征点时，可以基于深度神经网络，提取指定局部人脸本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种根据2D人脸图片生成3D人脸模型的方法，其特征在于，包括：获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。2.如权利要求1所述的方法，其特征在于，若所述指定局部人脸区域包括鼻子，在所述计算所述第一特征点的特征值之前，还包括：若判断获知所述2D人脸图片不是水平正脸照片，则计算以鼻子最左侧特征点和鼻子最右侧特征点为端点的线段的中点坐标，以及过鼻子最左侧特征点和鼻子最右侧特征点的直线与水平线之间的夹角；利用所述中点坐标和夹角将所述2D人脸图片校正为水平正脸照片；其中，所述计算所述第一特征点的特征值，包括：计算所述水平正脸照片中所述第一特征点的特征值。3.如权利要求1或2所述的方法，其特征在于，所述眉毛的特征值包括：眉毛长宽比，以及眉尖到眉尾连线与水平线之间的夹角中的至少一项；所述眼睛的特征值包括：眼睛长宽比、内眼角到外眼角连线与水平线之间的夹角，以及内眼角夹角中的至少一项；所述鼻子的特征值包括：鼻子长宽比、鼻子长度与鼻子到嘴唇的距离的比值，以及鼻子宽度与面部宽度的比值中的至少一项；所述嘴巴的特征值包括：对上嘴唇的特征点进行二次拟合得到的曲线的二次项系数，以及对下嘴唇的特征点进行二次拟合得到的曲线的二次项系数中的至少一项；所述脸部轮廓的特征值包括：对脸部左侧轮廓的特征点进行二次拟合得到的曲线的二次项系数、对脸部右侧轮廓的特征点进行二次拟合得到的曲线的二次项系数，以及对下巴轮廓的特征点进行二次拟合得到的曲线的二次项系数中的至少一项。4.如权利要求1所述的方法，其特征在于，在所述根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型之前，还包括：获取多张2D人脸图片作为样本，提取所述样本中该指定局部人脸区域的特征点记为第二特征点，并计算所述第二特征点的特征值；对所述第二特征点的特征值进行聚类，得到至少一个特征值类；其中，所述根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，包括：计算该指定局部人脸区域的第一特征点的特征值与所述至少一个特征值类的中心之间的相似度；根据所述相似度确定目标特征值类，并将所述目标特征值类或者所述目标特征值类对应的类型作为该指定局部人脸区域所属的类型；
其中，所述根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，包括：将该指定局部人脸区域所属的类型对应的标准局部人脸区域3D模型作为该指定局部人脸区域的目标局部人脸区域模型。5.如权利要求4所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：唐宇，温健，
申请(专利权)人：海马云天津信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。