人脸重建的方法、装置、电子设备、存储介质制造方法及图纸

本公开提供了一种人脸重建的方法，涉及计算机视觉技术领域，尤其涉及人脸重建装置、电子设备、存储介质。具体实现方案为：根据目标人脸的多个视角的人脸图像，生成人脸点云模型；基于人脸图像、人脸点云模型确定初始三维人脸模型的模型变换参数，并基于模型变换参数对初始三维人脸模型进行变换，得到与目标人脸相对应的三维人脸模型。应的三维人脸模型。应的三维人脸模型。

【技术实现步骤摘要】
人脸重建的方法、装置、电子设备、存储介质


[0001]本公开涉及计算机视觉
，尤其涉及人脸重建的方法、装置、电子设备、存储介质。

技术介绍

[0002]目前，人脸重建技术广泛应用于泛娱乐领域，包括人脸视频特效、虚拟人直播、游戏建模、电影等领域。目前人脸重建有很多相关技术方案可以实现，例如：采用单个视角的人脸图像进行人脸重建，但这种方式缺乏深度信息，重建出来的人脸三维结构精度差、表情僵硬。

技术实现思路

[0003]本公开提供了一种用于解决上述技术问题中的至少一项的人脸重建的方法、装置、电子设备、存储介质。
[0004]根据本公开的一方面，提供了一种人脸重建的方法，所述方法包括：
[0005]根据目标人脸的多个视角的人脸图像，生成人脸点云模型；
[0006]基于所述人脸图像、所述人脸点云模型确定初始三维人脸模型的模型变换参数，并基于模型变换参数对所述初始三维人脸模型进行变换，得到与所述目标人脸相对应的三维人脸模型。
[0007]根据本公开的另一方面，提供了一种人脸重建的装置，所述装置包括：
[0008]人脸点云模型生成模块，用于根据目标人脸的多个视角的人脸图像，生成人脸点云模型；
[0009]三维人脸模型生成模块，用于基于所述人脸图像、所述人脸点云模型确定初始三维人脸模型的模型变换参数，并基于模型变换参数对所述初始三维人脸模型进行变换，得到与所述目标人脸相对应的三维人脸模型。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：/>[0011]至少一个处理器；以及
[0012]与所述至少一个处理器通信连接的存储器；其中，
[0013]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执上述方法。
[0014]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述方法。
[0015]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述方法。
[0016]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0017]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0018]图1是本公开第一实施例提供的一种人脸重建的方法的流程示意图；
[0019]图2是本公开第二实施例提供的一种人脸重建的方法的流程示意图；
[0020]图3是本公开第二实施例提供的一种人脸重建的方法的S205的流程示意图；
[0021]图4是本公开第二实施例提供的一种人脸重建的方法的S206的流程示意图；
[0022]图5是本公开第三实施例提供的一种人脸重建的装置的结构示意图；
[0023]图6是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0026]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0027]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。
[0028]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0029]根据本公开的车辆安全资产的文件夹的复制方法可以由终端设备或服务器等电子设备执行，终端设备可以为车载设备、用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(PersonalDigitalAssistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，方法可以通过处理器调用存储器中存储的计算机可读程序指令的方式来实现。或者，可通过服务器执行本公开提供的人脸重建方法。
[0030]在公开第一实施例中，参见图1，图1示出本公开第一实施例提供的一种人脸重建的方法的流程示意图。该方法包括：
[0031]S101、根据目标人脸的多个视角的人脸图像，生成人脸点云模型。
[0032]S102、基于人脸图像、人脸点云模型确定初始三维人脸模型的模型变换参数，并基于模型变换参数对初始三维人脸模型进行变换，得到与目标人脸相对应的三维人脸模型。
[0033]需要说明的是，本公开提供的人脸重建的方法能够应用在多种应用场景下。
[0034]例如，在将本公开提供的人脸重建的方法应用于游戏中的情况下，可以通过游戏设备中安装的图像获取设备获取包括了游戏玩家的脸部的图像，或者可以从游戏设备中的相册中选择包括了游戏玩家的脸部的图像、并将获取的包括了游戏玩家的脸部的图像作为目标人脸图像。
[0035]又例如，在将本公开提供的人脸重建的方法应用于手机等终端设备的情况下，可以由终端设备的摄像头采集包括用户脸部的图像，或者从终端设备的相册中选择包括了用
户人脸的图像、或者从终端设备中安装的其他应用程序中接收包括用户脸部的人脸图像。
[0036]又例如，在将本公开提供的人脸重建的方法应用于直播场景下，可以从直播设备获取的视频流中包括的多帧视频帧图像中获取包含人脸的视频帧图像；并将包含人脸的视频帧图像作为目标人脸图像。此处，目标人脸图像例如可以有多帧；多帧目标人脸图像例如可以是对视频流中的多帧视频帧图像进行采样获得。
[0037]又例如，在将本公开提供的人脸重建的方法应用于电影或动画的特效场景下，可以采用深度摄影设备采集演员的彩色深度人脸图像。
[0038]在一些示例中，S101中，人脸图像可以是多种类型的图像，例如：二维人脸图像、彩色深度图像、高精度彩色深度图像等。
[0039]其中，彩色深度图像也称为红绿蓝深度(RedGreenBlueDeepth，RGBD)图像。
[0040]在一些示例中，S101中，基于人脸图像生成的人脸点云模型是由点云构成的三维模型，点云是一个数据集，数据集中的每个点云数据至少包括坐标(X、Y、Z三个维度)，还可以包括强度值、颜色值、分类值、时间灯信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸重建的方法，所述方法包括：根据目标人脸的多个视角的人脸图像，生成人脸点云模型；基于所述人脸图像、所述人脸点云模型确定初始三维人脸模型的模型变换参数，并基于模型变换参数对所述初始三维人脸模型进行变换，得到与所述目标人脸相对应的三维人脸模型。2.根据权利要求1所述的方法，其中，所述模型变换参数包括：模型整体变换参数；所述基于所述人脸图像、所述人脸点云模型确定初始三维人脸模型的模型变换参数，并基于模型变换参数对所述初始三维人脸模型进行变换，得到与所述目标人脸相对应的三维人脸模型，包括：基于所述人脸图像、所述人脸点云模型对所述初始三维人脸模型的模型整体变换参数进行迭代更新；根据迭代更新后的所述模型整体变换参数对所述初始三维人脸模型进行变换，得到所述三维人脸模型。3.根据权利要求2所述的方法，其中，所述模型整体变换参数包括：形变参数；所述基于所述人脸图像、所述人脸点云模型对所述初始三维人脸模型的模型整体变换参数进行迭代更新，包括：基于所述人脸图像、所述人脸点云模型对所述初始三维人脸模型的所述形变参数进行至少一轮次的迭代更新，并基于预设的第一迭代条件得到迭代更新后的所述形变参数；其中，所述至少一轮次的迭代更新的任一轮次包括：根据当前轮次的所述形变参数对所述初始三维人脸模型进行形变处理，得到形变后的三维人脸模型；基于所述人脸图像的关键特征点和所述形变后的三维人脸模型的关键特征点确定第一误差；基于所述人脸点云模型的各个点和所述形变后的三维人脸模型的各个点确定第二误差；基于所述第一误差和所述第二误差更新所述形变参数；其中，所述预设的第一迭代条件为：所述第一误差的值和所述第二误差的值中至少一者不再变小。4.根据权利要求3所述的方法，其中，所述模型整体变换参数还包括：像素区域变换参数；所述基于所述人脸图像、所述人脸点云模型对所述初始三维人脸模型的模型整体变换参数进行迭代更新，还包括：基于所述人脸图像、所述人脸点云模型对所述初始三维人脸模型的所述像素区域变换参数进行至少一轮次的迭代更新，并基于预设的第二迭代条件得到迭代更新后的所述像素区域变换参数；其中，所述至少一轮次的迭代更新的任一轮次包括：根据当前轮次的所述像素区域变换参数对所述初始三维人脸模型的渲染图进行像素变换处理，得到像素变换后的三维人脸模型的渲染图；基于所述人脸图像的各个像素点的像素信息和所述像素变换后的三维人脸模型的渲
染图的各个像素点的像素信息确定第三误差；基于所述第三误差更新所述像素区域变换参数；其中，所述预设的第二迭代条件为：所述第三误差的值不再变小。5.根据权利要求3或4所述的方法，其中，所述基于所述人脸图像的关键特征点和所述形变后的三维人脸模型的关键特征点确定第一误差，包括：确定各个关键特征点对，其中，一个所述关键特征点对包括一个所述形变后的三维人脸模型的关键特征点和一个与之对应的所述人脸图像的关键特征点；基于所述各个关键特征点对中每个关键特征点对的两个关键特征点的相对距离，确定所述第一误差。6.根据权利要求3
‑
5任一所述的方法，其中，所述基于所述人脸点云模型的各个点和所述形变后的三维人脸模型的各个点确定第二误差，包括：确定各个点对，其中，一个所述点对包括一个所述形变后的三维人脸模型的目标点和所述目标点在所述人脸点云模型中的最近点；分别对各个点对中的每个点对的所述最近点进行筛选，并根据筛选结果更新所述点对；基于更新后的各个点对中每个点对的所述目标点和所述最近点的相对距离，确定所述第二误差。7.根据权利要求4所述的方法，其中，所述基于所述人脸图像的各个像素点的像素信息和所述像素变换后的三维人脸模型的渲染图的各个像素点的像素信息确定第三误差，包括：确定各个人脸区域组，其中，一个所述人脸区域组包括一个所述像素变换后的三维人脸模型的渲染图的第一人脸区域和一个与所述第一人脸区域对应的所述人脸图像的第二人脸区域；确定所述各个人脸区域组中每个人脸区域对的所述第一人脸区域的第一区域像素和所述第二人脸区域的第二区域像素；基于所述各个人脸区域组中每个人脸区域的第一区域像素和第二区域像素的差值，确定所述第三误差。8.根据权利要求2
‑
7任一所述的方法，其中，模型变换参数包括：模型点变换参数；所述根据迭代更新后的所述模型整体变换参数对所述初始三维人脸模型进行变换，得到所述三维人脸模型之后，所述基于所述人脸图像、所述人脸点云模型确定初始三维人脸模型的模型变换参数，并基于模型变换参数对所述初始三维人脸模型进行变换，得到与所述目标人脸相对应的三维人脸模型，还包括：基于所述人脸图像、所述人脸点云模型对所述三维人脸模型的各个点的模型点变换参数进行迭代更新；根据迭代更新后的所述各个点的模型点变换参数对所述三维人脸模型的各个点进行变换，得到最终的所述三维人脸模型。9.根据权利要求8所述的方法，其中，所述模型点变换参数包括：三维顶点坐标；所述基于所述人脸图像、所述人脸点云模型对所述三维人脸模型的各个点的模型点变换参数进行迭代更新，包括：
基于所述人脸图像的各个关键特征点，对所述三维人脸模型的各个关键特征点的三维顶点坐标进行迭代更新，并基于预设的第三迭代条件得到迭代更新后的所述各个关键特征点...

【专利技术属性】
技术研发人员：李团辉，周航，胡天舒，梁柏荣，刘经拓，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：