一种基于关键点识别的人脸重建方法及设备技术

本申请涉及三维重建技术领域，提供一种基于关键点识别的人脸重建方法及设备，根据正面人脸图像与其余人脸图像间关键点的映射关系，局部矫正其余人脸图像中关键点的颜色，再将各人脸关键点的颜色迁移到整幅图像中，从而解决了不同视角下由于光照不同造成后续特征点匹配错误的问题，丰富了匹配的特征点对的数量，进而可以减少视角的数量，确保在稀疏视点下能够重建出高精度的人脸模型，降低了硬件成本；同时，在确定多个相机的目标相机参数时，将存在映射关系的人脸关键点对作为正则项加入到投影误差能量函数中，这样，可以将人脸关键点间的语义匹配作为约束条件，提高匹配的准确性，进而提高多视角3D人脸模型重建的重建精度。度。度。

【技术实现步骤摘要】
一种基于关键点识别的人脸重建方法及设备


[0001]本申请涉及三维重建
，提供一种基于关键点识别的人脸重建方法及设备。

技术介绍

[0002]随着
″
元宇宙
″
概念的兴起，形象逼真的高精度数字人的重建受到极大地关注，人脸重建作为高精度数字人重建的核心技术之一，更加成为学术界和工业界的研究热点。
[0003]RGB相机的普遍应用，促进了基于视觉的人脸重建的发展。目前，基于多视角立体视觉(Multiple View Stereo，MVS)的人脸重建方法，作为人脸重建的主要方法之一，以多个稠密视角的人脸RGB图像作为输入，自动提取图像中的特征点，并通过特征点匹配完成人脸重建。
[0004]由于传统的MVS算法是一种泛化性很高的重建算法，并非专门为人脸重建而提出的，因此，在对不同视角的人脸RGB图像进行特征匹配时，容易受光照条件影响，造成特征点的错误匹配或匹配失败，降低了人脸重建的精度；并且，传统的MVS算法为了保证重建结果的稠密性，要求各视角之间的人脸RGB图像要有足够多的重叠区域，以确保能够找到足够多的匹配特征点，也就是说，传统的MVS算法需要部署非常稠密的视点(几十甚至上百个)以确保可以重建出高精度的人脸模型，这样，极大地提高了硬件成本(几十甚至百万级)，难以大规模应用。

技术实现思路

[0005]本申请提供一种基于关键点识别的人脸重建方法及设备，用于在稀疏视点下提高人脸模型的重建精度。
[0006]一方面，本申请提供一种基于关键点识别的人脸重建方法，包括：
[0007]获取多视角下的相机采集的人脸图像，并将正面视角下的人脸图像作为参考图像，其余视角下的人脸图像作为临近图像；
[0008]分别识别每个视角下所述人脸图像中的人脸关键点；
[0009]针对每张临近图像，根据所述参考图像中人脸关键点与所述临近图像中人脸关键点间的映射关系，用所述参考图像中像素点的颜色值，矫正所述临近图像中像素点的颜色值；
[0010]根据所述参考图像和各张临近图像，确定多个相机的相机参数以将各张所述临近图像与所述参考图像对齐；
[0011]根据所述参考图像和各张所述临近图像，采用多视角立体视觉算法重建3D人脸模型。
[0012]另一方面，本申请提供一种重建设备，包括处理器、存储器、通信接口和显示屏，所述通信接口、所述显示屏、所述存储器和所述处理器通过总线连接；
[0013]所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
[0014]通过所述通信接口，获取多视角下的相机采集的人脸图像，并将正面视角下的人脸图像作为参考图像，其余视角下的人脸图像作为临近图像；
[0015]分别识别每个视角下所述人脸图像中的人脸关键点；
[0016]针对每张临近图像，根据所述参考图像中人脸关键点与所述临近图像中人脸关键点间的映射关系，用所述参考图像中像素点的颜色值，矫正所述临近图像中像素点的颜色值；
[0017]根据所述参考图像和各张临近图像，确定多个相机的相机参数以将各张所述临近图像与所述参考图像对齐；
[0018]根据所述参考图像和各张所述临近图像，采用多视角立体视觉算法重建3D人脸模型，并通过所述显示屏进行显示。
[0019]另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的一种基于关键点识别的人脸重建方法。
[0020]本申请提供的基于关键点识别的人脸重建方法及设备中，将多个视角中正面视角下的人脸图像作为参考图像，其余作为临近图像，并分别提取了每张图像中的人脸关键点，根据参考图像和每张临近图像中人脸关键点间的映射关系，用参考图像中像素点的颜色值，矫正相应临近图像中像素点的颜色值，通过将参考图像中人脸关键点的颜色值迁移到各临近图像中，使得各临近图像中人脸关键点颜色趋近于参考图像中人脸关键点的颜色，解决了不同视角下由于光照不同造成后续特征点匹配错误的问题，丰富了匹配的特征点对的数量，从而可以减少视角的数量，确保在稀疏视点(十个以内)下能够重建出高精度的人脸模型，降低了硬件成本；进一步地，基于矫正后的各张临近图像和参考图像，多个相机的相机参数，实现多视角3D人脸模型重建，通过引入人脸关键点作为辅助信息，从而可以在稀疏视角下，保留多视角立体视觉算法逐像素重建的高精度特性。
附图说明
[0021]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本申请实施例提供的基于关键点识别的人脸重建方法流程图；
[0023]图2为本申请实施例提供的识别出的98个人脸关键点示意图；
[0024]图3为本申请实施例提供的不同视角下的人脸图像中提取的人脸关键点对比图；
[0025]图4为本申请实施例提供的对临近图像进行颜色矫正的方法流程图；
[0026]图5为本申请实施例提供的对临近图像中人脸关键点进行局部颜色矫正的方法流程图；
[0027]图6为本申请实施例提供的确定人脸关键点颜色值的方法流程图；
[0028]图7为本申请实施例提供的对临近图像中像素点进行全局颜色矫正的方法流程图；
[0029]图8为本申请实施例提供的基于参考图像对临近图像的颜色进行调整后的效果
图；
[0030]图9为本申请实施例提供的确定多视角相机的相机参数的方法流程图；
[0031]图10为本申请实施例提供的人脸几何模型的重建效果；
[0032]图11为本申请实施例提供的带有纹理的3D人脸模型效果图；
[0033]图12为本申请实施例提供的重建设备的硬件结构图；
[0034]图13为本申请实施例提供的重建设备的功能结构图。
具体实施方式
[0035]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
[0036]目前，人脸三维重建的主流方法包括：基于参数化模型的人脸重建方法、基于深度学习的人脸重建方法、以及基于MVS算法的人脸重建方法。其中：
[0037]基于参数化模型的人脸重建方法，通过输入的单张人脸RGB图像，去引导优化一个标准的参数化模型(如3DMM、FLAME、DECA模型等)，从而得到个性化的3D人脸模型。但该方法是一个近似优化的算法，由于输入的单张人脸RGB图像包含的信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点识别的人脸重建方法，其特征在于，包括：获取多视角下的相机采集的人脸图像，并将正面视角下的人脸图像作为参考图像，其余视角下的人脸图像作为临近图像；分别识别每个视角下所述人脸图像中的人脸关键点；针对每张临近图像，根据所述参考图像中人脸关键点与所述临近图像中人脸关键点间的映射关系，用所述参考图像中像素点的颜色值，矫正所述临近图像中像素点的颜色值；根据所述参考图像和各张临近图像，确定多个相机的相机参数以将各张所述临近图像与所述参考图像对齐；根据所述参考图像和各张所述临近图像，采用多视角立体视觉算法重建3D人脸模型。2.如权利要求1所述的方法，其特征在于，所述根据所述参考图像中人脸关键点与所述临近图像中人脸关键点间的映射关系，用所述参考图像中像素点的颜色值，矫正所述临近图像中像素点的颜色值，包括：将所述参考图像和所述临近图像从RGB颜色空间转换到Lab颜色空间；根据所述参考图像中人脸关键点与所述临近图像中人脸关键点间的映射关系，确定存在映射关系的人脸关键点对在各自设定邻域内每个通道的颜色属性，并根据各颜色属性，矫正所述临近图像中相应人脸关键点在每个通道的颜色值；针对所述临近图像中的每个像素点，根据矫正后所述临近图像中各人脸关键点的颜色值，确定所述像素点的目标颜色值；将所述参考图像和调整后的临近图像从Lab颜色空间转换到RGB颜色空间。3.如权利要求2所述的方法，其特征在于，所述颜色属性包括颜色均值和标准方差，所述根据所述参考图像中人脸关键点与所述临近图像中人脸关键点间的映射关系，确定存在映射关系的人脸关键点对在各自设定邻域内每个通道的颜色属性，并根据各颜色属性，矫正所述临近图像中相应人脸关键点在每个通道的颜色值，包括：针对所述临近图像中的每一个第一人脸关键点，执行以下操作：根据所述参考图像中人脸关键点与所述临近图像中人脸关键点间的映射关系，确定所述第一人脸关键点在所述参考图像中对应的第二人脸关键点；确定所述第一人脸关键点的设定邻域内各像素点在每个通道的第一颜色均值和第一标准方差，以及确定所述第二人脸关键点的设定邻域内各像素点在每个通道的第二颜色均值和第二标准方差；根据每个通道的所述第一颜色均值、所述第二颜色均值、所述第一标准方差以及所述第二标准方差，矫正所述第一人脸关键点的颜色值。4.如权利要求3所述的方法，其特征在于，所述根据每个通道的所述第一颜色均值、所述第二颜色均值、所述第一标准方差以及所述第二标准方差，矫正所述第一人脸关键点的颜色值，包括：获取所述第一人脸关键点分别在L通道、a通道和b通道的初始颜色值；用所述L通道、a通道和b通道的初始颜色值，分别减去相应通道的第一颜色均值，得到所述第一人脸关键点在所述L通道、a通道和b通道的中间颜色值；根据所述L通道、a通道和b通道各自的第一标准方差和第二标准方差，对相应通道的中间颜色值进行放缩；
将所述L通道、a通道和b通道缩放后的颜色值加上相应通道的第二颜色均值，得到矫正后所述第一人脸关键点在所述L通道、a通道和b通道的颜色值。5.如权利要求2所述的方法，其特征在于，所述针对所述临近图像中的每个像素点，根据矫正后所述临近图像中各人脸关键点的颜色值，调整所述像素点的颜色值，包括：确定所述像素点在自身设定邻域内对应的每个通道的颜色均值；计算所述像素点到所述临近图像中各人脸关键点的距离；根据所述像素点在每个...

【专利技术属性】
技术研发人员：陈春朋，杨智远，吴连朋，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：