一种人脸的纹理贴图生成方法、系统及电子设备技术方案

本发明专利技术提供一种人脸的纹理贴图生成方法、系统及电子设备，本方法通过获取目标对象的人脸网格模型和多张不同视角的人脸图像，并将眼睛特征剔除出人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图，基于人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图，基于眼睛图像、缺眼正视图及缺眼侧视图的像素，获得人脸的纹理贴图。通过剔除眼睛特征，将眼睛图像与其他的人脸图像独立进行纹理贴图的构建后重新融合，以获得最终的纹理贴图，使得在重建人脸的其他特征时，可避免对眼睛特征进行干扰，让眼睛特征独立进行构建，提高了眼睛贴图部分的构建准确性。

A method, system and electronic device for texture mapping of human face

【技术实现步骤摘要】
一种人脸的纹理贴图生成方法、系统及电子设备
本专利技术涉及图像处理领域，特别涉及一种人脸的纹理贴图生成方法、系统及电子设备。
技术介绍
人脸贴图生成方法通常包括对人脸的形状以及对人脸形状上的纹理进行构建，但是现有的人脸的纹理贴图生成方法在构建时，由于在不同角度方向都可以看见部分眼睛特征，导致在融合各个角度的纹理贴图时，对眼睛特征的构建容易造成较大误差，导致对眼睛部分纹理构建的质量较低
技术实现思路
为了克服目前现有的人脸的纹理贴图生成方法中对眼睛特征部分形成的纹理贴图质量较低的问题，本专利技术提供人脸的纹理贴图生成方法、系统及电子设备。本专利技术为解决上述技术问题，提供一技术方案如下：一种人脸的纹理贴图生成方法，包括如下步骤:步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；步骤S2：识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图；步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及步骤S4：基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。优选地，上述步骤S2主要包括以下步骤：步骤S21：获取所述人脸的正视图像及侧视图像中每一特征点对应的二维坐标；步骤S22：基于步骤S21中的二维坐标，将人脸的正视图像及侧视图像中眼睛特征对应的区域进行裁剪，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图。优选地，上述步骤S1主要包括以下步骤：步骤S11：获取目标对象的人脸网格模型，所述人脸网格模型上包括多个网格及网格对应的顶点；及步骤S12：获取所述人脸的正视图像、左视图像及右视图像及获取正视图像、左视图像及右视图像对应的视角参数。优选地，步骤S11中获取目标对象的人脸网格模型包括但不限于多视图立体视觉的重建方法、单目视频重建及基于结构光重建的一种或多种。优选地，步骤S4中具体包括：步骤S41：基于缺眼正视图及缺眼侧视图及对应特征点的二维坐标，对所述纹理网格图进行像素填充；步骤S42：判断网格是否位于正视图像上，若是则进入步骤S43，若否则进入步骤S44；步骤S43：将所述眼睛图像对应的像素填充所述网格；步骤S44：根据该网格临近像素值进行填充。本专利技术还提供一种人脸的纹理贴图生成系统，包括：模型及图像获取单元，用于获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；特征分割单元，用于识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图；投影单元，用于基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及填充单元，用于基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。本专利技术还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项中所述的人脸的纹理贴图生成方法；所述处理器被设置为通过所述计算机程序执行上述任一项中所述的人脸的纹理贴图生成方法。与现有技术相比，本专利技术提供的一种人脸的纹理贴图生成方法、系统及电子设备，具有以下优点：1、通过剔除所述眼睛特征，将眼睛图像与其他的人脸图像独立进行纹理贴图的构建后重新融合，以获得最终的纹理贴图，使得在重建人脸的其他特征时，可避免对眼睛特征进行干扰，让眼睛特征独立进行构建，提高了眼睛贴图部分的构建准确性。2、通过柱状投影方式获取每一顶点在纹理贴图上的二维坐标，以获得纹理网格图，计算更简单，提高计算效率。3、通过判断所述网格是否位于正视图像上，可将正视图像对应的眼睛特征进行准确的构建，避免出现较大误差，提高纹理贴图对眼睛部分的准确构建。同时，侧视图像中眼睛区域较小，在侧视的纹理中对该区域的眼睛特征构建容易造成较大误差，通过网格临近像素值进行填充，避免对正视图像中的眼睛特征造成影响，将纹理贴图成像造成的误差降低。【附图说明】图1为本专利技术第一实施例提供的一种人脸的纹理贴图生成方法的流程图。图2为本专利技术第一实施例提供的一种人脸的纹理贴图生成方法中步骤S1的细节流程图。图3为本专利技术第一实施例提供的一种人脸的纹理贴图生成方法的步骤S2的细节流程图。图4为本专利技术第一实施例提供的一种人脸的纹理贴图生成方法的步骤S4的细节流程图。图5为本专利技术第二实施例提供的一种人脸的纹理贴图生成系统的模块图。图6为本专利技术第三实施例提供的一种电子设备的模块图。附图标记说明：1、模型及图像获取单元；2、特征分割单元；3、投影单元；4、获取单元；10、存储器；20、处理器；【具体实施方式】为了使本专利技术的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，本专利技术第一实施例提供一种人脸的纹理贴图生成方法，包括以下步骤：步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数。可以理解，所述人脸网格模型可基于三维人脸重建算法获得，所述三维人脸重建算法包括但不限于多视图立体视觉的重建方法、单目视频重建及基于结构光重建的任一种。可以理解，所述目标对象的多张人脸图像通过多个视角进行采集，其中包括至少一张人脸的正视图像。上述图像的获取可以通过相机拍摄或视频截取获得，例如，在本实施例中，可通过相机拍摄不同角度的人脸图像，人脸朝向与相机的光轴夹角α范围在-10°＜α＜10°定义为所述正视图像。步骤S2：识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及缺眼正视图、缺眼侧视图。可以理解，通过剔除所述眼睛特征，使得在重建人脸的其他特征时，可避免对眼睛特征进行干扰，让眼睛特征独立进行构建，提高了眼睛贴图部分的构建准确性。步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图。可以理解，在步骤S3中，由于人脸外形与柱状结构相近，故采用柱状投影方式进行投影，根据柱状投影方式确定每一网格对应的二维坐标，使得投影获得的纹理网格图符合人脸本文档来自技高网...

【技术保护点】
1.一种人脸的纹理贴图生成方法，其特征在于：包括如下步骤:/n步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；/n步骤S2：识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图；/n步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及/n步骤S4：基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。/n

【技术特征摘要】
1.一种人脸的纹理贴图生成方法，其特征在于：包括如下步骤:
步骤S1：获取目标对象的人脸网格模型和通过多个视角采集到的所述目标对象的多张人脸图像，所述人脸图像包括至少一人脸的正视图像和至少左右各一张侧视图像，并获取各个人脸图像对应的视角参数；
步骤S2：识别所述人脸的正视图像及侧视图像中的眼睛特征，并将眼睛特征剔除出所述人脸的正视图像及侧视图像，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图；
步骤S3：基于所述人脸网格模型中每一网格的顶点对应的三维坐标，根据柱状投影方式计算每一顶点在纹理贴图上的二维坐标，以获得纹理网格图；及
步骤S4：基于所述眼睛图像、缺眼正视图及缺眼侧视图，对所述纹理网格图进行像素填充，获得人脸的纹理贴图。


2.如权利要求1中所述人脸的纹理贴图生成方法，其特征在于：上述步骤S2主要包括以下步骤：
步骤S21：获取所述人脸的正视图像及侧视图像中每一特征点对应的二维坐标；及
步骤S22：基于步骤S21中的二维坐标，将人脸的正视图像及侧视图像中眼睛特征对应的区域进行裁剪，以获得眼睛图像及正视图像对应的缺眼正视图、缺眼侧视图。


3.如权利要求1中所述人脸的纹理贴图生成方法，其特征在于：上述步骤S1主要包括以下步骤：
步骤S11：获取目标对象的人脸网格模型，所述人脸网格模型上包括多个网格及网格对应的顶点；及
步骤S12：获取所述人脸的正视图像、左视图像及右视图像及获取正视图像、左视图像及右视图像对应的视角参数。


4.如权利要求3中所述人脸的纹理贴图生成方法，其特征在于：步骤S11中获取目标对象的人脸网格模型包括但...

【专利技术属性】
技术研发人员：朱向军，王洁，应亚萍，
申请(专利权)人：浙江工业大学之江学院，
类型：发明
国别省市：浙江;33