基于局域监督的人脸三维卡通化方法、装置、设备及介质制造方法及图纸

本申请涉及图像处理技术领域，揭露一种基于局域监督的人脸三维卡通化方法、装置、设备及介质，其中方法包括获取样本人脸图像和样本人脸三维卡通化图像；对样本人脸图像进行人脸卡通化处理，并对得到的基础人脸三维卡通化图像进行关键点检测，并基于到的的人脸关键点，对基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像；计算局部人脸三维图像的结构相似度，调整卷积神经网络模型的预设模型参数，对样本人脸图像进行迭代处理，得到目标卷积神经网络模型；通过目标卷积神经网络模型对待处理人脸图像进行处理，得到目标人脸三维卡通化图像。本发明专利技术实施例通过对人脸图像的不同器官进行局部监督，提高人脸三维卡通化的精度。度。度。

【技术实现步骤摘要】
基于局域监督的人脸三维卡通化方法、装置、设备及介质


[0001]本申请涉及图像处理
，尤其涉及一种基于局域监督的人脸三维卡通化方法、装置、设备及介质。

技术介绍

[0002]随着元宇宙概念的兴起，三维虚拟人物的相关应用陡增，基于图像生成技术的人脸算法也迎来了新的挑战。与二维人脸卡通化算法不同，三维人脸的色彩细腻度更高，而三维卡通化往往需要考虑景深和色彩变化等更多的立体信息。
[0003]现有的算法主要集中在二维动漫风格卡通化上，对于三维卡通化还处在探索阶段，已有的算法往往很难兼顾颜色准确度和细腻度。针对人脸三维卡通化主流方法通常使用生成式对抗网络(GAN)完成，将人脸作为算法输入，由生成器生成对应的三维卡通化人脸结果，鉴别器则判断生成器是否是伪造的数据。但是由于三维人脸的立体性和对像素颗粒密度的高要求，现有方式难以达到三维人脸的立体性和对像素颗粒密度的高要求，从而导致现有的方式对人脸三维卡通化的精度较低。

技术实现思路

[0004]本申请实施例的目的在于提出一种基于局域监督的人脸三维卡通化方法、装置、设备及介质，以提高人脸三维卡通化的精度。
[0005]为了解决上述技术问题，本申请实施例提供一种基于局域监督的人脸三维卡通化方法，包括：
[0006]获取样本人脸图像和所述样本人脸图像对应的样本人脸三维卡通化图像；
[0007]通过卷积神经网络模型对所述样本人脸图像进行人脸卡通化处理，得到基础人脸三维卡通化图像；
[0008]采用预设方式对所述基础人脸三维卡通化图像进行关键点检测，得到人脸关键点，并基于所述人脸关键点，对所述基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像，其中，所述目标局部人脸三维图像包括眼睛图像、鼻子图像以及嘴巴图像；
[0009]计算所述样本人脸三维卡通化图像的局部人脸三维图像与所述目标局部人脸三维图像的结构相似度，得到初始结构相似度；
[0010]基于所述初始结构相似度，调整所述卷积神经网络模型的预设模型参数，并通过调整后的卷积神经网络模型对所述样本人脸图像进行迭代处理，直至得到的最新结构相似度小于预设阈值，得到目标卷积神经网络模型；
[0011]获取待处理人脸图像，并通过所述目标卷积神经网络模型对所述待处理人脸图像进行人脸卡通化处理，得到目标人脸三维卡通化图像。
[0012]进一步的，所述通过卷积神经网络模型对所述样本人脸图像进行人脸卡通化处理，得到基础人脸三维卡通化图像，包括：
[0013]通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得
到人脸特征信息；
[0014]通过卷积神经网络模型的卷积层对所述人脸特征信息进行整合和压缩处理，得到目标人脸特征信息；
[0015]通过卷积神经网络模型的解码卷积块对所述人脸特征信息进行解码处理，得到所述基础人脸三维卡通化图像。
[0016]进一步的，在所述通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得到人脸特征信息之前，所述方法还包括：
[0017]识别所述样本人脸图像中的人脸区域；
[0018]基于所述人脸区域，对所述人脸图像进行二分类处理，得到遮罩图像；
[0019]通过对所述样本人脸图像与所述遮罩图像进行二值化处理，去除所述样本人脸图像中的背景，得到去除背景的样本人脸图像。
[0020]进一步的，所述通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得到人脸特征信息，包括：
[0021]通过卷积神经网络模型的编码卷积块对所述样本人脸图像中的特征信息进行提取，得到高维向量信息；
[0022]采用主成分分析算法，将所述高维向量信息转化为低维向量信息，并将所述低维向量信息作为所述人脸特征信息。
[0023]进一步的，所述采用预设方式对所述基础人脸三维卡通化图像进行关键点检测，得到人脸关键点，并基于所述人脸关键点，对所述基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像，包括：
[0024]采用预设的人脸关键点检测模型对所述基础人脸三维卡通化图像进行关键点检测，得到所述人脸关键点；
[0025]选取所述人脸关键点中的预设关键点，并基于所述预设关键点，生成局部区域；
[0026]基于所述局部区域，对所述基础人脸三维卡通化图像进行分割，得到所述目标局部人脸三维图像。
[0027]进一步的，所述计算所述样本人脸三维卡通化图像的局部人脸三维图像与所述目标局部人脸三维图像的结构相似度，得到初始结构相似度，包括：
[0028]基于所述预设关键点，将所述样本人脸三维卡通化图像进行分割，得到初始局部人脸三维图像，其中，所述初始局部人脸三维图像包括眼睛图像、鼻子图像以及嘴巴图像；
[0029]将所述初始局部人脸三维图像与对应的所述目标局部人脸三维图像进行分组，得到眼睛图像组合、鼻子图像组合以及嘴巴图像组合；
[0030]分别计算所述眼睛图像组合、所述鼻子图像组合以及所述嘴巴图像组合的结构相似度，得到所述初始结构相似度，其中，所述初始结构相似度包括眼睛相似度、鼻子相似度以及嘴巴相似度。
[0031]进一步的，所述基于所述初始结构相似度，调整所述卷积神经网络模型的预设模型参数，并通过调整后的卷积神经网络模型对所述样本人脸图像进行迭代处理，直至得到的最新结构相似度小于预设阈值，得到目标卷积神经网络模型，包括：
[0032]判断所述结构相似度是否小于所述预设阈值，得到判断结果；
[0033]若所述判断结果为所述结构相似度未小于所述预设阈值，则调整所述卷积神经网
络模型的预设模型参数，得到调整后的卷积神经网络模型；
[0034]通过所述调整后的卷积神经网络模型对所述样本人脸图像进行迭代处理，其中，每次所述迭代处理均得到所述最新结构相似度；
[0035]当所述最新结构相似度小于所述预设阈值，得到目标卷积神经网络模型。
[0036]为了解决上述技术问题，本申请实施例提供一种基于局域监督的人脸三维卡通化装置，包括：
[0037]样本人脸图像获取模块，用于获取样本人脸图像和所述样本人脸图像对应的样本人脸三维卡通化图像；
[0038]基础人脸图像生成模块，用于通过卷积神经网络模型对所述样本人脸图像进行人脸卡通化处理，得到基础人脸三维卡通化图像；
[0039]目标局部图像生成模块，用于采用预设方式对所述基础人脸三维卡通化图像进行关键点检测，得到人脸关键点，并基于所述人脸关键点，对所述基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像，其中，所述目标局部人脸三维图像包括眼睛图像、鼻子图像以及嘴巴图像；
[0040]初始结构相似度计算模块，用于计算所述样本人脸三维卡通化图像的局部人脸三维图像与所述目标局部人脸三维图像的结构相似度，得到初始结构相似度；
[0041]卷积神经网络模型训练模块，用于基于所述初始结构相似度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局域监督的人脸三维卡通化方法，其特征在于，包括：获取样本人脸图像和所述样本人脸图像对应的样本人脸三维卡通化图像；通过卷积神经网络模型对所述样本人脸图像进行人脸卡通化处理，得到基础人脸三维卡通化图像；采用预设方式对所述基础人脸三维卡通化图像进行关键点检测，得到人脸关键点，并基于所述人脸关键点，对所述基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像，其中，所述目标局部人脸三维图像包括眼睛图像、鼻子图像以及嘴巴图像；计算所述样本人脸三维卡通化图像的局部人脸三维图像与所述目标局部人脸三维图像的结构相似度，得到初始结构相似度；基于所述初始结构相似度，调整所述卷积神经网络模型的预设模型参数，并通过调整后的卷积神经网络模型对所述样本人脸图像进行迭代处理，直至得到的最新结构相似度小于预设阈值，得到目标卷积神经网络模型；获取待处理人脸图像，并通过所述目标卷积神经网络模型对所述待处理人脸图像进行人脸卡通化处理，得到目标人脸三维卡通化图像。2.根据权利要求1所述的基于局域监督的人脸三维卡通化方法，其特征在于，所述通过卷积神经网络模型对所述样本人脸图像进行人脸卡通化处理，得到基础人脸三维卡通化图像，包括：通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得到人脸特征信息；通过卷积神经网络模型的卷积层对所述人脸特征信息进行整合和压缩处理，得到目标人脸特征信息；通过卷积神经网络模型的解码卷积块对所述人脸特征信息进行解码处理，得到所述基础人脸三维卡通化图像。3.根据权利要求2所述的基于局域监督的人脸三维卡通化方法，其特征在于，在所述通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得到人脸特征信息之前，所述方法还包括：识别所述样本人脸图像中的人脸区域；基于所述人脸区域，对所述人脸图像进行二分类处理，得到遮罩图像；通过对所述样本人脸图像与所述遮罩图像进行二值化处理，去除所述样本人脸图像中的背景，得到去除背景的样本人脸图像。4.根据权利要求2所述的基于局域监督的人脸三维卡通化方法，其特征在于，所述通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得到人脸特征信息，包括：通过卷积神经网络模型的编码卷积块对所述样本人脸图像中的特征信息进行提取，得到高维向量信息；采用主成分分析算法，将所述高维向量信息转化为低维向量信息，并将所述低维向量信息作为所述人脸特征信息。5.根据权利要求1所述的基于局域监督的人脸三维卡通化方法，其特征在于，所述采用预设方式对所述基础人脸三维卡通化图像进行关键点检测，得到人脸关键点，并基于所述
人脸关键点，对所述基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像，包括：采用预设的人脸关键点检测模型对所述基础人脸三维卡通化图像进行关键点检测，得到所述人脸关键点；选取所述人脸关键点中的预设关键点，并基于所述预设关键点，生成局部区域；基于所述局部区域，对所述基础人脸三维卡通化图像进行分割，得到所述目标局部人脸三维图像。6.根据权利要求5所述的基于局域监督的人脸三维卡通化方法，其...

【专利技术属性】
技术研发人员：张文雷，齐镗泉，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：