人脸简笔画生成方法及装置制造方法及图纸

本发明专利技术公开了一种人脸简笔画生成方法及装置，包括：识别人脸图像中人脸各部位区域；从人脸图像中裁剪出每一部位区域对应的图像块；将人脸图像输入已训练的全局肖像生成模型，以使全局肖像生成模型生成所述人脸图像的全局人脸简笔画；针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使局部肖像生成模型生成该部位区域的局部人脸简笔画；将全局人脸简笔画和各个局部人脸简笔画进行融合得到最终人脸简笔画。本发明专利技术旨在将人脸不同部位之间的差异性考虑在内，以克服人脸不同部位图像域表示对简笔画合成质量的影响，结合不同部位区域在简笔画中的表示模式，合成清晰美观、纹理逼真的高质量人脸简笔画。

The method and device of generating face simple strokes

【技术实现步骤摘要】
人脸简笔画生成方法及装置
本专利技术涉及计算机
，具体涉及一种人脸简笔画生成方法及装置。
技术介绍
将人脸图像转换为简笔画，在公共安全领域和数字娱乐领域均具有很重要的应用价值。在传统图像处理方法中，如果要使生成的简笔画效果好，需要图像处理方法的运算复杂度很高，这难以满足实时性的需求，随着机器学习技术的发展，基于机器学习的图像处理技术比传统的图像处理技术运算速度高且精确度也高，因此衍生出很多由人脸图像生成简笔画的机器学习模型。然而，这些机器学习模型由人脸图像生成的简笔画的鲁棒性很差，人脸不同区域在图像和简笔画中的外在表达存在很大差异，合成效果不佳。
技术实现思路
本专利技术的目的是针对上述现有技术的不足提出的一种人脸简笔画生成方法及装置，该目的是通过以下技术方案实现的。本专利技术的第一方面提出了一种人脸简笔画生成方法，所述方法包括：从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画。本专利技术的第二方面提出了一种人脸简笔画生成装置，所述装置包括：识别模块，用于从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；裁剪模块，用于复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；全局合成模块，用于将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；局部合成模块，用于针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；融合模块，用于将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画。在本专利技术实施例中，通过识别出人脸图像中人脸各不同部位区域，并生成各个部位区域对应的局部人脸简笔画，然后通过将全局人脸简笔画和不同部位区域的局部人脸简笔画融合得到最终的人脸简笔画，以克服人脸不同部位图像域表示对简笔画合成质量的影响，从而结合不同部位区域在简笔画中的表示模式，可以合成清晰美观、纹理逼真的高质量人脸简笔画。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术根据一示例性实施例示出的一种人脸简笔画生成方法的实施例流程图；图2为本专利技术示出的一种人脸不同部位区域的分割示意图；图3为本专利技术示出的一种全局人脸简笔画与各局部人脸简笔画融合流程示意图；图4为本专利技术根据一示例性实施例示出的一种电子设备的硬件结构图；图5为本专利技术根据一示例性实施例示出的一种人脸简笔画生成装置的实施例流程图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本专利技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。由于现有机器学习模型采用的是全局合成策略，因此难以在所有区域得到高质量效果，为了提升现有机器学习模型合成人脸简笔画的质量，本专利技术提出的人脸简笔画生成方法，旨在将人脸不同部位之间的差异性考虑在内，以克服人脸不同部位图像域表示对简笔画合成质量的影响，结合不同部位区域在简笔画中的表示模式，合成清晰美观、纹理逼真的高质量人脸简笔画。下面以具体实施例对本专利技术提出的人脸简笔画生成方法进行详细说明。图1为本专利技术根据一示例性实施例示出的一种人脸简笔画生成方法的实施例流程图，所述人脸简笔画生成方法可以应用于电子设备(如PC机、终端、服务器等设备)上。如图1所示，所述人脸简笔画生成方法包括如下步骤：步骤101：从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域。在一实施例中，针对从接收到的图像中裁剪出人脸图像的过程，可以通过将所述图像输入已训练的人脸检测模型，以使所述人脸检测模型检测所述图像中的人脸，并预测人脸关键点的位置，进而依据所述人脸关键点的位置对所述图像进行仿射变换，以校正所述图像中的人脸，最后从仿射变换后的图像中裁剪出设定尺寸的人脸图像。其中，人脸关键点可以包括左眼中心、右眼中心、鼻尖、两个嘴角等关键位置。通过仿射变换可以校正图像中的人脸。可选的，通过仿射变换可以使图像中人脸的左眼和右眼位于水平位置，且左眼与右眼之间为设定像素距离。例如，通过仿射变换可以将左眼与右眼调整到水平位置，且两眼之间调整为120个像素距离，在进行裁剪时，可以沿两眼到图像上边缘距离为250个像素的边界开始，裁剪出512*512像素大小的人脸图像，且两眼中心点位于人脸图像的垂直中心线上。本领域技术人员可以理解的是，人脸检测模型可以采用相关技术中实现，本专利技术对人脸检测模型的具体实现方式不进行限定，如可以采用MTCNN模型进行人脸关键点检测。在一实施例中，针对识别人脸图像中人脸各部位区域的过程，可以通过将所述人脸图像输入已训练的人脸解析模型，以使所述人脸解析模型对所述人脸图像中的人脸各部位区域进行分割，得到各部位区域在人脸图像中的位置。其中，人脸各部位区域可以包括左眉、右眉、左眼、右眼、鼻子、嘴部等六个部位区域。示例性的，人脸解析模型可以输出人脸图像对应的像素级标签掩码图，掩码图中不同的标签表示人脸的不同部位区域。可选的，在使用人脸解析模型对人脸图像进行分割时，还可以分割出人脸图像中的面部、头发、颈部、躯干以及背景等六个区域。参见图2，为由人脸解析模型输出的11个区域对应的解析结果，由图2所示，11个区域包括左眉、右眉、左眼、右眼本文档来自技高网...

【技术保护点】
1.一种人脸简笔画生成方法，其特征在于，所述方法包括：/n从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；/n复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；/n将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；/n针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；/n将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画。/n

【技术特征摘要】
1.一种人脸简笔画生成方法，其特征在于，所述方法包括：
从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；
复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；
将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；
针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；
将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画。


2.根据权利要求1所述的方法，其特征在于，从接收到的图像中裁剪出人脸图像，包括：
将所述图像输入已训练的人脸检测模型，以使所述人脸检测模型检测所述图像中的人脸，并预测人脸关键点的位置；
依据所述人脸关键点的位置对所述图像进行仿射变换，以校正所述图像中的人脸；
从仿射变换后的图像中裁剪出设定尺寸的人脸图像。


3.根据权利要求1所述的方法，其特征在于，识别人脸图像中人脸各部位区域，包括：
将所述人脸图像输入已训练的人脸解析模型，以使所述人脸解析模型对所述人脸图像中的人脸各部位区域进行分割，得到各部位区域在人脸图像中的位置。


4.根据权利要求1所述的方法，其特征在于，所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画，包括：
通过本全局肖像生成模型中的输入模块获取简笔画风格图像，并将所述简笔画风格图像和所述人脸图像输出给本全局肖像生成模型中的编码模块；
所述编码模块分别提取所述简笔画风格图像的第一特征图和所述人脸图像的第二特征图并输出给本全局肖像生成模型中的风格自适应模块；
所述风格自适应模块基于所述第一特征图和所述第二特征图获得风格特征图并输出给本全局肖像生成模型中的解码模块；
所述解码模块基于所述风格特征图合成全局人脸简笔画。


5.根据权利要求1所述的方法，其特征在于，各部位区域对应的局部肖像生成模型的训练采用生成对抗网络GAN的模型结构进行训练。


6.根据权利要求5所述的方法，其特征在于，各部位区域对应的局部肖像生成模型的训练过程包括：
获取包括人脸样本和对应的人脸简笔画样本的训练样本集；
针对所述训练样本集中的每一人脸样本，识别该人脸样本中人脸各部位区域，并从该人脸样本中裁剪出每一部位区域对应的图像样本块p，并从对应的人脸简笔画样本中裁剪出每一部位区域对应的简笔画样本块q；
针对每一部位...

【专利技术属性】
技术研发人员：高飞，朱静洁，李鹏，俞泽远，王韬，
申请(专利权)人：浙江省北大信息技术高等研究院，杭州未名信科科技有限公司，
类型：发明
国别省市：浙江;33