美妆处理方法、装置、终端以及存储介质制造方法及图纸

本公开提供了一种美妆处理方法、装置、终端以及存储介质，其中的方法包括：对采集的用户图像进行人脸识别，获取第一人脸特征信息；基于美妆模板的第二人脸特征信息与第一人脸特征信息之间的匹配结果从多个美妆模板中选取与用户图像相匹配的目标美妆模板；确定需要进行妆容处理的目标处理区域，获取与目标美妆模板相对应的美妆信息，生成与目标图片贴图，将目标图片贴图与相对应的目标处理区域进行融合处理，用以对用户图像进行美妆处理。本公开的方法、装置、终端以及存储介质，能够根据用户的面部特征智能地推荐适合的妆容并进行虚拟上妆，提供更精确、更真实的试妆体验，能够提高AR美妆的效率和效果，提高用户的使用感受度。

【技术实现步骤摘要】
美妆处理方法、装置、终端以及存储介质
本专利技术涉及图像处理
，尤其涉及一种美妆处理方法、装置、终端以及存储介质。
技术介绍
增强现实(AugmentedReality，简称AR)是将真实世界信息和虚拟世界信息“无缝”集成的新技术，可以在屏幕上把虚拟世界套在现实世界并进行互动。AR技术的用途越来越广，例如AR化妆应用等。用户在使用AR化妆应用时，通过虚拟化妆台可以选择不同颜色的口红、眼妆等，可快速实现用户对化妆方面的体验需求。但是，使用现有的AR化妆应用时，需要用户具备一定的专业化妆知识，并且由用户自己选择多种妆容进行组合，使得用户选择适合自己的妆容比较困难、繁琐。
技术实现思路
有鉴于此，本专利技术要解决的一个技术问题是提供一种美妆处理方法、装置、终端以及存储介质。根据本公开的一个方面，提供一种美妆处理方法，包括：对采集的用户图像进行人脸识别，获取第一人脸特征信息；获取与预设的美妆模板相对应的第二人脸特征信息，基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板；在所述用户图像中确定需要进行妆容处理的目标处理区域，获取与所述目标美妆模板相对应的美妆信息，基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图；将所述目标图片贴图与相对应的所述目标处理区域进行融合处理，用以对所述用户图像进行美妆处理。可选地，所述在所述用户图像中确定需要进行妆容处理的目标处理区域包括：对所述用户图像进行人脸检测处理，提取人脸特征点并确定所述目标处理区域；其中，所述人脸特征点包括：与面部五官相对应的多个特征点；所述目标处理区域包括：面部五官图像区域。可选地，所述基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图包括：在所述用户图像中获取与所述目标处理区域相对应的目标图像；基于所述美妆信息和所述目标图像制作所述目标图片贴纸；其中，所述美妆信息包括：美妆类型、美妆工具信息、美妆图像色彩和厚度信息；所述目标图片贴纸包括：面部五官图片贴纸。可选地，所述将所述目标图片贴图与相对应的所述目标处理区域进行融合处理包括：基于所述人脸特征点对所述目标图片贴纸进行变形处理，以使所述目标图片贴纸与相对应的所述目标处理区域对齐；将进行变形处理后的所述目标图片贴纸与相对应的所述目标处理区域进行图层融合处理。可选地，对所述用户图像进行检测，获取光照强度信息；基于所述光照强度信息对进行美妆处理后的所述用户图像进行光平衡处理；对进行光平衡处理后的所述用户图像进行图像渲染处理。可选地，所述第一人脸特征信息包括：第一人脸五官特征向量；所述第二人脸特征信息包括：第二人脸五官特征向量；所述基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板包括：获取第一人脸五官特征向量与所述第二人脸五官特征向量之间的相似度；基于所述相似度从多个所述美妆模板中选取所述目标美妆模板。可选地，在选取所述目标美妆模板后，生成用于向用户显示的美妆推荐信息；其中，所述美妆推荐信息包括：美妆类型、美妆工具信息和美妆工具商品链接信息。根据本公开的另一方面，提供一种美妆处理装置，包括：人脸识别模块，用于对采集的用户图像进行人脸识别，获取第一人脸特征信息；模板选取模块，用于获取与预设的美妆模板相对应的第二人脸特征信息，基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板；贴图生成模块，用于在所述用户图像中确定需要进行妆容处理的目标处理区域，获取与所述目标美妆模板相对应的美妆信息，基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图；图像处理模块，用于将所述目标图片贴图与相对应的所述目标处理区域进行融合处理，用以对所述用户图像进行美妆处理。可选地，所述贴图生成模块，包括：区域确定单元，用于对所述用户图像进行人脸检测处理，提取人脸特征点并确定所述目标处理区域；其中，所述人脸特征点包括：与面部五官相对应的多个特征点；所述目标处理区域包括：面部五官图像区域。可选地，所述贴图生成模块，包括：图片制作单元，用于在所述用户图像中获取与所述目标处理区域相对应的目标图像，基于所述美妆信息和所述目标图像制作所述目标图片贴纸；其中，所述美妆信息包括：美妆类型、美妆工具信息、美妆图像色彩和厚度信息；所述目标图片贴纸包括：面部五官图片贴纸。可选地，所述图像处理模块，用于基于所述人脸特征点对所述目标图片贴纸进行变形处理，以使所述目标图片贴纸与相对应的所述目标处理区域对齐；将进行变形处理后的所述目标图片贴纸与相对应的所述目标处理区域进行图层融合处理。可选地，图像处理模块，用于对所述用户图像进行检测，获取光照强度信息；基于所述光照强度信息对进行美妆处理后的所述用户图像进行光平衡处理；对进行光平衡处理后的所述用户图像进行图像渲染处理。可选地，所述第一人脸特征信息包括：第一人脸五官特征向量；所述第二人脸特征信息包括：第二人脸五官特征向量；所述模板选取模块，用于获取第一人脸五官特征向量与所述第二人脸五官特征向量之间的相似度；基于所述相似度从多个所述美妆模板中选取所述目标美妆模板。可选地，美妆推荐模块，用于在选取所述目标美妆模板后，生成用于向用户显示的美妆推荐信息；其中，所述美妆推荐信息包括：美妆类型、美妆工具信息和美妆工具商品链接信息。根据本公开的又一方面，提供一种美妆处理装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。根据本公开的又一方面，提供一种终端，包括：如上所述的美妆处理装置。根据本公开的再一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如上所述的方法。本公开的美妆处理方法、装置、终端以及存储介质，根据与美妆模板的第二人脸特征信息与用户图像的第一人脸特征信息之间的匹配结果选取目标美妆模板，基于与目标美妆模板的美妆信息生成目标图片贴图，通过将目标图片贴图与目标处理区域进行融合处理，实现对用户图像的美妆处理；能够根据用户的面部特征智能地推荐适合的妆容并进行虚拟上妆，提供更精确、更真实的试妆体验，能够提高AR美妆的效率和效果。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为根据本公开的美妆处理方法的一个实施例的流程示意图；图2为根据本公开的美妆处理方法的一个实施例中的选取目标美妆模板的流程示意图；图3A为手机的摄像头采集的用户图像；图3B为与用户图像相似度较高的明星图像；图4为根据本公开的美妆处理方法的一个实施例中的本文档来自技高网...

【技术保护点】
1.一种美妆处理方法，包括：/n对采集的用户图像进行人脸识别，获取第一人脸特征信息；/n获取与预设的美妆模板相对应的第二人脸特征信息，基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板；/n在所述用户图像中确定需要进行妆容处理的目标处理区域，获取与所述目标美妆模板相对应的美妆信息，基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图；/n将所述目标图片贴图与相对应的所述目标处理区域进行融合处理，用以对所述用户图像进行美妆处理。/n

【技术特征摘要】
1.一种美妆处理方法，包括：
对采集的用户图像进行人脸识别，获取第一人脸特征信息；
获取与预设的美妆模板相对应的第二人脸特征信息，基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板；
在所述用户图像中确定需要进行妆容处理的目标处理区域，获取与所述目标美妆模板相对应的美妆信息，基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图；
将所述目标图片贴图与相对应的所述目标处理区域进行融合处理，用以对所述用户图像进行美妆处理。


2.如权利要求1所述的方法，所述在所述用户图像中确定需要进行妆容处理的目标处理区域包括：
对所述用户图像进行人脸检测处理，提取人脸特征点并确定所述目标处理区域；
其中，所述人脸特征点包括：与面部五官相对应的多个特征点；所述目标处理区域包括：面部五官图像区域。


3.如权利要求2所述的方法，所述基于所述美妆信息生成与所述目标处理区域相对应的目标图片贴图包括：
在所述用户图像中获取与所述目标处理区域相对应的目标图像；
基于所述美妆信息和所述目标图像制作所述目标图片贴纸；
其中，所述美妆信息包括：美妆类型、美妆工具信息、美妆图像色彩和厚度信息；所述目标图片贴纸包括：面部五官图片贴纸。


4.如权利要求3所述的方法，所述将所述目标图片贴图与相对应的所述目标处理区域进行融合处理包括：
基于所述人脸特征点对所述目标图片贴纸进行变形处理，以使所述目标图片贴纸与相对应的所述目标处理区域对齐；
将进行变形处理后的所述目标图片贴纸与相对应的所述目标处理区域进行图层融合处理。


5.如权利要求1所述的方法，还包括：
对所述用户图像进行检测，获取光照强度信息；
基于所述光照强度信息对进行美妆处理后的所述用户图像进行光平衡处理；
对进行光平衡处理后的所述用户图像进行图像渲染处理。


6.如权利要求1所述的方法，所述第一人脸特征信息包括：第一人脸五官特征向量；所述第二人脸特征信息包括：第二人脸五官特征向量；所述基于所述第二人脸特征信息与所述第一人脸特征信息之间的匹配结果从多个所述美妆模板中选取与所述用户图像相匹配的目标美妆模板包括：
获取第一人脸五官特征向量与所述第二人脸五官特征向量之间的相似度；
基于所述相似度从多个所述美妆模板中选取所述目标美妆模板。


7.如权利要求1所述的方法，还包括：
在选取所述目标美妆模板后，生成用于向用户显示的美妆推荐信息；
其中，所述美妆推荐信息包括：美妆类型、美妆工具信息和美妆工具商品链接信息。


8.一种美妆处理装置，包括：
人脸识别模块，用于对采集的用户图像进行人脸识别，获取第一人脸特征信息；
模板选取模块，用于获取与预设的美妆模板相...

【专利技术属性】
技术研发人员：姚军勇，卢毓智，
申请(专利权)人：北京沃东天骏信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11