图像美颜处理方法、装置、存储介质与电子设备制造方法及图纸

本公开提供一种图像美颜处理方法、装置、存储介质与电子设备，涉及图像与视频处理技术领域。该图像美颜处理方法包括：获取待美颜人脸图像；通过预先训练的深度神经网络对所述待美颜人脸图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待美颜人脸图像的空域与像素值域所形成的三维空间进行划分而得到的；利用所述信息矩阵对所述待美颜人脸图像进行处理，得到所述待美颜人脸图像对应的美颜人脸图像。本公开改善了图像美颜效果，并降低了计算量。并降低了计算量。并降低了计算量。

【技术实现步骤摘要】
图像美颜处理方法、装置、存储介质与电子设备


[0001]本公开涉及图像与视频处理
，尤其涉及一种图像美颜处理方法、图像美颜处理装置、计算机可读存储介质与电子设备。

技术介绍

[0002]美颜是指利用图像处理技术对图像或视频中的人像进行美化处理，以更好地满足用户的审美需求。
[0003]相关技术中，图像美颜处理通常包括固定的多个算法流程，例如基于人为设计的图像特征计算、空间滤波处理、图层融合等。然而，实际拍摄场景中可能面临复杂多样的光照条件，且拍摄对象的皮肤状况多种多样，采用上述方法无法较好地应对不同的情况，导致美颜效果不理想。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开提供一种图像美颜处理方法、图像美颜处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善图像美颜效果。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的第一方面，提供一种图像美颜处理方法，包括：获取待美颜人脸图像；通过预先训练的深度神经网络对所述待美颜人脸图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待美颜人脸图像的空域与像素值域所形成的三维空间进行划分而得到的；利用所述信息矩阵对所述待美颜人脸图像进行处理，得到所述待美颜人脸图像对应的美颜人脸图像。
[0008]根据本公开的第二方面，提供一种图像美颜处理装置，包括：图像获取模块，被配置为获取待美颜人脸图像；信息矩阵生成模块，被配置为通过预先训练的深度神经网络对所述待美颜人脸图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待美颜人脸图像的空域与像素值域所形成的三维空间进行划分而得到的；美颜处理模块，被配置为利用所述信息矩阵对所述待美颜人脸图像进行处理，得到所述待美颜人脸图像对应的美颜人脸图像。
[0009]根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像美颜处理方法及其可能的实施方式。
[0010]根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像美颜处理方法及其可能的实施方式。
[0011]本公开的技术方案具有以下有益效果：
[0012]基于本公开的图像美颜处理方法，一方面，通过深度神经网络的处理实现去瑕疵或其他美颜功能，以替代相关技术中固定的多个算法流程，增加了图像美颜处理的灵活性，适用于多样的光照条件或皮肤状况，改善了图像美颜效果，并且降低了耗时与内存占用。另一方面，本方案中的深度神经网络输出信息矩阵，并不直接输出美颜后的图像，由此减少了深度神经网络的计算量，有利于实现轻量化的网络，降低方案的实现成本。
[0013]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0014]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1示出本示例性实施方式中一种系统架构的示意图；
[0016]图2示出本示例性实施方式中一种电子设备的结构示意图；
[0017]图3示出本示例性实施方式中一种图像美颜处理方法的流程图；
[0018]图4示出本示例性实施方式中一种生成待美颜人脸图像的流程图；
[0019]图5示出本示例性实施方式中一种获取待确定人脸的稳定包围盒的流程图；
[0020]图6示出本示例性实施方式中一种组合原始人脸子图像的示意图；
[0021]图7示出本示例性实施方式中一种深度神经网络以及图像美颜处理的示意图；
[0022]图8示出本示例性实施方式中一种获得信息矩阵的流程图；
[0023]图9示出本示例性实施方式中根据美颜信息矩阵得到美颜人脸图像的流程图；
[0024]图10示出本示例性实施方式中一种训练深度神经网络的流程图；
[0025]图11示出本示例性实施方式中一种边界区域渐变处理的示意图；
[0026]图12示出本示例性实施方式中一种图像美颜处理方法的示意性流程图；
[0027]图13示出本示例性实施方式中一种图像美颜处理装置的结构示意图。
具体实施方式
[0028]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
[0029]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功
能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0030]人像去瑕疵是图像美颜处理的一部分，通常是图像美颜处理中的第一阶段处理。人像去瑕疵包括但不限于祛斑祛痘、祛眼袋、显脏嘴角处理、光影平整、干燥唇纹处理等。在人像去瑕疵之后，可以继续进行磨皮、肤色调整、五官形变、亮度调整等处理。
[0031]相关技术中，人像去瑕疵的效果依赖于人为设计的图像特征计算。而人为设计的图像特征计算难以应对实际应用中的所有情况，通常难以准确、充分地检测出皮肤上的瑕疵，导致人像瑕疵去除不干净。并且，相关技术还存在人像去瑕疵后皮肤不真实的问题，例如人脸的痣被去除后与周围的皮肤形成反差，导致看上去不自然。
[0032]鉴于上述一个或多个问题，本公开的示例性实施方式提供一种图像美颜处理方法。下面结合图1对本示例性实施方式运行环境的系统架构与应用场景进行示例性说明。
[0033]图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像美颜处理方法，其特征在于，包括：获取待美颜人脸图像；通过预先训练的深度神经网络对所述待美颜人脸图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待美颜人脸图像的空域与像素值域所形成的三维空间进行划分而得到的；利用所述信息矩阵对所述待美颜人脸图像进行处理，得到所述待美颜人脸图像对应的美颜人脸图像。2.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括基础卷积层、网格特征卷积层、局部特征卷积层、输出层；所述通过预先训练的深度神经网络对所述待美颜人脸图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，包括：通过所述基础卷积层按照空域网格的尺寸对所述待美颜人脸图像进行下采样卷积处理，得到基础特征图像，所述空域网格为所述三维网格在所述空域上的二维投影；通过所述网格特征卷积层对所述基础特征图像提取所述空域网格内的特征，得到网格特征图像；通过所述局部特征卷积层对所述基础特征图像提取所述空域网格间的特征，得到局部特征图像；通过所述输出层按照值域分区的数量对所述网格特征图像与所述局部特征图像进行维度转换，得到所述信息矩阵，所述值域分区为所述三维网格在所述像素值域上的一维投影。3.根据权利要求1所述的方法，其特征在于，所述信息矩阵包括每个所述三维网格对应的基准信息矩阵；所述利用所述信息矩阵对所述待美颜人脸图像进行处理，得到所述待美颜人脸图像对应的美颜人脸图像，包括：基于所述待美颜人脸图像对所述基准信息矩阵进行插值，得到所述待美颜人脸图像的每个像素点对应的美颜信息矩阵；根据所述待美颜人脸图像的每个像素点对应的美颜信息矩阵，分别对所述待美颜人脸图像的每个像素点进行处理，得到所述美颜人脸图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述待美颜人脸图像对所述基准信息矩阵进行插值，得到所述待美颜人脸图像的每个像素点对应的美颜信息矩阵，包括：当所述待美颜人脸图像为多通道图像时，将所述待美颜人脸图像转换为单通道的参考值图像；基于所述参考值图像对所述基准信息矩阵进行插值，得到所述待美颜人脸图像的每个像素点对应的美颜信息矩阵。5.根据权利要求3所述的方法，其特征在于，所述基准信息矩阵对应于所述三维网格的中心点；所述基于所述待美颜人脸图像对所述基准信息矩阵进行插值，得到所述待美颜人脸图像的每个像素点对应的美颜信息矩阵，包括：根据所述待美颜人脸图像的每个像素点相对于一个或多个所述三维网格的中心点的偏移，对一个或多个所述基准信息矩阵进行插值，得到所述待美颜人脸图像的每个像素点对应的美颜信息矩阵。6.根据权利要求3所述的方法，其特征在于，所述根据所述待美颜人脸图像的每个像素
点对应的美颜信息矩阵，分别对所述待美颜人脸图像的每个像素点进行处理，得到所述美颜人脸图像，包括：根据所述美颜信息矩阵的维度对所述待美颜人脸图像添加新通道，并将所述新通道设置为预设数值；分别将所述待美颜人脸图像的每个像素点的像素值向量与所述每个像素点对应的美颜信息矩阵相乘，得到所述美颜人脸图像；所述每个像素点的像素值向量为所述每个像素点的各通道的数值所形成的向量。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：将待美颜样本图像输入待训练的所述深度神经网络，以输出样本信息矩阵；利用所述样本信息矩阵对所述待美颜样本图像进行处理，得到所述待美颜样本图像对应的美颜样本图像；基于所述待美颜样本图像对应的标注图像与所述美颜样本图像的差别，更新所述深度神经网络的参数。8.根据权利要求1所述的方法，其特征在于，所述获取待美颜人脸图像，包括：从待美颜原始图像中提取一张或多张原始人脸子图像；基于所述深度神经网络的输入图像尺寸将所述原始人脸子图像进行组合，生成所述待美颜人脸图像；在得到所述美颜人脸图像后，所述方法还包括：从所述美颜人脸图像中拆分出与所述原始人脸子图像对应的美颜人脸子图像。9.根据权利要求8所述的方法，其特征在于，所述基于所述深度神经网络的输入图像尺寸将所述原始人脸子图像进行组合，生成所述待美颜人脸图像，包括：根据所述原始人脸子图像的数量，将所述输入图像尺寸分割为与所述原...

【专利技术属性】
技术研发人员：朱家成，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：