一种图像处理方法及装置制造方法及图纸

本申请公开了一种图像处理方法及装置，该方法包括：获取第一图像；检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；在所述目标特征检测区域内，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。

【技术实现步骤摘要】
一种图像处理方法及装置
本申请涉及计算机
，尤其涉及一种图像处理方法及装置。
技术介绍
随着图像处理技术的发展，具有拍摄(比如拍照或摄像)功能的终端对于拍摄到的图像具有图像处理功能。终端对拍摄到的图像经过图像处理后可在拍摄预览界面实时显示。所述图像处理可包括美颜处理，比如美白、磨皮等。对于拍摄到的图像，如果人脸上有与周围皮肤亮度相差较大的目标特征，比如人脸上的黑痣或痘痘，可以通过终端中的美颜功能去除该目标特征。但是，目前用于去除图像中人脸上的黑痣或痘痘等目标特征的图像处理算法技术实现较为复杂、效率低。由此可见，提供一种高效的图像处理方案以去除图像中人脸上的黑痣或痘痘等目标特征是目前业界需要解决的问题。
技术实现思路
第一方面，本申请实施例提供一种图像处理方法及装置，该方法包括：获取第一图像；检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。本申请实施例提供一种图像处理装置，包括：预处理模块，用于获取第一图像，检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；目标检测模块，用于针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。本申请实施例提供一种图像处理设备，包括：显示器；存储器，用于存储计算机程序指令；处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行本申请实施例中任意一种图像处理方法。本申请实施例提供一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被一个或多个处理器执行时，使得图像处理设备执行本申请实施例中任意一种图像处理方法。本申请的上述实施例中，获取第一图像；检测得到第一图像中的人脸，确定该人脸中目标特征的检测区域；在目标特征的检测区域内，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出该人脸上的第一目标特征，缩小了目标特征的检测范围，进而提高了目标特征的检测速度，降低了误检发生的概率，提高了目标特征检测的准确性。第二方面，本申请实施例还提供了另一种图像处理方法及装置，该方法包括：获取视频帧序列中的第一视频帧；若所述第一视频帧为关键检测帧，则检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置；其中，所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；若所述第一视频帧不是关键检测帧，则根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，确定所述第一视频帧中人脸上的目标特征，其中，所述第二视频帧为所述第一视频帧的前一视频帧；对所述目标特征所在的区域进行肤色填充。本申请实施例提供一种图像处理装置，包括：获取模块，用于获取视频帧序列中的第一视频帧；控制模块，用于判断所述获取模块获取的第一视频帧是否为关键检测帧，其中，所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，若是，触发第一处理模块，否则，触发第二处理模块；所述第一处理模块，用于检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置，其中，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；所述第二处理模块，用于根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，确定所述第一视频帧中人脸上的目标特征，其中，所述第二视频帧为所述第一视频帧的前一视频帧；填充模块，用于对所述目标特征所在的区域进行肤色填充。本申请的上述实施例中，若视频帧序列中的第一视频帧为关键检测帧，则检测得到第一视频帧中的人脸，确定该人脸中目标特征的检测区域，在人脸中目标特征的检测区域内，根据检测模板确定人脸上的目标特征，并确定检测出的目标特征与该人脸中的人脸关键点之间的相对位置，否则，根据视频帧序列中的第一视频帧的前一视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置，确定第一视频帧中人脸上的目标特征，并对所确定的目标特征所在的区域进行肤色填充，实现了对视频序列中相邻关键帧之间每个视频帧中目标特征的跟踪检测，并去除每个视频帧中的目标特征，且跟踪方法运算量小、对跟踪对象的要求低、易于实现。附图说明本申请的实施例通过示例而非限制的方式示出在所附附图中，类似的附图标记表示类似的元素。图1为本申请实施例图像处理装置100的结构示意图；图2为本申请实施例第一种图像处理方法的流程示意图；图3为本申请实施例第一种检测模板的示意图；图4为本申请实施例第二种检测模板的示意图；图5为本申请实施例人脸轮廓点与器官点的示意图；图6为本申请实施例检测区域掩膜示意图；图7为本申请实施例对第一目标特征进行肤色填充的方法流程示意图；图8为本申请实施例肤色填充区域网格化示意图；图9为本申请实施例目标特征肤色填充效果示意图；图10为本申请实施例图像处理装置1000的结构示意图；图11为本申请实施例第二种图像处理方法的流程示意图；图12a为本申请实施例第二视频帧中目标特征的位置示意图；图12b为本申请实施例第一视频帧中估计得到的目标特征的位置示意图；图13为本申请实施例提供的图像处理设备的结构示意图。具体实施方式虽然本申请的概念易于进行各种修改和替代形式，但是其具体实施例已经通过附图中的示例示出并且将在本文中详细描述。然而，应当理解，没有意图将本申请的概念限制为所公开的特定形式，而是相反，意图是覆盖与本申请以及所附权利要求一致的所有修改、等同物和替代物。说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用，指示所描述的实施例可包括特定特征、结构或特性，但是每个实施例可以或可以不必包括特定特征、结构或特性。此外，这样的短语不一定指的是相同的实施例。进一步地，认为在本领域技术人员的知识范围内，当结合实施例描述特定特征、结构或特性时，结合无论是否明确描述的其它实施例影响这样的特征，结构或特性。另外，应当理解，以“A，B和C中的至少一个”的形式包括在列表中的项目可本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一图像；检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一图像；检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。2.如权利要求1所述的方法，其特征在于，确定出所述人脸上的第一目标特征之后，所述方法还包括：对确定出的第一目标特征所在的区域进行肤色填充。3.如权利要求2所述的方法，其特征在于，对确定出的第一目标特征所在的区域进行肤色填充，包括：针对确定出的第一目标特征，确定肤色填充区域；对所述肤色填充区域边界上的像素进行间隔采样得到采样点，根据所述采样点将所述肤色填充区域网格化，一条网格线与所述肤色填充区域边界上的两个交叉点分别为所述采样点中的两个采样点；针对任意一个网格线交叉点，根据交叉点与每个采样点的距离分别确定每个采样点的权重，确定所有采样点的颜色值与对应的权重的第一加权平均值，根据所述第一加权平均值设置交叉点的颜色值，其中，一个采样点对应的权重与该采样点到交叉点的距离成反比；针对每个网格内的任一待填充像素，根据待填充像素与网格的每个顶点的距离分别确定每个顶点的权重，确定每个顶点的颜色值与对应的权重的第二加权平均值，根据所述第二加权平均值设置待填充像素的颜色值，其中，一个网格顶点对应的权重与该网格顶点到待填充像素的距离成反比。4.如权利要求1所述的方法，其特征在于，检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，包括：对所述第一图像进行人脸检测，得到人脸轮廓点与器官点；根据所述人脸轮廓点与所述器官点，确定所述人脸中的目标特征的检测区域；其中，所述检测区域为在所述人脸轮廓特征点所描绘的人脸区域内，排除所述器官点所描绘的器官所在区域。5.如权利要求1所述的方法，其特征在于，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征，包括：针对所述检测区域内的任一待检测像素，执行：将所述检测模板中第一像素与待检测像素对齐，根据所述检测模板中的第二像素，确定所述检测区域中对应位置的像素的亮度值，若所述待检测像素的亮度值小于所述检测区域中相应位置的每个像素的亮度值，且后者减去前者的差值均大于设定阈值，则确定所述待检测像素为第一目标特征所在区域内的像素；根据被检测为第一目标特征所在区域内的像素，得到所述检测区域内的第一目标特征。6.如权利要求1至5中任一项所述的方法，其特征在于，确定出所述人脸上的第一目标特征之后，还包括：确定所述第一目标特征的边缘像素的梯度方向，统计每个梯度方向对应的像素个数，并计算所述像素个数的方差，若所述方差大于设定阈值，则过滤掉所述第一目标特征；或者，使用基于目标特征样本训练得到的分类器，对所述第一目标特征进行过滤。7.如权利要求1至5中任一项所述的方法，其特征在于，所述第一图像为视频帧序列中的第一视频帧；获取所述视频帧序列中的第二视频帧中的第二目标特征与所述人脸关键点之间的相对位置；其中，所述第二视频帧为所述第一视频帧的前一视频帧，所述第二目标特征与所述第一目标特征对应；根据所述第二视频帧中所述第二目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，预估所述第一视频帧中人脸上的第一目标特征的位置；若预估出的所述人脸上第一目标特征的位置与确定出的所述人脸上第一目标特征的位置的差异大于预设值，则过滤掉所述第一视频帧中的所述第一目标特征。8.如权利要求1至5中任一项所述的方法，其特征在于，获取第一图像，包括：拍摄得到第一图像；对确定出的第一目标特征所在的区域进行肤色填充之后，还包括：将肤色填充后的第一图像进行显示。9.一种图像处理方法，其特征在于，包括：获取视频帧序列中的第一视频帧；若所述第一视频帧为关键检测帧，则检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置；其中，所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；若所述第一视频帧不是关键检测帧，则根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，确定所述第一视频帧中人脸上的目标特征，其中，所述第二视频帧为所述第一视频帧的前一视频帧；对所述目标特征所在的区域进行肤色填充。10.如权利要求9所述的方法，其特征在于，对所述目标特征所在的区域进行肤色填充，包括：针对所述目标特征，确定肤色填充区域；对所述肤色填充区域边界上的像素进行间隔采样得到采样点，根据所述采样点将所述肤色填充区域网格化，一条网格线与所述肤色填充区域边界上的两个交叉点分别为所述采样点中的两个采样点；针对任意一个网格线交叉点，根据交叉点与每个采样点的距离分别确定每个采样点的权重，确定所有采样点的颜色值与对应的权重的第一加权平均值，根据所述第一加权平均值设置交叉点的颜色值，其中，一个采样点对应的权重与该采样点到交叉点的距离成反比；针对每个网格内的任一待填充像素，根据待填充像素与网格的每个顶点的距离分别确定每个顶点的权重，确定每个顶点的颜色值与对应的权重的的第二加权平均值，根据所述第二加权平均值设置待填充像素的颜色值，其中，一个网格顶点对应的权重与该网格顶点到待填充像素的距离成反比。11.如权利要求9所述的方法，其特征在于，还包括：若所述第一视频帧不是关键检测帧，则判断所述第一视频帧中的人脸姿态与第三视频帧中的人脸姿态的差异；若所述差异大于设定阈值，则检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置，其中所述第三视频帧为所述第一视频帧的前一个关键检测帧。12.如权利要求9或11所述的方法，其特征在于，检测得到所述第一视频帧中人脸上的目标特征，包括：检测得到所述第一图像中的人脸，确定所述人脸中目标特征的检测区域，针对所述目标特征的检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的目标特征，其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应所述待检测像素，所述多个第二像素用于对应所述待检测像素周围的像素，M和N均为大于1的整数。13.如权利要求9至11任一项所述的方法，其特征在于，所述人脸关键点的数量至少为3个。14.如权利要求13所述的方法，其特征在于，检测得到所述第一视频帧中的人脸，并确定所述人脸中目标特征的检测区域，包括：对所述第一视频帧进行人脸检测，得到人脸轮廓点与器官点；根据所述人脸轮廓点与所述器官点，确定所述人脸中目标特征的检测区域；其中，所述检测区域为在所述人脸轮廓特征点所描绘的人脸区域内，排除所述器官点所描绘的器官所在区域。15.如权利要求13或14所述的方法，其特征在于，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的目标特征，包括：针对所述检测区域内的任一待检测像素，执行：将所述检测模板中第一像素与待检测像素对齐，根据所述检测模板中的第二像素，确定所述检测区域中相应位置的像素的亮度值，若确定所述待检测像素的亮度值小于所述检测区域中相应位置的每个像素的亮度值，且后者减去前者的差值均大于设定阈值，则确定所述待检测像素为目标特征所在区域内的像素；根据被检测为第一目标特征所在区域内的像素，得到所述检测区域内的目标特征。16.如权利要求9至11中任一项所述的方法，其特征在于，获取视频帧序列中的第一视频帧，包括：拍摄得到视频帧序列中的第一视频帧；对所确定出的目标特征所在的区域进行肤色填充之后，还包括：将肤色填充后的第一视频帧进行显示。17.一种图像处理装置，其特征在于，包括：预处理模块，用于获取第一图像，检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；目标检测模块，用于针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。18.如权利要求17所述的装置，其特征在于，所述装置还包括：肤色填充模块，用于在所述目标检测模块确定出所述人脸上的第一目标特征之后，对确定出的第一目标特征所在的区域...

【专利技术属性】
技术研发人员：徐冉，唐振，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY