关键点平滑方法和装置制造方法及图纸

本申请提供一种关键点平滑方法和装置。该方法包括：获取待处理图像上目标对象的关键点；根据所述目标对象的关键点，构建所述目标对象对应的关键点向量；获取重构矩阵；根据所述关键点向量和所述重构矩阵，获取重构系数；根据所述重构系数和所述重构矩阵，确定平滑处理后的关键点向量。上述方法利用主成分分析对人脸形状进行分析，然后使用求解出来的几个主要成分对关键点位置进行重构，使得矫正后的关键点的坐标更加贴近真实人脸，提升了关键点位置准确度。置准确度。置准确度。

【技术实现步骤摘要】
关键点平滑方法和装置


[0001]本申请涉及图像处理领域，尤其涉及一种关键点平滑方法和装置。

技术介绍

[0002]人脸关键点检测可以定位出面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。人脸关键点检测可以应用在很多场景下，比如：自动人脸识别、表情分析、三维人脸重建及三维动画等。人脸关键点检测包括如下几种方法：参数化方法和非参数化方法。参数化方法包括基于局部的方法和基于全局的方法。非参数化方法包括基于图模型方法、基于级联回归方法以及基于深度学习方法。然而，不论是哪种方法，检测出来的关键点的位置都会存在不同程序的偏离。
[0003]现有技术中，对于严重偏离的关键点，结合该关键点所在区域内所有关键点的位置，通过各种样条曲线对该关键点的位置进行矫正。然而，这种方法矫正后的位置准确度依然不高。

技术实现思路

[0004]本申请提供一种关键点平滑方法和装置，用于提升人脸关键点位置准确度。
[0005]第一方面，本申请提供一种平滑处理方法，包括：获取待处理图像上目标对象的关键点；根据所述目标对象的关键点，构建所述目标对象对应的关键点向量；获取重构矩阵；根据所述关键点向量和所述重构矩阵，获取重构系数；根据所述重构系数和所述重构矩阵，确定平滑处理后的关键点向量。
[0006]第二方面，本申请提供一种平滑处理装置，包括：构建模块，用于获取待处理图像上目标对象的关键点；根据所述目标对象的关键点，构建所述目标对象对应的关键点向量；获取重构矩阵；根据所述关键点向量和所述重构矩阵，获取重构系数；处理模块，用于根据所述重构系数和所述重构矩阵，确定平滑处理后的关键点向量。
[0007]本申请提供的平滑处理方法和装置，获取待处理图像上目标对象的关键点；根据所述目标对象的关键点，构建所述目标对象对应的关键点向量；获取重构矩阵；根据所述关键点向量和所述重构矩阵，获取重构系数；根据所述重构系数和所述重构矩阵，确定平滑处理后的关键点向量。本申请的方法利用主成分分析对人脸形状进行分析，然后使用求解出来的几个主要成分对关键点位置进行重构，使得矫正后的关键点的坐标更加贴近真实人脸，提升了关键点位置准确度。
附图说明
[0008]图1为本申请提供的人脸关键点示意图；
[0009]图2为本申请提供的平滑处理方法的实施例一的流程示意图；
[0010]图3为本申请提供的人脸关键点排序示意图；
[0011]图4为本申请提供的平滑处理方法的实施例二的流程示意图；
[0012]图5为本申请提供的平滑处理装置的结构示意图；
[0013]图6为本申请提供的芯片的硬件结构示意图。
具体实施方式
[0014]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0015]在本申请中，需要解释的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“以是一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：单独a，单独b，单独c，a和b的组合，a和c的组合，b和c的组合，或a、b以及c的组合，其中a，b，c可以是单个，也可以是多个。
[0016]人脸关键点检测可以应用在很多场景下，比如：自动人脸识别、表情分析、三维人脸重建及三维动画等。目前，人脸关键点检测有多种方法，然而，不论是哪种方法，检测出来的关键点的位置都会存在不同程序的偏离。现有技术中，对于严重偏离的关键点，结合该关键点所在区域内所有关键点的位置，通过各种样条曲线对该关键点的位置进行矫正。
[0017]举例来说，参见图1所示，脸部轮廓上序号为18的关键点的位置出现严重偏离，可结合脸部轮廓上所有关键点的位置，通过各种样条曲线对序号为18的关键点的位置进行矫正。然而，通过样条曲线矫正的方式没有考虑人脸形状的先验信息，矫正后的位置准确度依然不高。
[0018]为解决上述技术问题，本申请将主成分分析引入到对关键点位置矫正中，具体的，利用主成分分析对人脸形状进行分析，然后使用求解出来的几个主要成分对关键点位置进行重构，从而矫正关键点位置。由于这种方式是建立在对人脸形状进行分析的基础上，因此，和上述通过样条曲线矫正的方式相比，矫正后的位置更加准确。
[0019]下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
[0020]实施例一
[0021]图2为本申请提供的平滑处理方法的实施例一的流程示意图。如图2所示，本实施例提供的平滑处理方法，包括：
[0022]S201、获取待处理图像上目标对象的关键点。
[0023]可选的，本实施例中目标对象可以是人脸，也可是人体其他部分，本申请对此不限制。本实施例以人脸为例说明本实施例的方案。
[0024]可选的，可使用基于局部的方法、基于全局的方法、基于图模型方法、基于级联回归方法以及基于深度学习方法来获取目标对象的关键点，详细过程参照现有技术，本申请
在此不再赘述。
[0025]S202、根据目标对象的关键点，构建目标对象对应的关键点向量。
[0026]具体的，可对所有关键点进行排序，按照排序结果构建关键点向量。示例性的，可先排脸部轮廓的关键点，再排眉毛的关键点，再排鼻子的关键点，再排眼睛的关键点，再排嘴巴的关键点。针对每个部分，可按照一定的方向进行排序，比如从左边开始、从右边开始、从上边开始或者从下边开始等。图3示出了一种排序的示例。
[0027]需要说明的是：每个关键点都有横坐标和纵坐标。排序结果中第一个关键点的横坐标作为关键点向量第一个元素，第一个关键点的纵坐标作为关键点向量第二个元素。排序结果中第二个关键点的横坐标作为关键点向量第三个元素，第二个关键点的纵坐标作为关键点向量第四个元素，以此类推。
[0028]结合图3所示示例，序号为0的关键点的横坐标作为关键点向量第一个元素，序号为0的关键点的纵坐标作为关键点向量第二个元素，序号为1的关键点的横坐标作为关键点向量第三个元素，序号为1的关键点的纵坐标作为关键点向量第四个元素，以此类推。由于图3所示人脸包括83个关键点，每个关键点都有横坐标和纵坐标，则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种平滑处理方法，其特征在于，包括：获取待处理图像上目标对象的关键点；根据所述目标对象的关键点，构建所述目标对象对应的关键点向量；获取重构矩阵；根据所述关键点向量和所述重构矩阵，获取重构系数；根据所述重构系数和所述重构矩阵，确定平滑处理后的关键点向量。2.根据权利要求1所述的方法，其特征在于，所述获取重构矩阵，包括：根据图像集，构建关键点矩阵，所述图像集中每张图像上所述目标对象的关键点构成所述关键点矩阵的一行；根据所述关键点矩阵，获取目标矩阵；根据所述目标矩阵和所述图像集中图像数量，获取协方差矩阵；根据所述协方差矩阵，获取所述重构矩阵。3.根据权利要求2所述的方法，其特征在于，所述根据所述关键点矩阵，获取目标矩阵，包括：获取所述图像集中所有图像上关键点的坐标的均值；将所述关键点矩阵中关键点的坐标减去所述均值，得到所述目标矩阵。4.根据权利要求2所述的方法，其特征在于，所述根据所述目标矩阵和所述图像集中图像数量，获取协方差矩阵，包括：通过如下公式获取所述协方差矩阵：其中，C
k
×
k
表示所述协方差矩阵，X
′
n
×
k
表示所述目标矩阵，n表示所述图像集中图像数量。5.根据权利要求2所述的方法，其特征在于，所述根据所述协方差矩阵，获取所述重构矩阵，包括：对所述协方差矩阵进行特征值分解，得到特征值；将所述特征值按照从大到小排序，并获取前预设数量个特征值对应的特征向量；根据所述预设数量个特征值对应的特征向量，构建所述重构矩阵。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述根据所述关键点向量和所述重构矩阵，获取重构系数，包括：通过如下公式获取所述重构系数：c
k
′
＝A
k
′×
k
·
x
T
其中，c
k
′
表示所述重构系数，A
k
′×
k
表示所述重构矩阵，x表示所述关键点向量。7.根据权利要求6所述的方法，其特征在于，所述根据所述重构系数和所述重构矩阵，确定平滑处理后的关键点向量，包括：通过如下公式确定所述平滑处理后的关键点向量：x
′
＝A
T
·
c
k
′
其中，x
′
表示所述平滑处理后的关键点向量，A表示所述重构矩阵，c
k
′
表示所述重构系
数。8.根据权利要求6所述的方法，其特征在于，所述待处理图像为视频流中的图像；所述方法还包括：根据所述待处理图像之前至少两帧图像上所述目标对象对应的关键点向量，获取所述待处理图像对应的关键点估计向量；根据所述平滑处理后的关键点向量和所述关键点估计向量，确定所述待处理图像对应的防抖处理后的关键点向量。9.根据权利要求8所述的方法，其特征在于，所述根据所述待处理图像之前至少两帧图像上所述目标对象对应的关键点向量，获取所述待处理图像对应的关键点估计向量，包括：根据所述至少两帧图像上所述目标对象对应的关键点向量，计算方差向量；根据所述方差向量和所述待处理图像的前一帧图像对应的第一变量，确定所述待处理图像对应的第二变量；根据所述待处理图像对应的所述第二变量，确定所述待处理图像对应的增益；根据所述...

【专利技术属性】
技术研发人员：胡慧，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：