一种基于三维人脸点云特征点定位方法技术

本发明专利技术展示了一个三维人脸点云特征点定位方法。首先，对双边滤波去噪的预处理后的人脸点云数据通过HK(平均曲率和高斯曲率)这一曲面形状描述方法，划分出人脸特征点候选区域，然后对特征点所形成的旋转图像(Spin Image)进行比较，从而实现任意姿态下的鼻尖点和左右内眼角点的定位。此外，原始的旋转图像算法计算量太大，运算时间过长而无法获得实际应用，本文在原算法的基础上，只对筛选出来的少量重要特征点进行区域曲面重构，避免了大量无意义的点运算，提高了旋转图像算法的实时性能。在对GavabDB数据库的实验结果表明，该方法最高获得了95.37％的识别率，同时对姿态、表情变化具有一定的鲁棒性。以上步骤即为整个定位过程。

A feature point location method based on 3D face point cloud

The invention discloses a 3D facial point cloud feature point positioning method. First, face point cloud data pretreatment on bilateral filtering denoising after HK (mean curvature and Gauss curvature) method to describe this curved shape, divides the facial feature points of image rotation candidate region, then the feature points are formed (Spin Image) were compared, so as to realize the positioning canthuses arbitrary attitude under the nose and around the. In addition, the original image rotation algorithm calculation is too large, too long computing time to obtain the actual application, this paper on the basis of the original algorithm, only a small amount of regional surface reconstruction of the important features of the selected, to avoid the operation of a lot of meaningless, and improves the real-time performance of image rotation algorithm. Experimental results on the GavabDB database show that the proposed method achieves a maximum recognition rate of 95.37% and robustness to pose and facial changes. The above procedure is the whole positioning process.

【技术实现步骤摘要】
一种基于三维人脸点云特征点定位方法
本专利技术属于图像处理
，特别涉及一种人脸点云特征点定位方法，可用于三维人脸识别。
技术介绍
点云数据是对真实物体表面进行扫描采样获得的离散数据，曲率是曲面重要的局部几何属性，所以，曲率能够用于三维人脸点云特征点的分析与识别。近年来，国内外学者在三维点云曲率方面已经提出了多种方法。李谦总结了国内外有关点云数据的研究现状，重点研究了基于曲率特征信息的点云数据处理方法。蒋建国通过局部曲面曲率的计算，并结合灰度特征信息，定位了鼻尖点、鞍点和左右瞳孔点。Ganguly运用主曲率、高斯曲率、最大和最小曲率等在曲面形状描述的优越性，将曲率用于三维人脸识别。在特征点定位方面，王蜜宫通过改进局部形状图的(LocalShapeMap)的统计模型，实现鼻尖点和内眼角点的精确定位。王晋疆运用一种3D局部曲面形状的描述子——点特征(PointSignature)，实现点云数据的特征点提取。缪永伟基于三维模型表面顶点局部邻域旋转图像的分析，提出一种三维形状表面局部相似性的度量方法。通过对已公开算法的分析比较，本文提出了一种基于SpinImage的人脸点云特征定位的方法。该方法实现了任意表情和姿态下的三维人脸点云鼻尖点和左右内眼角点的定位。
技术实现思路
旋转图像的表示方法，是把三维物体表面上基准有向点与其他有向点的几何位置关系转化为一幅二维图像，便于表征物体的特征。旋转图像法通过支撑距离和支撑角度来控制全局覆盖点的数量来描述一定区域内的曲面形状，而且减少了杂乱和自遮挡对图像的影响，已被证明是三维表面识别的一个精确方法，但要计算所有点的旋转图像，运算量大、消耗时间长。受此启发，本文利用旋转图像来实现特征点的精确定位，为了减少计算代价，在计算旋转图像之前，先通过HK(平均曲率和高斯曲率)曲面形状描述方法对点云的局部形状进行分类，得到特征点候选区域。据先验知识，在候选区域中手工标注三个特征点(鼻尖点和左右内眼角点)，然后把这三个特征点形成的旋转图像作为本文的特征点模板。最后，通过其他点云候选特征点的旋转图像和特征点模板进行相似性比较，从而实现人脸点云的鼻尖点和左右内眼角点定位。本专利技术的目的通过如下技术方案实现：S1：由于人脸点云数据在采集的过程中不可避免的包含较多的噪声点，从而会影响到人脸点云特征点定位效果，因此采用双边滤波的噪声滤波的预处理方法，进行点云数据的预处理，计算公式为：V′←V+d·n其中V为点云中的任意一个顶点，d可以称作双边滤波权重因子，n为当前顶点V的法向方向。S2:通过HK(平均曲率和高斯曲率)这一曲面形状描述方法，对预处理后的点云数据划分出人脸特征点候选区域。HK的计算公式为：Ix，Iy是沿着x和y方向的一阶偏导，Ixy，Ixx和Iyy是对应的二阶偏导。通过平均曲率和高斯曲率的正负号来进行点类型的分类。S3:对特征点候选区点生成旋转图像(SpinImage)。旋转图像是一种三维物体表面的全局配准技术，取三维人脸点云模型上任一点，计算该点的法向量得到切平面，然后将其余所有点向该点的切平面投影，形成的二维直方图则为该点的旋转图像。旋转图像生成的过程决定了其具有三维曲面全面的几何表征性，计算公式为：SO:R3→R2S4:用线性相关系数R来表示事先手工标记模板的鼻尖点和左右内眼角点的旋转图像和特征点形成的旋转图像相似程度，从而实现任意姿态下的鼻尖点和左右内眼角点的定位。由于线性相关系数是利用像素数量进行计算的，旋转图像重叠的数量将影响相关系数，R的取值范围(-1，1)，其中，当R的值越大，越接近1，这两个旋转图像越相似，越接近-1，说明这两个旋转图像不相似，本文取R的阈值为0.9。计算公式为：其中，P和Q是两个旋转图像，N为两个旋转图像重叠像素的数量，p和q为旋转图像每个像素的数值。附图说明图1表示人脸不同点处的旋转图像示例，从上到下依次是：额头点，鼻尖点，脸颊点和下巴点。图2表示对人脸点云通过HK生成的特征点候选区(图中黑色部分)。其中A、B分别为左右眼角处椭圆凹形点区域，C是鼻尖处椭圆形凸形点区域。(a)和(b)是根据HK对人脸点云分类的效果图，(c)是根据先验知识标记的特征点模板。图3表示不同人脸点云形成旋转图像的比较。左右两个人脸点云上两个点是左内眼角点和鼻尖点，左人脸点云最下方的点为左脸颊一点，右人脸点云最下方的点为人中一点。图4表示旋转图像的相似度比较。A、B为不同人脸点云的鼻尖点所生成的旋转图像，C为人中一点所生成的旋转图像，然后比较A、B和A、C旋转图像的相似性，其中A、B的相似度为R＝0.914，A、C的相似度为R＝0.167。图5展示了不同姿态和表情的部分定位结果。图6旋转图像的参数。具体实施方式实验环境Intel(R)Core(TM)i5CPU主频2.67GHz，内存为8.0GB。Win8操作系统。本文实验所用的数据库是A.B.Moreno建立的GavabDB3D人脸数据库。该数据库包含549个三维面部表面图像，共有61个人(45位男性和16位女性)，每个人有9张不同的图像，他们中的大多数年龄在18到40岁之间。此外，人脸姿态和面部表情都是有规则的变化，其中包括2张无表情正脸和4张无表情转动图像，以及3张有突出变化表情的正面人脸图像。每个图像数据内容包括点的三维坐标和连接关系，本文提取每个图像数据中的三维坐标来当作实验的点云库。仿真软件MATLAB2015a。本文选择了两组点云数据进行原旋转图像算法和本文提出的只对候选区进行旋转图像计算的运行时间的比较。在几乎相同准确率的条件下，原算法花费时间较长，至少需要一个小时，而本文的方法大大缩短了运行时间。实验内容本专利技术实验所用的数据库是A.B.Moreno建立的GavabDB3D人脸数据库。该数据库包含549个三维面部表面图像，共有61个人(45位男性和16位女性)，每个人有9张不同的图像，他们中的大多数年龄在18到40岁之间。此外，人脸姿态和面部表情都是有规则的变化，其中包括2张无表情正脸和4张无表情转动图像，以及3张有突出变化表情的正面人脸图像。每个图像数据内容包括点的三维坐标和连接关系，本文提取每个图像数据中的三维坐标来当作实验的点云库。由于人脸点云数据在采集的过程中不可避免的包含较多的噪声点，从而会影响到人脸点云特征点定位效果，因此本文寻求一种鲁棒的预处理方法，对数据进行预处理之后再进行特征点的定位。本专利技术的具体步骤为：S1：首先对数据库的人脸点云数据采用双边滤波的噪声滤波方法，因为双边滤波的原理是某邻点在点云去噪过程中所占的权重大小不是由单个因素左右的，而是由它到中心点的空间距离大小和它与中心点深度上的相似度共同决定的，所谓空间中的邻点与中心点深度上的相似度，即指邻点与中心点的空间距离向量投影到中心点法向上的距离大小，这种算法不需要详细的拓扑信息，而且计算简单，运算速度快。定义如下：V′←V+d·n其中V为点云中的任意一个顶点，d称作双边滤波权重因子，n为当前顶点V的法向方向。双边滤波过程的关键是求出滤波权重因子，使得点云模型上的顶点沿着法向方向移动，并通过这种方式来光顺光噪点。点云模型的双边滤波权重因子d的定义如下：其中，N(v)表示顶点V的所有邻域点的集合，||v-pi||为当前邻点到中心点v本文档来自技高网...

【技术保护点】
一种展示了一个三维人脸点云特征点定位方法，包括以下步骤：S1：由于人脸点云数据在采集的过程中不可避免的包含较多的噪声点，从而会影响到人脸点云特征点定位效果，因此首先采用双边滤波的预处理方法，进行点云数据的预处理；S2:通过平均曲率和高斯曲率(HK)这一曲面形状描述方法，对预处理后的点云数据划分出人脸特征点候选区域；S3:最后对特征点候选区点生成旋转图像(Spin Image)；S4:用线性相关系数R来表示事先手工标记模板的鼻尖点和左右内眼角点的旋转图像和特征点形成的旋转图像相似程度，从而实现任意姿态下的鼻尖点和左右内眼角点的定位。

【技术特征摘要】
1.一种展示了一个三维人脸点云特征点定位方法，包括以下步骤：S1：由于人脸点云数据在采集的过程中不可避免的包含较多的噪声点，从而会影响到人脸点云特征点定位效果，因此首先采用双边滤波的预处理方法，进行点云数据的预处理；S2:通过平均曲率和高斯曲率(HK)这一曲面形状描述方法，对预处理后的点云数据划分出人脸特征点候选区域；S3:最后对特征点候选区点生成旋转图像(SpinImage)；S4:用线性相关系数R来表示事先手工标记模板的鼻尖点和左右内眼角点的旋转图像和特征点形成的旋转图像相似程度，从而实现任意姿态下的鼻尖点和左右内眼角点的定位。2.如权利要求1所述的基于三维人脸点云特征点定位方法，其特征在于，步骤S1中若人脸点云数据采用双边滤波的噪声滤波的方法，则计算公式为：V′←V+d·n其中V为点云中的任意一个顶点，d可以称作双边滤波权重因子，n为当前顶点V的法向方向；双边滤波在点云的主要思想：某邻点在点云去噪过程中所占的权重大小不是由单个因素左右的，而是有它到重心点的空间距离大小和它与重心点深度上的相似度，即指邻点与重心点的空间距离向量投影到中心点法向上的距离大小；双边滤波过程的关键是求出滤波权重因子，使得点云模型上的顶点沿着法向方向移动，并通过这种方式来光顺光噪点；点云模型的双边滤波权重因子d的定义如下：其中，pi表示当前某一邻点，N(v)表示顶点V的所有邻域点的集合，||v-pi||为当前邻点到中心点v的距离，<n,v-pi>为当前邻点和中心点在深度上的相似度，也就是当前邻点与中心点之间的距离在中心点法向n上的投影。光顺滤波函数Wc是高斯卷积核函数的形式，该函数表示点与点在三维空间商的相似性：式中σc的值定为中心点与其最远邻近点之间距离的二分之一。特征保持权重函数Ws表示点与点之间的深度上的相似性，如下定义：其中σs的值是中心点与其所有邻域点到的距离投影到中心点法向上的大小的方差。3...

【专利技术属性】
技术研发人员：张灵，朱思豪，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44