基于3DHarris关键点及优化SHOT特征的三维人耳识别方法技术

本发明专利技术公开了基于3DHarris关键点及优化SHOT特征的三维人耳识别方法，步骤如下：(1)利用基于Faster R‑CNN框架的检测器对带有背景信息的二维侧脸图像进行目标检测，获取方形人耳区域并提取对应区域的三维点云；(2)使用体素网格对人耳进行滤波；(3)将待测人耳和标准姿态下人耳使用迭代最近点算法进行配准，使得待测人耳具有标准竖直向上姿态，且待测人耳转换后置于标准坐标系下，利用长方体模板切割来去除皮肤，头发等冗余区域，得到归一化人耳；(4)在三维人耳点云中根据3DHarris算法进行关键点检测；(5)对所有关键点计算优化SHOT三维特征并进行关键点匹配。本发明专利技术能够有效地剔除人耳周围皮肤、头发等冗余区域，且匹配结果精确可靠，具有较强的识别性能。

【技术实现步骤摘要】
基于3DHarris关键点及优化SHOT特征的三维人耳识别方法
本专利技术属于人耳识别
，具体涉及一种基于3DHarris关键点及优化SHOT特征的三维人耳识别方法。
技术介绍
现代社会中,准确可靠地个人身份确认越来越多的受到人们的重视，身份认证在许多场合都有着重要的应用，如门禁系统、视频监控、人机交互等。生物识别是机器视觉和模式识别领域的经典问题，而人耳识别技术是近年的一个研究热点，相比人脸等其他生物特征，人耳更近似刚性，且不受表情变化，年龄和化妆等因素的影响；同时人耳表面凹凸变化丰富，适合作为生物特征进行识别。传统的二维人耳识别是基于图像的亮度信息进行身份确认的，但因为受光照、姿态等因素影响较大，故而近年来人耳识别研究开始从二维图像扩展到三维空间上。三维人耳识别利用人耳的空间形状信息进行身份认证，不受光照、化妆、表情等因素的影响，和人脸识别相比有较大的优势，但是仍然面临遮挡问题带来的挑战，遮挡会导致人耳的三维数据丢失，影响识别效果。
技术实现思路
为了克服现有技术中存在的不足，本专利技术提供一种基于3DHarris关键点及优化SHOT特征的三维人耳识别方法，识别对象为三维人耳点云，识别过程中需用到与该三维点云对应的二维图像(二维图像中每个像素对应三维点云中的一个点)，该方法识别性能较高，并且速度较快。为实现上述目的，本专利技术采用的技术方案为：一种基于3DHarris关键点及优化SHOT特征的三维人耳识别方法，识别对象为三维人耳点云，识别过程中需用到与该三维点云对应的二维图像(二维图像中每个像素对应三维点云中的一个点)，包括以下步骤：步骤1：对带背景信息的二维侧脸图像进行FasterR-CNN目标检测，获得方形二维人耳区域，提取对应区域的三维人耳点云；步骤2：对由步骤1所提取的三维人耳点云利用体素格进行滤波，在不改变点云形状的同时减少点数，提高后续匹配效率；步骤3：利用步骤2中得到的待测人耳和标准姿态人耳关键点集进行ICP配准，使其转换为近似具有竖直向上姿态，再利用长方体模板切割，得到去除冗余信息后的三维人耳；步骤4：对由步骤3归一化后的三维人耳点云计算3DHarris特征得到关键点检测，得到关键点集；步骤5：对步骤4中的关键点计算优化的SHOT特征描述符，利用特征描述符实现关键点匹配，最后根据成功匹配的点数来衡量两个人耳的相似度，得到识别结果。作为本专利技术的优选，步骤1具体包括以下步骤：步骤1.1：使用含有数百张二维侧脸图片的数据库作为训练集(实验中为UND-J2数据库及网络上选取300张带完整左耳信息的二维侧脸图片)，手动框出训练集图像中的方形人耳，利用更快的区域-卷积神经网络(FasterR-CNN)框架训练得到目标检测器,利用这个检测器在带有侧脸和复杂背景信息的图像上检测人耳，获取方形人耳区域；步骤1.2：根据二维图像里方形人耳区域的坐标提取出对应三维点云里的人耳区域(在源数据库中，二维图像中每个像素对应三维点云中的一个点)。作为本专利技术的优选，所述步骤2具体包括以下步骤：步骤2.1：对于密度较高的三维人耳，虽然高密度可以更精准地还原人耳的固有信息，但过多的点云数量会提高后续处理工作的复杂度。体素滤波方法不仅可以对点云进行下采样，在减少点云点数同时也能保留点云原有的结构信息。具体方法是设置一定边长的体素网格，对体素网格内所有点求均值，以数学期望均值点代替体素格内的所有其他点。以这种方式遍历整个三维人耳，用所有体素格内的点代替原有三维人耳。作为本专利技术的优选，步骤3具体包括以下步骤：步骤3.1：把步骤2中得到经体素网格滤波后的人耳和一个预先处理过的标准姿态人耳利用迭代最邻近点(IterativeClosestPoint,ICP)方法进行对齐。其中标准姿态人耳的获取方法如下：预先将已去除冗余信息的人耳通过手动调整姿态使其具有标准竖直向上姿态，以其为标准姿态人耳，定义坐标系的原点(0,0)位于标准姿态人耳的左下角区域。对齐之后的待测人耳具有竖直向上的姿态，对齐后，坐标系的原点(0,0)都位于人耳的左下角区域。接着利用一个长方体模板(0≤x≤40,0≤y≤65,-5≤z≤5)(单位：毫米)切割对齐之后的待测人耳，得到归一化后的人耳。说明：ICP方法简介：将两个点云对齐，即通过迭代最邻近点(最邻近点的获取方法为在目标点云上找出对应于源点云中p点距离最近的q点)，得到最终的旋转平移矩阵，通过该矩阵变换可以将两个点云对齐(该矩阵即ICP方法得到的旋转平移矩阵)，这样在本步骤中就将特征点(步骤2中得到的人耳关键点集)的姿态调整到竖直向上姿态(即“标准姿态人耳”的姿态)作为本专利技术的优选，步骤4具体包括以下步骤：二维Harris算法中先选定一个窗口w并获取该窗口w的灰度I，将该窗口沿不同方向移动，平坦区域灰度变化较小，边缘和角点处灰度变化剧烈，依据变化的剧烈程度就能在二维图像中筛选出Harris关键点。3DHarris算法将二维Harris角点检测算法扩展到三维空间中，相应的Hessian矩阵为式中Ix,Iy,Iz分别为图像沿x，y，z轴方向的梯度。每个点p的强度值det为该矩阵的行列式值，trace为该矩阵的迹，当该点的强度值大于设定的阈值时，则该点为角点。作为本专利技术的优选，步骤5具体包括以下步骤：步骤5.1：首先计算关键点邻域点集的协方差矩阵，矩阵C如下：其中p是人耳关键点，pm是邻域内点集，r是构造邻域的半径，dm为点pm到点p的欧氏距离，此矩阵中，若某点距离p越远，则其被赋予的权重越小。计算矩阵C的特征向量，得到e1、e2、e3,令αp＝e1,βp＝e3×e1,γp＝e3，即在三维空间中βp垂直于e1，同时βp垂直于e3，以αp、βp、γp构造局部参考坐标系，并对特征点的球邻域分别沿径向，方位角方向和高度方向进行区域划分，径向等分为2个区域，方位角方向等分为8个区域，高度方向等分为2个区域，总共将邻域点集等分为32个区域。接着分别统计每个网格内的法向量夹角余弦值分布情况，即网格的直方图，每个直方图分为11个小单元，各单元的值由关键点处法线与邻域点法线夹角余弦计算而得，如式(2)所示：cosθ＝z·n(2)式中z为沿局部坐标系的γp方向的单位向量，n为该小单元处曲面的法线。将此余弦值作为该小单元的特征值，统计所有小单元内计算出的余弦值并将所有值级联为完整的直方图，至此获得了32×11＝352维的SHOT描述子。步骤5.2：由于此时的SHOT描述子为浮点型，占用空间大，为了加快后续匹配速度，将描述符分组并进行二值化。首先将描述符每4个分为一组，共分为88组，如第一组形式为S1＝{A0,A1,A2,A3}，接着计算Asum＝A0+A1+A2+A3，并按照如下规则将其二值化为{B0,B1,B2,B3}：1)若对于任意Ai＝0,i∈{0,1,2,3}，则B0＝B1＝B2＝B3＝0；2)若式1)不满足，且存在Ai＞Asum×80％,本文档来自技高网...

【技术保护点】
1.一种基于3DHarris关键点及优化SHOT特征的人耳识别方法，其特征在于：包括以下步骤：/n步骤1：对带背景信息的二维侧脸图像进行Faster R-CNN目标检测，获得方形二维人耳区域，提取对应区域的三维人耳点云；/n步骤2：对由步骤1所提取的三维人耳点云利用体素格进行滤波；/n步骤3：利用步骤2中得到的待测人耳和标准姿态人耳关键点集进行ICP配准，使其转换为近似具有竖直向上姿态，再利用长方体模板切割，得到去除冗余信息后的三维人耳；/n步骤4：对由步骤3归一化后的三维人耳点云计算3DHarris特征实现关键点检测，得到关键点集；/n步骤5：对步骤4中的关键点计算优化的SHOT特征描述符，利用特征描述符实现关键点匹配，最后根据成功匹配的点数来衡量两个人耳的相似度，得到识别结果。/n

【技术特征摘要】
1.一种基于3DHarris关键点及优化SHOT特征的人耳识别方法，其特征在于：包括以下步骤：
步骤1：对带背景信息的二维侧脸图像进行FasterR-CNN目标检测，获得方形二维人耳区域，提取对应区域的三维人耳点云；
步骤2：对由步骤1所提取的三维人耳点云利用体素格进行滤波；
步骤3：利用步骤2中得到的待测人耳和标准姿态人耳关键点集进行ICP配准，使其转换为近似具有竖直向上姿态，再利用长方体模板切割，得到去除冗余信息后的三维人耳；
步骤4：对由步骤3归一化后的三维人耳点云计算3DHarris特征实现关键点检测，得到关键点集；
步骤5：对步骤4中的关键点计算优化的SHOT特征描述符，利用特征描述符实现关键点匹配，最后根据成功匹配的点数来衡量两个人耳的相似度，得到识别结果。


2.根据权利要求1所述的基于3DHarris关键点及优化SHOT特征的三维人耳识别方法，其特征在于，步骤1具体包括以下步骤：
步骤1.1：使用含有数百张二维侧脸图片的数据库作为训练集，手动框出训练集图像中的方形人耳，利用FasterR-CNN框架训练得到目标检测器,利用这个检测器在带有侧脸和复杂背景信息的图像上检测人耳，获取方形人耳区域；
步骤1.2：根据二维图像里方形人耳区域的坐标提取出对应三维点云里的人耳区域。


3.根据权利要求1所述的基于3DHarris关键点及优化SHOT特征的三维人耳识别方法，其特征在于，所述步骤2具体包括以下步骤：
(2-1)、设置一定边长的体素网格，对体素网格内所有点坐标求均值，以数学期望均值点代替体素格内的所有其他点；(2-2)、以这种方式遍历整个三维人耳，用所有体素格内的点代替原有三维人耳。
<...

【专利技术属性】
技术研发人员：盖绍彦，钱昱来，达飞鹏，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32