复杂背景下闭合手掌感兴趣区域提取方法技术

本发明专利技术公开了复杂背景下闭合手掌感兴趣区域提取方法，属于生物信息与图像处理的交叉领域，通过运用双目摄像头测量手掌距离，提取特定的点进行透视变换，对手掌图像进行矫正；利用DeepLabv3+语义神经网络建立基于手掌图像粗分割模型，再结合高斯肤色模型提高分割精度，生成二值化图像；对二值化图像进行最大连通域分析；获得完整的手掌二值化图像后，对闭合手掌进行凸包检测；用Canny算子对手掌图像进行边缘检测，并用水平算子获取水平边缘，再获取每个边缘端点，作为候选点，通过候选点到质心的距离以及候选点到L1、L2的距离等条件进行筛选，获得最终的两个关键点，来提取手掌感兴趣区域。兴趣区域。兴趣区域。

【技术实现步骤摘要】
复杂背景下闭合手掌感兴趣区域提取方法


[0001]本专利技术属于生物信息与图像处理的交叉领域，具体是复杂背景下闭合手掌感兴趣区域提取方法。

技术介绍

[0002]随着生物特征识别技术的不断发展加上卫生防疫需要，生物特征识别技术已经开始从接触式识别逐步过渡到非接触式识别，在过渡的过程中，也自然而然地产生了很多关于手掌旋转、倾斜、扭曲等导致识别出错问题，相对于接触式掌纹识别，非接触式掌纹识别除了要克服手掌姿态问题外，还需要克服复杂背景的干扰，以及光照的影响。
[0003]手掌的旋转会导致所提取的ROI（Region of Interest，感兴趣区域）特征信息方向不一致，而倾斜则会导致手部轮廓直接发生变换，导致ROI区域提取位置发生偏差；现阶段大多数针对手掌感兴趣区域提取方法都是基于手部特定姿势（手指张开）的情况下进行的，而当手掌闭合时，则很难将手掌感兴趣区域提取出来。

技术实现思路

[0004]本专利技术的目的在于提供复杂背景下闭合手掌感兴趣区域提取方法，以解决现有技术中非接触式掌纹识别难以在复杂背景下提取闭合手掌的手掌感兴趣区域的问题。
[0005]提供复杂背景下闭合手掌感兴趣区域提取方法，包括如下步骤：S1：获取手掌外接矩形框的生物信息，凭借矩形的特殊性，对特定的点进行透视变换，将倾斜手掌矫正；S2：利用DeepLabv3+语义神经网络建立基于手掌轮廓的分割模型，将矫正后的手掌从复杂背景下分离出来，再结合高斯肤色模型提高分割精度，生成二值化图像；S3：对二值化图像进行最大连通域分析，进一步消除手掌图像分割过程的误差，再进行形态学操作，消除手掌区域的孔洞；S4：获得完整的手掌二值化图像后，对闭合手掌进行凸包检测，得到手指指尖间的凹陷点，通过形态学和几何学得到两条经过食指与中指以及无名指与小指指缝的线L1、L2；S5：用Canny算子对手掌图像进行边缘检测，并用水平算子获取水平边缘，再获取每个边缘端点作为候选点，通过候选点到质心的距离以及候选点到L1、L2的距离等条件进行筛选，获得最终的两个关键点，来提取手掌感兴趣区域。
[0006]作为本专利技术进一步的方案：所述S1中通过双目摄像头和骨架点检测技术获取手掌P1、P2、P3、P4、P5的三维坐标，利用这5个离散点拟合平面，利用P3作为参考点，做P1对于P3的对称点P6，并得到P6三维坐标，通过以下三个条件得到P7点：A）P7到P3的距离应与P6到P3的距离相等；B）P7、P3的向量应与P6、P3的向量互相垂直；C）P7应在拟合平面上；得出P7后，做P7的对称点P8；
重复上述步骤，假设并得到A点，并通过对称性分别得到点B、点C、点D，以得到手掌平面的矩形四个关键点坐标，得到在手掌平面上的矩形区域，且此区域已将整个手部囊括进去；将得到的A、B、C、D四个点作为参数传入透视变换函数中，使四个点在图像坐标系下构成一个标准的矩形，完成倾斜手掌的矫正。
[0007]得到P6的具体方程为：。
[0008]作为本专利技术进一步的方案：利用P1、P2、P3、P4和P5这5个离散点拟合平面，已知一个三维平面可以用来表示，所以由离散点拟合平面，实质是求解超定方程，从而得到拟合的平面系数Ω(a,b,c)，所述超定方程的公式如下：；其中，x、y、z是空间域像素的位置坐标，a、b、c为平面方程系数，假设P7的三维坐标为(X7,Y7,Z7)，得到P7点的三个条件方程为：；其中，X3、Y3、Z3、X6、Y6、Z6、X7、Y7、Z7为相关坐标点的三维坐标信息，a、b、c为平面方程系数，所述透视变换方程为；；其中u、v、w为原始图像坐标，对应得到变换后的图像齐次坐标为x、y、w，a
11
~a
33
为变换矩阵；得到变换后的齐次坐标后，获取变换后的图像坐标，其公式为：；；其中x，y为变换后的图像坐标。
[0009]作为本专利技术进一步的方案：所述S2中首先采用DeepLabv3+语义分割对手掌进行第一次分割；为了使分割模型更加稳定有效，在训练模型时，针对不同手部姿态、不同光照环境以及不同背景均加入了训练样本；得到DeepLabv3+语义分割出来的二值化图像后，选择连通域最大的二值化区域作为手掌区域，对二值化区域进行适度膨胀操作，并与手掌原图进行
‘
与
’
操作，使得将除手掌外的绝大多数背景区域均被屏蔽；将
‘
与
’
操作之后的图像采用基于高斯肤色模型的传统方法进行分割；在屏蔽了绝大多数背景后，在复杂背景干扰较
小的情况下，图像分割的传统方法拥有比神经网络语义分割更好的精度和稳定性。
[0010]作为本专利技术进一步的方案：所述S3中对分割获得的二值化图像进行连通域分析，采用中值滤波器对二值化的轮廓进行平滑处理，并采用形态学中的膨胀腐蚀操作清除手掌内部的孔洞。
[0011]作为本专利技术进一步的方案：所述S4中通过调整参数以适应手掌形态，利用凸包检测技术得到闭合手掌上一组凹陷点的信息，并利用Opencv函数获取二值化图像的质心坐标信息以及手掌轮廓点信息；通过凹陷点信息，利用凹陷点的深度即可得出深度最大的点为拇指食指凹陷点记作Q1；将剩余凹陷点一一与质心比较距离，得到距离最远的点即为中指指尖点T1；连接T1、质心点C1并延长交于手掌轮廓，交点记作D1，点D1处于手掌手腕处；遍历凹陷点信息，计算各个凹陷点到点D1的距离，从而得到食指中指间、无名指小指间以及食指指尖点为距离最远的三个凹陷点，并通过三个点之间的距离，筛选出食指与中指间、无名指与小指间凹陷点；通过比对与点Q1的距离，确定食指与中指凹陷点为Q2，无名指与小指凹陷点为Q3；做Q1、Q2之间连线的垂线，Q1绕着Q2 旋转14
°
~16
°
得到V1，角度由经验阈值所得，使得Q2、V1的连线方向顺应指缝方向，并将Q2、Q3顺着指缝方向映射到该垂线，得到候选点V2、V3，这里将Q2与V2 连线（即食指与中指指缝）称作L1，Q3与V3连线（即无名指与小指指缝）称作L2。
[0012]作为本专利技术进一步的方案：所述S5中手掌方向矫正后，采用拉普拉斯算子对手掌进行图像增强，将增强的图像灰度化，然后采用Canny算子提取图像的边缘，并设置一个阈值，将提取出来的连通量进行一个筛选，只保留大的连通量；将手掌的轮廓区域整体进行膨胀，并构建水平方向的边缘检测算子对轮廓图像进行检测，获得水平方向的轮廓；将提取出来的水平方向的轮廓进行腐蚀操作，然后利用这些二值化区域做一个骨架线提取，重新做一次阈值筛选，删除细小的边缘；采用八邻域扫描算法得到留下来的边缘的端点，保存这些端点坐标信息；对这些关键点进行筛选，计算出每一个候选点到质心的距离以及每一个候选点到连线L1和L2的距离；首先筛选掉不在三个指窝的候选点，具体约束条件如下：；；；此时筛选出来的关键点均在指窝处，然后再这些点中通过筛选，得到两点距离最长的两个点，即为食指中指指窝点和无名指小指指窝点作为最终的关键点；在候选点集中，计算两两距离最大的两个点作为手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，包括如下步骤：S1：获取手掌外接矩形框的生物信息，凭借矩形的特殊性，对特定的点进行透视变换，将倾斜手掌矫正；S2：利用DeepLabv3+语义神经网络建立基于手掌轮廓的分割模型，将矫正后的手掌从复杂背景下分离出来，再结合高斯肤色模型提高分割精度，生成二值化图像；S3：对二值化图像进行最大连通域分析，进一步消除手掌图像分割过程的误差，再进行形态学操作，消除手掌区域的孔洞；S4：获得完整的手掌二值化图像后，对闭合手掌进行凸包检测，得到手指指尖间的凹陷点，通过形态学和几何学得到两条经过食指与中指以及无名指与小指指缝的线L1、L2；S5：用Canny算子对手掌图像进行边缘检测，并用水平算子获取水平边缘，再获取每个边缘端点作为候选点，通过候选点到质心的距离以及候选点到L1、L2的距离等条件进行筛选，获得最终的两个关键点，来提取手掌感兴趣区域。2.根据权利要求1所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，所述S1中通过双目摄像头和骨架点检测技术获取手掌P1、P2、P3、P4、P5的三维坐标，利用这5个离散点拟合平面，利用P3作为参考点，做P1对于P3的对称点P6，并得到P6三维坐标，通过以下三个条件得到P7点：P7到P3的距离应与P6到P3的距离相等；P7、P3的向量应与P6、P3的向量互相垂直；P7应在拟合平面上；得出P7后，做P7的对称点P8；重复上述步骤，假设并得到A点，并通过对称性分别得到点B、点C、点D，得到在手掌平面上的矩形区域，且此区域已将整个手部囊括进去；将得到的A、B、C、D四个点作为参数传入透视变换函数中，使四个点在图像坐标系下构成一个标准的矩形，完成倾斜手掌的矫正。3.根据权利要求2所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于，利用P1、P2、P3、P4和P5这5个离散点拟合平面，实质是求解超定方程，从而得到拟合的平面系数Ω(a,b,c)，所述超定方程的公式如下：；其中，x、y、z是空间域像素的位置坐标，a、b、c为平面方程系数，假设P7的三维坐标为(X7,Y7,Z7)，得到P7点的三个条件方程为：；其中，X3、Y3、Z3、X7、Y7、Z7为相关坐标点的三维坐标信息，a、b、c为平面方程系数，所述透视变换方程为；；
其中u、v、w为原始图像坐标，对应得到变换后的图像齐次坐标为x、y、w，a
11
~a
33
为变换矩阵；得到变换后的齐次坐标后，获取变换后的图像坐标，其公式为：；；其中x，y为变换后的图像坐标。4.根据权利要求1所述的复杂背景下闭合手掌感兴趣区域提取方法，其特征在于...

【专利技术属性】
技术研发人员：周开军，曾祺，周鲜成，史长发，覃业梅，王栋，
申请(专利权)人：湖南工商大学，
类型：发明
国别省市：