一种手势识别方法、装置、设备和介质制造方法及图纸

本申请公开了一种手势识别方法、装置、设备和介质，由于本申请获取待识别图像中的手肘和手腕处的骨骼点的坐标，根据骨骼点的坐标预测出最大手部预测框和最小手部预测框，用户戴的手套上有多种颜色，根据预设种子点通过采用基于颜色的区域增长算法，进行图像分割得到区域边缘位于最小手部预测框和最大手部预测框之间的每个分割候选区域，每个分割候选区域即为手套一种颜色的轮廓区域，通过凸包检测的方法确定出手部轮廓区域，对手部轮廓区域的区域图像采用预设像素值进行肤色填充，去除手套颜色对于手势识别的影响，将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果，从而实现在用户在戴不同手套时通用地识别出手势。通用地识别出手势。通用地识别出手势。

【技术实现步骤摘要】
一种手势识别方法、装置、设备和介质
[0001]本申请要求在2022年12月29日提交中国专利局、申请号为202211715130.4、申请名称为“一种手势识别方法、装置、设备和介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及手势识别
，尤其涉及一种手势识别方法、装置、设备和介质。

技术介绍

[0003]在冬天、高压电等工作环境下，工作人员需要戴手套进行工作，因此如何实现对戴手套的手势识别就成为亟待解决的技术问题。
[0004]现有的手势识别方法是实时采集施工人员的戴手套的手势动作作为样本，并制作手势动作视频序列；通过图卷积神经网络来提取视频序列中的手势动作特征；利用手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；利用训练好的手势动作分类模型实时判断识别施工人员手势动作。
[0005]但是现有技术的技术方案中是只针对戴特定款式手套的手势才能成功识别出手势，而在戴其他款式的手套时，图卷积神经网络无法识别出手部区域并提取出手势动作特征，从而导致无法成功识别手势，因此现有技术中戴手套的手势识别方法的通用性较差。

技术实现思路

[0006]本申请提供了一种手势识别方法、装置、设备和介质，用以解决现有技术中戴手套的手势识别方法的通用性较差的问题。
[0007]第一方面，本申请提供了一种手势识别方法，所述方法包括：
[0008]获取待识别图像中的手肘和手腕处的骨骼点的坐标；
[0009]根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框；根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域；
[0010]根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域，对所述待识别图像中所述手部轮廓区域的区域图像采用预设像素值进行肤色填充，并将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果。
[0011]进一步地，所述根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框包括：
[0012]根据所述骨骼点的坐标，确定所述手肘和所述手腕之间的小臂长度，根据所述小臂长度确定最大手部预测框的第一边长，根据所述小臂长度与预设数值的比值确定最小手部预测框的第二边长；
[0013]根据所述骨骼点的坐标、所述小臂长度以及角度值确定函数，确定垂直于摄像头
所在平面的法线、与所述手肘向所述手腕的延长线的夹角的角度值，根据所述角度值的正弦函数值、所述第一边长以及所述第二边长，确定所述正弦函数值与所述第一边长的第一乘积值的一半值、以及所述正弦函数值与所述第二边长的第二乘积值的一半值；
[0014]根据所述手肘向所述手腕的延长线，确定中心位于所述延长线且距中心距所述手腕的距离为所述第一乘积值的一半值，边长为第一边长的正方形区域为所述最大手部预测框、以及中心位于所述延长线且距所述手腕的距离为所述第二乘积值的一半值，边长为第二边长的正方形区域为所述最小手部预测框。
[0015]进一步地，所述根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域包括：
[0016]根据预设种子点的像素值、以及所述预设种子点的预设邻域范围的每个第一像素点的像素值，确定所述每个第一像素点中与所述预设种子点的颜色相似度大于预设颜色相似度阈值的目标第一像素点，将所述预设种子点和所述目标第一像素点保存在像素点集合中，将所述目标第一像素点作为下一轮区域生长的目标种子点，直到确定没有目标种子点则确定所述像素点集合中像素点组成的分割区域停止生长；
[0017]根据所述分割区域以及所述最小手部预测框，判断所述分割区域是否达到所述最小手部预测框的边缘；若所述分割区域未达到所述最小手部预测框的边缘，则确定所述手肘向所述手腕的延长线与所述分割区域的相交点的邻接点，将所述邻接点作为下一轮区域生长的目标种子点直到分割区域停止生长；
[0018]若所述分割区域达到所述最小手部预测框的边缘，则确定所述分割区域为分割候选区域，根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点，将所述每个第二像素点中不位于所述分割候选区域的目标第二像素点作为下一分割候选区域生长的更新后的预设种子点，基于所述更新后的预设种子点进行区域生长得到下一分割候选区域，直到区域边缘达到所述最大手部预测框的边缘得到最后一个分割候选区域。
[0019]进一步地，所述确定所述分割区域为分割候选区域之后，所述根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点之前，所述方法还包括：
[0020]若所述分割候选区域的像素点集合中的像素点数量小于预设数量阈值，则将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域；和/或
[0021]若所述分割候选区域的像素点集合中像素点的第一平均像素值、与相邻的前一分割候选区域的像素点集合中像素点的第二平均像素值的差值小于预设像素值阈值，则确定所述分割候选区域与相邻的前一分割候选区域的颜色差异小，将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域。
[0022]进一步地，所述根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域包括：
[0023]针对所述每个分割候选区域，对该分割候选区域的像素点集合中的像素点进行凸
包检测，检测出每个凸顶点和每个凸包缺陷点；
[0024]针对所述每个凸包缺陷点，根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件、或手指伸开的第二预设缺陷深度条件，若所述每个凸包缺陷点的凸包缺陷深度均满足所述第一预设缺陷深度条件或所述第二预设缺陷深度条件，将该分割候选区域确定为手部轮廓区域。
[0025]进一步地，所述根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件包括：
[0026]若该凸包缺陷点与相邻两侧的凸顶点形成的，在该凸包缺陷点的第一夹角的第一角度值大于第一预设角度值阈值，则确定该凸包缺陷点的凸包缺陷深度小。
[0027]进一步地，所述根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足手指伸开的第二预设缺陷深度条件包括：
[0028]确定该凸包缺陷点与所述手腕的骨骼点的第一连线长度、以及该凸包缺陷点的相邻任一侧的凸顶点与所述手腕的骨骼点的第二连线长度，若所述第二连线长度与所述第一连线长度中的最小值位于预设数值范围、且所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，所述方法包括：获取待识别图像中的手肘和手腕处的骨骼点的坐标；根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框；根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域；根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域，对所述待识别图像中所述手部轮廓区域的区域图像采用预设像素值进行肤色填充，并将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框包括：根据所述骨骼点的坐标，确定所述手肘和所述手腕之间的小臂长度，根据所述小臂长度确定最大手部预测框的第一边长，根据所述小臂长度与预设数值的比值确定最小手部预测框的第二边长；根据所述骨骼点的坐标、所述小臂长度以及角度值确定函数，确定垂直于摄像头所在平面的法线、与所述手肘向所述手腕的延长线的夹角的角度值，根据所述角度值的正弦函数值、所述第一边长以及所述第二边长，确定所述正弦函数值与所述第一边长的第一乘积值的一半值、以及所述正弦函数值与所述第二边长的第二乘积值的一半值；根据所述手肘向所述手腕的延长线，确定中心位于所述延长线且距中心距所述手腕的距离为所述第一乘积值的一半值，边长为第一边长的正方形区域为所述最大手部预测框、以及中心位于所述延长线且距所述手腕的距离为所述第二乘积值的一半值，边长为第二边长的正方形区域为所述最小手部预测框。3.根据权利要求1所述的方法，其特征在于，所述根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域包括：根据预设种子点的像素值、以及所述预设种子点的预设邻域范围的每个第一像素点的像素值，确定所述每个第一像素点中与所述预设种子点的颜色相似度大于预设颜色相似度阈值的目标第一像素点，将所述预设种子点和所述目标第一像素点保存在像素点集合中，将所述目标第一像素点作为下一轮区域生长的目标种子点，直到确定没有目标种子点则确定所述像素点集合中像素点组成的分割区域停止生长；根据所述分割区域以及所述最小手部预测框，判断所述分割区域是否达到所述最小手部预测框的边缘；若所述分割区域未达到所述最小手部预测框的边缘，则确定所述手肘向所述手腕的延长线与所述分割区域的相交点的邻接点，将所述邻接点作为下一轮区域生长的目标种子点直到分割区域停止生长；若所述分割区域达到所述最小手部预测框的边缘，则确定所述分割区域为分割候选区域，根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点，将所述每个第二像素点中不位于所述分割候选区域的目标第二像素点作为下一分割候选区域生长的更新后的预设种子点，基于所述更新后的预设种子点进行区域生长得到下一分割候选区域，直到区域边缘达到所述最大手部预测框的边缘得到最后一个分割候选区域。
4.根据权利要求3所述的方法，其特征在于，所述确定所述分割区域为分割候选区域之后，所述根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点之前，所述方法还包括：若所述分割候选区域的像素点集合中的像素点数量小于预设数量阈值，则将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，...

【专利技术属性】
技术研发人员：张玉，刘帅帅，孙萁浩，田友强，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：