一种手势检测方法、装置、设备及存储介质制造方法及图纸

本申请涉及计算机视觉技术领域，公开了一种手势检测方法、装置、设备及存储介质，包括：获取待检测图像，并利用基于改进后的神经网络构建的第一检测模型对所述待检测图像中的手部特征进行提取，以得到表征手部位置的手部检测框；其中，所述改进后的神经网络为添加了注意力机制的神经网络；利用第二检测模型对包含手部信息的所述手部检测框中的手部关键节点进行检测，并根据检测结果确定出所述待检测图像中的手势信息。添加注意力机制的第一检测模型较大程度上提高模型手部定位精度，实现在复杂环境下对手部小目标检测的要求。同时，第二检测模型的直接处理对象必定包含手部信息，在此基础上检测手部的关键节点能够降低误检率以提高检测效率。以提高检测效率。以提高检测效率。

A gesture detection method, device, device and storage medium

【技术实现步骤摘要】
一种手势检测方法、装置、设备及存储介质


[0001]本专利技术涉及计算机视觉
，特别涉及一种手势检测方法、装置、设备及存储介质。

技术介绍

[0002]目前，基于计算机视觉的手势识别被广泛研究，主要方法有熵分析法、基于结构特征的手势识别算法、基于视觉的组合特征进行手势识别、利用AdaBoost分类器进行手势识别、基于表观的手势识别、基于AdaBoost算法和光流匹配的实时手势识别等。
[0003]其中，熵分析法从背景复杂的视频流中分割出手势区域并进行手势识别，再使用链码的方法检测手势区域的轮廊，最后计算出从手势区域的质心到轮廓边界的距离。该系统可识别6种手势，平均识别率超过95％，6个人分别做每个手势的识别率平均达到90％
‑
100％。基于结构特征的手势识别算法，通过背景去除、方向检测、拇指检测和手指数量检测，来最终识别手势。基于视觉的组合特征进行手势识别，将手的面积、周长、重心面积比和长宽比等特征结合，使得识别率得以提高。但现有的方法进行识别捕捉手势时通常会遇到以下两种问题：第一是由于人手目标大小不一，无法有效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势检测方法，其特征在于，包括：获取待检测图像，并利用基于改进后的神经网络构建的第一检测模型对所述待检测图像中的手部特征进行提取，以得到表征手部位置的手部检测框；其中，所述改进后的神经网络为添加了注意力机制的神经网络；利用第二检测模型对包含手部信息的所述手部检测框中的手部关键节点进行检测，并根据检测结果确定出所述待检测图像中的手势信息。2.根据权利要求1所述的手势检测方法，其特征在于，还包括：通过在传统YOLOV5检测网络的特征提取C3模块之后添加卷积注意力模块，以得到所述改进后的神经网络。3.根据权利要求2所述的手势检测方法，其特征在于，所述卷积注意力模块包括通道注意力子模块和空间注意力子模块；相应的，所述利用基于改进后的神经网络构建的第一检测模型对所述待检测图像中的手部特征进行提取，以得到表征手部位置的手部检测框，包括：利用所述第一检测模型中的所述特征提取C3模块对所述待检测图像进行特征提取，以得到第一特征；将所述第一特征分别输入至所述通道注意力子模块和所述空间注意力子模块进行特征提取，以得到对应的第二特征和第三特征；将所述第二特征和所述第三特征进行特征融合后与所述第一特征进行点乘运算得到第四特征，并根据所述第四特征得到表征手部位置的所述手部检测框。4.根据权利要求1所述的手势检测方法，其特征在于，还包括：获取原始手势图像并对原始手势图像中的手势进行标注，以得到包含所述原始手势图像和相应的样本标签的训练集；利用所述训练集对基于所述改进后的神经网络构建的空白模型进行训练，以得到所述第一检测模型。5.根据权利要求4所述的手势检测方法，其特征在于，所述获取原始手势图像之后，还包括：通过数据增强的方法对获取到的所述原始手势图像进行几何变换，以得到与所述原始手势图像对应的变换手势图像；对所述变换手势图像中的手势进行标注，以得到包含所述原始图像、所述变换手势图...

【专利技术属性】
技术研发人员：李京兵，李忠磊，刘励，毕睿，吕佳茵，曹雨，包宇涵，徐娇娆，蔡金芮，
申请(专利权)人：海南大学，
类型：发明
国别省市：