【技术实现步骤摘要】
本专利技术涉及图像处理领域，尤其涉及一种基于深度学习的多模态手势识别方法及系统。
技术介绍
1、随着人机交互技术的迅猛发展，基于计算机视觉的手势识别已经成为人机交互中的重要方式之一。手势识别通过分析用户手部姿态的变化来感知用户的意图，广泛应用于虚拟现实、智能家居等领域。
2、传统的手势识别方法主要包括基于皮肤颜色建模的图像分割法、基于光流法的运动追踪法等。这些方法在简单静态手势识别方面效果良好，但容易受到光照变化、视角改变和遮挡的影响，其鲁棒性较差。随着深度学习的兴起，基于卷积神经网络的手势识别技术得到了广泛研究。这类方法能够端到端地学习手势判别特征，相比传统方法在鲁棒性方面有所提高。
3、然而，现有基于深度学习的手势识别技术通常结合rnn或者lstm模型以处理时间信息，这种循环网络结构使得在线识别时难以实现实时高效的推理。此外，现有数据集规模有限，网络难以学习到抗遮挡和光照变化的鲁棒特征，对于复杂环境的适应性不足。总体而言，构建一个能够实时识别、对遮挡和光照变化具有鲁棒性的手势识别方法，仍然是本领域亟待解决的技
【技术保护点】
1.一种基于深度学习的多模态手势识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的多模态手势识别方法，其特征在于，在步骤S1中，所述获取包含手部的原始图像具体包括：通过摄像头采集包含手部活动的视频流，将视频流按帧分割为若干张图像。
3.根据权利要求1所述的一种基于深度学习的多模态手势识别方法，其特征在于，在步骤S2中，利用目标检测法检测手部在预处理后的图像中的位置，得到手部位置前还包括：利用目标检测法检测并定位图像中的人脸，对图像中的人脸进行人脸识别，获取图像中每个人的身份。
4.根据权利要求3所述的一...
【技术特征摘要】
1.一种基于深度学习的多模态手势识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的多模态手势识别方法，其特征在于，在步骤s1中，所述获取包含手部的原始图像具体包括：通过摄像头采集包含手部活动的视频流，将视频流按帧分割为若干张图像。
3.根据权利要求1所述的一种基于深度学习的多模态手势识别方法，其特征在于，在步骤s2中，利用目标检测法检测手部在预处理后的图像中的位置，得到手部位置前还包括：利用目标检测法检测并定位图像中的人脸，对图像中的人脸进行人脸识别，获取图像中每个人的身份。
4.根据权利要求3所述的一种基于深度学习的多模态手势识别方法，其特征在于，在步骤s2中，所述利用目标检测法检测手部在预处理后的图像中的位置，得到手部位置，具体实现步骤包括：利用目标检测法中的旋转框检测法对图像进行检测，获得若干个手部预测框，每个手部预测框形成的矩形区域将图像中的单个手部完全覆盖。
5.根据权利要求4所述的一种基于深度学习的多模态手势识别方法，其特征在于，所述步骤s2和步骤s3之间还包括：根据图像中每个人的身份，对需要被识别手势的目标用户进行定位，提取所述目标用户的人脸关键...
【专利技术属性】
技术研发人员：梁运鑫，张常华，阮胜林，石金川，
申请(专利权)人：广东保伦电子股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。