一种复杂干扰场景下的手势识别系统技术方案

本公开是关于一种复杂干扰场景下的手势识别系统。该复杂干扰场景下的手势识别系统包括：手掌检测模块、关键点预测模块、手势分类模块，其中：所述手掌检测模块用于接收视频流输入信号，基于所述视频流输入信号生成手掌检测框，并将所述手掌检测框发送至关键点预测模块；所述关键点预测模块用于接收的手掌检测框，基于所述手掌检测框生成手部关键点坐标，并将所述手部关键点坐标发送至手势分类模块；所述手势分类模块用于接收手部关键点坐标，基于预设交互手势对所述手部关键点坐标进行手势识别。本公开解决了手势交互过程中手势识别准确率不高的问题，提升了人机交互中通过手势识别实现指令下发的准确性及安全性。识别实现指令下发的准确性及安全性。识别实现指令下发的准确性及安全性。

【技术实现步骤摘要】
一种复杂干扰场景下的手势识别系统


[0001]本公开涉及视觉识别领域，具体而言，涉及一种复杂干扰场景下的手势识别系统。

技术介绍

[0002]人机交互在当代生活、工业以及军事活动中扮演着越来越重要的角色，而手势作为最自然的肢体语言之一，使得手势识别成为人机交互领域中的关键技术。然而，手势的旋转、尺寸的变化、光照条件以及背景的复杂性都会给手势识别带来很大的挑战。手势的未被识别及误识别将会导致向下发送错误指令，可能会造成在某些领域(如无人驾驶的车辆控制，战场指挥)造成严重危害。
[0003]现有技术中，一种基于机器视觉的实时手势识别方法及手势识别系统根据人体和手部的特点设计了神经网络结构，同时在手部关节点识别实现手势识别环节中，设计了一种手势训练数据生成方式并通过迁移学习实现了手势识别，够达到实时的手势和手部关节识别。该专利技术没有考虑环境光照、手部遮挡、环境背景复杂等外部场景约束的情况。基于MediaPipe手势识别模型的安卓人机交互方法利用手机前置摄像头采集手势信息以进行人机交互，实现一种基于MediaPipe手势识别模型的安卓人机交互方法。该专利技术仅仅是将MediaPipe的输出结果传递给一个多层感知机网络进行手势分类，而没有考虑强震动及其他手势干扰场景下对手势识别的影响。
[0004]因此，需要一种或多种方法解决上述问题。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
专利技术内容
[0006]本公开的目的在于提供一种复杂干扰场景下的手势识别系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
[0007]根据本公开的一个方面，提供一种复杂干扰场景下的手势识别系统，包括手掌检测模块、关键点预测模块、手势分类模块，其中：
[0008]所述手掌检测模块包括第一阻塞器、手掌检测模型、第一矩形框转换模块，所述手掌检测模块用于接收视频流输入信号，基于所述视频流输入信号生成手掌检测框，并将所述手掌检测框发送至关键点预测模块；
[0009]所述关键点预测模块包括图片裁剪模块、关键点预设模型、第二矩形框转换模块、滤波器，所述关键点预测模块用于接收所述手掌检测模块发送的手掌检测框，基于所述手掌检测框生成手部关键点坐标，并将所述手部关键点坐标发送至手势分类模块；
[0010]所述手势分类模块包括第二阻塞器、手势识别网络，所述手势分类模块用于接收所述关键点预测模块发送的手部关键点坐标，基于预设交互手势对所述手部关键点坐标进行手势识别。
[0011]在本公开的一种示例性实施例中，所述系统的第一阻塞器用于接收视频流输入信
号，并将所述视频流输入信号的第一帧发送至手掌检测模型。
[0012]在本公开的一种示例性实施例中，所述系统的第一阻塞器还用于接收视频流输入信号及所述关键点预测模块的关键点预设模型发送手部存在置信度，基于所述手部存在置信度进行判定；
[0013]基于判定结果，将所述视频流输入信号的当前帧发送至手掌检测模型。
[0014]在本公开的一种示例性实施例中，所述系统的手掌检测模型用于基于预设编解码特征提取器在所述第一阻塞器发送的所述视频流输入信号的第一帧/当前帧中进行手掌检测，生成手掌检测结果。
[0015]在本公开的一种示例性实施例中，所述系统的第一矩形框转换模块用于基于所述手掌检测模型发送的手掌检测结果生成手掌检测框，并将所述手掌检测框发送至关键点预测模块。
[0016]在本公开的一种示例性实施例中，所述系统的图片裁剪模块用于基于所述手掌检测框对包含手掌的图片进行裁剪，并将裁剪后的图片发送至关键点预测模型。
[0017]在本公开的一种示例性实施例中，所述系统的关键点预测模型用于接收所述图片裁剪模块发送的裁剪后的包含手掌的图片，生成手部关键点坐标、手部存在置信度、手性；
[0018]若手部存在置信度大于预设阈值，则将所述手部关键点坐标发送至第二矩形框转换模块及滤波器。
[0019]在本公开的一种示例性实施例中，所述系统的第二矩形框转换模块用于接收所述关键点预测模型发送的手部关键点坐标，并将基于所述手部关键点坐标生成手部矩形框发送至图片剪裁模块。
[0020]在本公开的一种示例性实施例中，所述系统的滤波器用于基于滑动窗口对所述手部关键点坐标进行均值滤波处理，并将处理后的手部关键点坐标发送至第二阻塞器。
[0021]在本公开的一种示例性实施例中，所述系统的第二阻塞器用于基于第一预设手性的进行基于第一预设手势的手势识别判定；
[0022]所述手势识别网络用于基于LSTM循环网络及多层线性回归网络，基于第二预设手性的进行基于第二预设手势组的手势识别判定。
[0023]本公开的示例性实施例中的一种复杂干扰场景下的手势识别系统，该复杂干扰场景下的手势识别系统包括：手掌检测模块、关键点预测模块、手势分类模块，其中：所述手掌检测模块用于接收视频流输入信号，基于所述视频流输入信号生成手掌检测框，并将所述手掌检测框发送至关键点预测模块；所述关键点预测模块用于接收的手掌检测框，基于所述手掌检测框生成手部关键点坐标，并将所述手部关键点坐标发送至手势分类模块；所述手势分类模块用于接收手部关键点坐标，基于预设交互手势对所述手部关键点坐标进行手势识别。本公开解决了手势交互过程中手势识别准确率不高的问题，提升了人机交互中通过手势识别实现指令下发的准确性及安全性。
[0024]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0025]通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得
更加明显。
[0026]图1示出了根据本公开一示例性实施例的一种复杂干扰场景下的手势识别系统的技术方案总体框图；
[0027]图2示出了根据本公开一示例性实施例的一种复杂干扰场景下的手势识别系统的手部21关键点坐标示意图；
[0028]图3示出了根据本公开一示例性实施例的一种复杂干扰场景下的手势识别系统的滤波器均值滤波界面图；
[0029]图4示出了根据本公开一示例性实施例的一种复杂干扰场景下的手势识别系统的自定义手势示意图；
[0030]图5示出了根据本公开一示例性实施例的一种复杂干扰场景下的手势识别系统的网络结构图；
[0031]图6示出了根据本公开一示例性实施例的一种复杂干扰场景下的手势识别系统的预测结果示意图。
具体实施方式
[0032]现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
[0033]此外，所描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂干扰场景下的手势识别系统，其特征在于，所述系统包括手掌检测模块、关键点预测模块、手势分类模块，其中：所述手掌检测模块包括第一阻塞器、手掌检测模型、第一矩形框转换模块，所述手掌检测模块用于接收视频流输入信号，基于所述视频流输入信号生成手掌检测框，并将所述手掌检测框发送至关键点预测模块；所述关键点预测模块包括图片裁剪模块、关键点预设模型、第二矩形框转换模块、滤波器，所述关键点预测模块用于接收所述手掌检测模块发送的手掌检测框，基于所述手掌检测框生成手部关键点坐标，并将所述手部关键点坐标发送至手势分类模块；所述手势分类模块包括第二阻塞器、手势识别网络，所述手势分类模块用于接收所述关键点预测模块发送的手部关键点坐标，基于预设交互手势对所述手部关键点坐标进行手势识别。2.如权利要求1所述的系统，其特征在于，所述系统的第一阻塞器用于接收视频流输入信号，并将所述视频流输入信号的第一帧发送至手掌检测模型。3.如权利要求2所述的系统，其特征在于，所述系统的第一阻塞器还用于接收视频流输入信号及所述关键点预测模块的关键点预设模型发送手部存在置信度，基于所述手部存在置信度进行判定；基于判定结果，将所述视频流输入信号的当前帧发送至手掌检测模型。4.如权利要求3所述的系统，其特征在于，所述系统的手掌检测模型用于基于预设编解码特征提取器在所述第一阻塞器发送的所述视频流输入信号的第一帧...

【专利技术属性】
技术研发人员：陈籽妍，李钰新，姬永超，张秋磊，杨嘉业，姚超，李博伦，王强，
申请(专利权)人：北京机械设备研究所，
类型：发明
国别省市：