一种手势识别方法以及装置制造方法及图纸

本申请公开了手势识别方法以及装置，用于通过从速度、距离或者角度等维度对回波数据进行滤波，从而得到干扰更少的手势数据，准确地识别出用户的手势，提高用户体验。该方法包括：获取雷达回波数据，所述回波数据包括对象在所述雷达的检测范围内进行运动时产生的信息；从所述回波数据中滤除不符合预设条件的信息，得到手势数据，所述预设条件包括距离、速度或角度中的至少两项，所述距离包括所述对象和所述雷达之间的距离，所述速度包括所述对象和所述雷达的相对速度，所述角度包括所述对象在所述雷达的检测范围内的方位角或俯仰角；从所述手势数据中提取特征，得到手势特征信息；根据所述手势特征信息获取目标手势。述手势特征信息获取目标手势。述手势特征信息获取目标手势。

【技术实现步骤摘要】
一种手势识别方法以及装置


[0001]本申请涉及人工智能领域，尤其涉及一种手势识别方法以及装置。

技术介绍

[0002]随着社会的发展及物质生活的提高，对于人机交互的需求越来越强烈，目前，人与虚拟世界的交互常常依赖于键盘和鼠标等接触性设备。而基于手势动作让用户不借助外部设备即可隔空进行信息交互，高效方便，给用户带来更好的体验。
[0003]传统的手势识别技术主要是利用光学原理进行的，光学图像可以清晰地表征手势的形状，但其限制性也较大，首先光学摄像头在强光或者昏暗光照下的效果较差；其次它对视距的限制也较大，用户必须在某个空间内进行动作识别，并且在光学摄像头和用户手部之间不能有障碍物的存在；再者，光学图像的存贮代价以及计算成本都相对较高；另外，基于光学原理的手势识别往往会在识别过程中获取用户面部图像，因此光学技术存在较大的隐私泄漏风险。
[0004]因此，如何实现更准确、应用范围广、防隐私泄露的手势识别，成为亟待解决的问题。

技术实现思路

[0005]本申请提供一种手势识别方法以及装置，用于通过从速度、距离或者角度等维度对雷达回波数据进行过滤，从而得到干扰更少的手势数据，准确地识别出用户的手势，从而实现准确、应用范围广、防隐私泄露的人机交互过程，并可以提高用户体验。
[0006]有鉴于此，第一方面，本申请提供一种手势识别方法，包括：获取雷达回波数据，回波数据包括对象在雷达的检测范围内进行运动时产生的信息；从回波数据中滤除不符合预设条件的信息，得到手势数据，预设条件包括距离、速度或角度中的至少两项对应的条件，距离包括对象和雷达之间的距离，速度包括对象和雷达的相对速度，角度包括对象在雷达的检测范围内的方位角或俯仰角；从手势数据中提取特征，得到手势特征信息；根据手势特征信息获取目标手势。
[0007]因此，本申请实施方式中，可以从速度、距离或者角度等多个维度对回波数据进行过滤，滤除回波数据中与用户的手势处于不同速度、距离或者角度等范围的对象的信息，从而得到包括更少干扰数据的手势数据，并基于该手势数据进行识别，可以快速准确地识别出手势，对用户的手势进行响应，提高用户体验。另一方面，由于本申请采用对雷达信号进行分析而获取手势数据，相对于使用光学方式来获取手势数据，本申请提供的方案不受环境光强弱的限制，在强光和弱光场景下都可以获取到手势数据，适用性广并且所需要的计算量小，另外，还可以降低乃至避免用户隐私数据(例如用户面部图像)泄露的风险。
[0008]在一种可能的实施方式中，回波数据中可以包括对象在雷达的检测范围内进行运动时产生的信息包括以下一项或者多项信息：所述对象和所述雷达的相对速度、所述对象和所述雷达之间的距离、所述对象在所述雷达的检测范围内的角度、所述对象在所述检测
范围内的位置、所述对象运动的幅度、所述对象运动的周期、雷达的回波相对于发射信号、雷达的回波相对于发射信号相位差或所述对象运动的加速度。
[0009]因此，本申请实施方式中，检测到的回波数据中所包括的数据可以包括多种反映对象在检测范围内进行运动时的参数，以便后续可以结合多种参数来进行手势识别，提高手势识别的准确率。
[0010]在一种可能的实施方式中，所述目标手势包括微手势，所述微手势为基于手部的手指运动形成的手势。因此，在本申请实施方式中，即使是用户手指的细微动作，也可以被识别出来，实现了对用户的微手势的精确识别，提高用户体验。
[0011]在一种可能的实施方式中，所述对象包括所述手部的手指，相应地，所述回波数据中包括以下一项或者多项：所述手指的运动速度、所述手指相对于所述雷达的距离、所述手指在所述检测范围内的角度、所述手指在所述检测范围内的位置、所述手指运动的幅度、所述手指运动的周期、所述手指运动的加速度、所述雷达的回波相对于发射信号的频移或所述雷达的回波相对于发射信号的相位差。
[0012]因此，本申请实施方式中，可以通过雷达，如毫米波雷达来检测用户的手指的运动产生的参数，从而可以基于包括了用户的手指的运动产生的参数的回波数据，来识别出用户的手指运动形成的手势，实现了对用户的微手势的精确识别，提高用户体验。
[0013]在一种可能的实施方式中，预设条件包括以下一项或者多项：速度在第一预设范围内，距离在第二预设范围内，或角度在第三预设范围内。
[0014]本申请实施方式中，可以从速度、距离或角度等维度来对回波数据进行过滤，从而使手势数据中与手势相关的数据占的比例更大，降低背景或者其他移动或禁止的物体对手势识别的干扰，提高手势识别的准确率。
[0015]在一种可能的实施方式中，从回波数据中滤除不符合预设条件的对象的信息，得到手势数据，可以包括：通过至少三阶反馈型滤波器，从回波数据中滤除速度不在第一预设范围内的信息。
[0016]因此，在本申请实施方式中，可以使用更高阶的反馈型滤波器来对回波数据进行过滤，从而在过滤一些低速或者静止的物体的表现更好，可以滤除更多的干扰数据，从而提高后续的手势识别的准确率。
[0017]在一种可能的实施方式中，在从手势数据中提取特征，得到手势特征信息之前，上述方法还可以包括：从所述手势数据中截取起始手势数据和终止手势数据之间的数据，得到更新后的所述手势数据。
[0018]因此，在本申请实施方式中，为了降低数据冗余，进一步提高手势识别的效率和准确率，可以从手势数据中截取起始手势和终止手势之间的信息，从而使后续可以快速准确地识别出手势。
[0019]在一种可能的实施方式中，在从手势数据中截取起始手势和终止手势之间的信息之前，上述方法还可以包括：起始手势数据包括所述手势数据中信号的方差大于第一预设值的数据，终止手势数据包括所述手势数据中连续至少三帧的方差小于第二预设值的数据。
[0020]因此，本申请实施方式中，当检测到回波数据中的某一个信号的方差大于一定值时，既可作为手势的起始点，当检测到其中一帧或者连读多帧的方差小于一定值时，既可确
定手势的终止点，从而可以快速截取到用户进行手势操作的动作。相对于使用固定的激活手势，本申请可以快速地对用户的手势操作进行响应，提高用户体验。
[0021]在一种可能的实施方式中，从手势数据中提取特征，得到手势特征信息，可以包括：根据所述手势数据，获取运动特征信息，所述运动特征信息包括对象在所述雷达的检测范围中运动时的信息；从所述运动特征信息中提取特征，得到所述手势特征信息。
[0022]本申请实施方式中，提取特征可以分为两部分，一部分是从手势数据中提取对象在雷达的检测范围中运动时的信息，另一部分是将对象在雷达的检测范围中运动时的信息作为特征提取网络的输入，提取到特征，得到手势特征信息。因此，本申请可以结合对象在雷达的检测范围中运动时的信息以及特征提取网络，提取到反映对象的运动情况的数据，从而提高后续的手势识别准确率。
[0023]在一种可能的实施方式中，运动特征信息中包括多普勒信息，多普勒信息包括对象在雷达的检测范围内产生多普勒运动的信息，根据手势数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：获取雷达回波数据，所述回波数据包括对象在所述雷达的检测范围内进行运动时产生的信息；从所述回波数据中滤除不符合预设条件的信息，得到手势数据，所述预设条件包括与距离、速度或角度中的至少两项对应的条件，所述距离包括所述对象和所述雷达之间的距离，所述速度包括所述对象和所述雷达的相对速度，所述角度包括所述对象在所述雷达的检测范围内的方位角或俯仰角；从所述手势数据中提取特征，得到手势特征信息；根据所述手势特征信息获取目标手势。2.根据权利要求1所述的方法，其特征在于，所述回波数据中包括所述对象在所述雷达的检测范围内进行运动时的以下一项或者多项信息：所述对象和所述雷达的相对速度、所述对象和所述雷达之间的距离、所述对象在所述雷达的检测范围内的角度、所述对象在所述检测范围内的位置、所述对象运动的幅度、所述对象运动的周期、所述雷达的回波相对于发射信号的频移、所述雷达的回波相对于发射信号的相位差或所述对象运动的加速度。3.根据权利要求2所述的方法，其特征在于，所述预设条件包括以下一项或者多项：所述速度在第一预设范围内，所述距离在第二预设范围内，或所述角度在第三预设范围内。4.根据权利要求3所述的方法，其特征在于，若所述预设条件中包括所述速度在第一预设范围内，所述从所述回波数据中滤除不符合预设条件的对象的信息，包括：通过至少三阶反馈型滤波器，从所述回波数据中滤除速度不在所述第一预设范围内的信息。5.根据权利要求2
‑
4中任一项所述的方法，其特征在于，所述目标手势包括微手势，所述微手势为基于手部的手指运动形成的手势。6.根据权利要求5所述的方法，其特征在于，所述对象包括所述手部的手指。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，在所述从手势数据中提取特征，得到手势特征信息之前，所述方法还包括：从所述手势数据中截取起始手势数据和终止手势数据之间的数据，得到更新后的所述手势数据。8.根据权利要求7所述的方法，其特征在于，所述起始手势数据包括所述手势数据中信号的方差大于第一预设值的数据，所述终止手势数据包括所述手势数据中连续至少三帧的方差小于第二预设值的数据。9.根据权利要求1
‑
8中任一项所述的方法，其特征在于，所述从手势数据中提取特征，得到手势特征信息，包括：根据所述手势数据，获取运动特征信息，所述运动特征信息包括所述对象在所述雷达的检测范围中运动时的信息；从所述运动特征信息中提取特征，得到所述手势特征信息。10.根据权利要求9所述的方法，其特征在于，所述运动特征信息包括多普勒信息，所述多普勒信息包括所述对象在所述雷达的检测范围内进行运动时产生的多普勒效应的信息，
所述根据所述手势数据，获取运动特征信息，包括：对所述手势数据分别基于快时间维度进行快速傅里叶变换以及基于慢时间维度进行短时快速傅里叶变换，得到所述对象在所述检测范围内运动过程中速度和时间之间的关系；根据所述对象在所述检测范围内运动过程中的速度和时间之间的关系得到所述多普勒信息。11.根据权利要求10所述的方法，其特征在于，所述运动特征信息中还包括距离信息和角度信息，所述距离信息包括所述对象和所述雷达之间的距离，所述角度信息包括所述对象在所述雷达的检测范围内的方位角和俯仰角；所述从所述对象的运动特征信息提取特征，得到所述手势特征信息，包括：将所述多普勒信息、所述距离信息和所述角度信息中的至少两种进行融合，得到多通道的特征图像，其中，所述多普勒信息、所述距离信息和所述角度信息分别对应一个通道；通过特征提取网络从所述多通道的特征图像中提取特征，得到所述手势特征信息。12.根据权利要求11所述的方法，其特征在于，所述根据所述手势特征信息进行识别，得到目标手势，包括：根据所述多通道的特征图像，获取所述多通道之间的关联度；根据所述多通道之间的关联度，获取自注意力谱，所述自注意力谱表示所述特征图像中的特征之间的相似程度；融合所述手势特征信息和所述自注意力谱，得到融合特征；对所述融合特征进行识别，获取所述目标手势。13.根据权利要求1
‑
12中任一项所述的方法，其特征在于，所述方法还包括：向终端发送所述目标手势的信息，所述目标手势的信息用于控制所述终端。14.根据权利要求13所述的方法，其特征在于，所述向终端发送所述目标手势的信息，包括：获取至少一个干扰手势；若所述目标手势与所述至少一个干扰手势之间的相似度不高于预设相似度，则向所述终端发送所述目标手势的信息。15.根据权利要求13或14所述的方法，其特征在于，所述向终端发送所述目标手势的信息，包括：若所述目标手势对应的置信度高于预设置信度，则向所述终端发送所述目标手势的信息。16.根据权利要求13
‑
15中任一项所述的方法，其特征在于，所述终端应用于车辆，所述雷达设置于所述车辆的方向盘下方的转向柱上，或者所述雷达设置于主驾驶座的前方，或者所述雷达设置于副驾驶座的前方，或者，所述雷达设置于所述车辆的主驾驶座和副驾驶座之间，或者，所述雷达设置于所述车辆内顶部的主驾驶舱和副驾驶舱之间，或者，所述雷达设置在所述主驾驶座或副驾驶座的椅背后方，所述目标手势用于控制所述车辆。17.一种手势识别装置，其特征在于，包括：收发单元，用于获取雷达回波数据，所述回波数据包括对象在所述雷达的检测范围内进行运动时产生的信息；
过滤单元，用于从所述回波数据中滤除不符合预设条件的信息，得到手势数据，所述预设条件包括距离、速度或角度中的至少两项对应的条件，所述距离包括所述对象和所述雷达之间的距离，所述速度包括所述对象和所述雷达的相对速度，所述角度包括所述对象在所述雷达的检测范围内的方位角或俯仰角；特征提取单元，用于从手势数据中提取特征，得到...

【专利技术属性】
技术研发人员：刘娴，易志伟，武俊杰，胡涛，江涵，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：