一种手势识别方法以及相关装置制造方法及图纸

本申请实施例公开了一种手势识别方法以及相关装置，通过对雷达装置采集的原始点云数据集进行筛选，得到第一点云数据集。第一点云数据集包括多帧第一子点云数据集，第一子点云数据集包括第一聚类中心，第一聚类中心为第一子点云数据集中多个点云数据的聚类中心，任意两个第一聚类中心之间的最大水平距离满足第一预设条件，第一点云数据集的时间长度满足第一预设条件。可有效滤除运动轨迹与手势运动不相符的点云数据。使用筛选后得到的第一点云数据集进行手势识别，可以降低误触发概率，改善用户的人机交互体验。

【技术实现步骤摘要】
一种手势识别方法以及相关装置
本申请涉及信息处理
，尤其涉及一种手势识别方法以及相关装置。
技术介绍
近年来随着智能家居与可穿戴设备的迅速发展，用于计算的设备无处不在并融入到人们生活的环境当中。为方便人与计算设备的交互，相对于传统的接触式人机交互方式，有必要提出一种更加自然、使用户尽可能摆脱对输入设备等依赖的交互方式，如隔空手势。隔空手势是一类非接触式的、能够使用户以徒手方式进行操作的空中手势，其本质是一种不给用户手势交互带来任何不便的自然人机交互方式。隔空手势通过用户自然地利用手指、手腕和手臂动作表达其交互意图，主要包括指、挥手、握拳、手掌转动等,具有更广阔的交互空间、更高的灵活度和更好的交互体验等特点。依据感知设备的不同，目前主要分为基于计算机视觉、超声波和电磁波信号的三大类手势识别技术。以电磁波信号为例，为实现手势动作的识别，提出了利用基于调频连续波(frequencymodulatedcontinuouswave，FMCW)调制方式的雷达进行手势动作的感知。雷达传感器向用户发送雷达信号后，雷达信号作用于人体产生反射信号。雷达传感器根据这些反射信号生成点云(pointcloud)数据集。但是目前，雷达难以判断这些点云数据集是否是手部动作或有效手势动作所产生的点云数据，造成手势识别的误触发概率较高。
技术实现思路
本申请实施例提供了一种手势识别方法，降低手势识别的误触发概率，改善用户的人机交互体验。第一方面，本申请实施例提供了一种手势识别方法，可以包括：首先，手势识别装置获取原始点云数据集，该原始点云数据集包括多个子点云数据集，每个子点云数据集对应该原始点云数据集中的一帧。每个子点云数据集包括多个点云数据，该多个点云数据对应多个反射信号，该反射信号与雷达装置发射的雷达信号对应；其次，对原始点云数据集进行筛选，得到第一点云数据集。具体的，第一点云数据集包括多个第一子点云数据集，每个第一子点云数据集对应第一点云数据集中的一帧，该多个第一子点云数据集在时间上连续。对原始点云数据集进行聚类处理，然后根据该原始点云数据集中各个子点云数据集的聚类中心之间的最大水平距离进行筛选，得到第一点云数据集。在第一子点云数据集中，该聚类中心称为第一聚类中心，在第一点云数据集中任意两个第一聚类中心之间的最大水平距离满足第一预设条件。该第一点云数据集的时间长度满足第一预设条件，即第一点云数据集中第一个第一子点云数据集至最后一个第一子点云数据集的时间长度满足第一预设条件。该原始点云数据集中各个子点云数据集的聚类中心可视为人体在雷达装置的探测区域中的位置。因此，第一点云数据集中任意两个第一聚类中心之间的最大水平距离过大时，可以认为该人体在走动或跑动，此时，不启动手势识别。当任意两个第一聚类中心的最大水平距离满足第一预设条件时(小于第三门限，第三门限可以是0.5米、0.8米、1米或1.2米，此处不做限定)，可以认为该人体处于相对静止状态，可以认为该人体正在进行基于手势的人机交互操作，启动手势识别。此外，还需要基于时间长度对该原始点云数据集进行筛选，第一点云数据集的时间长度(即第一点云数据集中第一个第一子点云数据集至最后一个第一子点云数据集之间的时间长度)太长时，认为使用者处于相对静止状态，例如以雷达装置部署于智能电视为例，使用者处于观看电视节目的状态时，则不启动手势识别。第一点云数据集的时间长度太短时，认为使用者晃动身体或做其它持续时间较短动作，例如挠头或拿水杯等，也不启动手势识别。只有当第一点云数据集的时间长度满足第一预设条件时(第一点云数据集的时间长度处于大于第四门限且小于第五门限，第四门限可以是0.3秒、0.4秒或0.5秒，第五门限可以是2.4秒、2.5秒、2.6秒或2.8秒，此处不作限定)，启动手势识别，例如：第一点云数据集的时间长度满足小于2.5秒且大于0.5秒。再次，根据第一点云数据集中点云数据的特征值进行手势识别，特征值包括点云数据在空间坐标系中的坐标值、距离或速度中的至少一项。本申请实施例中，对原始点云数据集进行筛选，得到第一点云数据集。第一点云数据集中包括多帧第一子点云数据集，每帧第一子点云数据集对应第一点云数据集中的一帧，这些第一子点云数据集在时间上连续。第一点云数据集中任意两个第一聚类中心之间的最大水平距离满足第一预设条件，且，多帧第一子点云数据集对应的时间长度满足第一预设条件。最终使用这个第一点云数据集中点云数据的特征值进行手势识别。由于第一聚类中心位置的变化轨迹可以视为探测目标的运动轨迹；多个连续的第一子点云数据集所对应的时间长度，可视为探测目标的运动时间长度。因此，通过对原始点云数据集进行筛选，可有效滤除运动轨迹过大或过小所对应的点云数据集，且滤除运动时间长度过长或过短所对应的点云数据集。这些被滤除的点云数据集中包括的点云数据为无效数据。然后使用筛选后的点云数据集进行手势识别，从而降低误触发概率，改善用户的人机交互体验。结合第一方面，在第一方面的一种可选设计中，根据第一点云数据集中点云数据的特征值进行手势识别，包括：首先，对第一点云数据集中每一帧进行聚类处理，生成第二点云数据集。具体的，对每一帧中点云数据最多的子类进行聚类处理。例如：第一点云数据集的第5帧包括3个子类，每个子类由若干个点云数据组成。则选取点云数据最多的子类作为第二点云数据集中的第5帧的点云数据，然后对该子类进行聚类处理。生成的聚类中心称为第二聚类中心。该第二点云数据集中包括多帧第二子点云数据集，第二子点云数据集为对应的第一子点云数据集中聚类后点云数量最多的子类，第二子点云数据集包括第二聚类中心，第二聚类中心的边界框(boundingbox)尺寸小于等于第一聚类中心的边界框尺寸。其次，根据第二点云数据集中点云数据的特征值进行手势识别。本申请实施例中，通过对第一点云数据集中的点云数据进行二次聚类处理，生成第二点云数据集，第二点云数据集包括多个第二子点云数据集，第二子点云数据集包括第二聚类中心，第二聚类中心的边界框尺寸小于或等于第一聚类中心的边界框尺寸。由于近距离场景下，雷达装置接收到的反射信号主要来自于手部的反射信号；但在远距离场景下，由于视野更大，雷达装置接收到的反射信号来自于手部、躯干以及多目标体的反射信号。通过上述二次聚类，可以有效过滤躯干或其它目标的反射信号产生的点云数据。提升了应用于近距离场景时的手势识别准确率。结合第一方面，在第一方面的一种可选设计中，对第一点云数据集进行聚类处理，生成第二点云数据集之前，方法还包括：当第一点云数据集的帧数与预设帧数不一致时，规整第一点云数据集，其中，将规整前第一点云数据集的帧数扩充或压缩至预设帧数，规整后第一点云数据集的帧数为预设帧数，预设帧数由雷达装置发送雷达信号的帧率确定。当手势识别装置得到第一点云数据集后，检测该第一点云数据集的帧数(即第一点云数据集中第一子点云数据集的数量)与预设帧数是否一致。该预设帧数由雷达装置100发送雷达信号的帧率确定，例如：该雷达装置100发送雷达信号的帧率为20赫兹。当第一点云数据集的帧数为15帧，与预设本文档来自技高网...

【技术保护点】
1.一种手势识别方法，其特征在于，包括：/n获取原始点云数据集，所述原始点云数据集包括多个点云数据，所述多个点云数据对应多个反射信号，所述反射信号与雷达装置发射的雷达信号对应；/n对所述原始点云数据集进行筛选，得到第一点云数据集，所述第一点云数据集包括多帧第一子点云数据集，所述第一子点云数据集包括第一聚类中心，所述第一聚类中心为所述第一子点云数据集中多个点云数据的聚类中心，任意两个所述第一聚类中心之间的最大水平距离满足第一预设条件，所述第一点云数据集的时间长度满足所述第一预设条件；/n根据所述第一点云数据集中点云数据的特征值进行手势识别，所述特征值包括点云数据在空间坐标系中的坐标值、距离或速度中的至少一项。/n

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：
获取原始点云数据集，所述原始点云数据集包括多个点云数据，所述多个点云数据对应多个反射信号，所述反射信号与雷达装置发射的雷达信号对应；
对所述原始点云数据集进行筛选，得到第一点云数据集，所述第一点云数据集包括多帧第一子点云数据集，所述第一子点云数据集包括第一聚类中心，所述第一聚类中心为所述第一子点云数据集中多个点云数据的聚类中心，任意两个所述第一聚类中心之间的最大水平距离满足第一预设条件，所述第一点云数据集的时间长度满足所述第一预设条件；
根据所述第一点云数据集中点云数据的特征值进行手势识别，所述特征值包括点云数据在空间坐标系中的坐标值、距离或速度中的至少一项。


2.根据权利要求1所述的方法，其特征在于，根据所述第一点云数据集中点云数据的特征值进行手势识别，包括：
对所述第一点云数据集进行聚类处理，生成第二点云数据集，其中，
所述第二点云数据集中包括多帧第二子点云数据集，所述第二子点云数据集为对应的所述第一子点云数据集中聚类后点云数据最多的子类，
所述第二子点云数据集包括第二聚类中心，所述第二聚类中心的边界框尺寸小于等于所述第一聚类中心的边界框尺寸；
根据所述第二点云数据集中点云数据的所述特征值进行手势识别。


3.根据权利要求2所述的方法，其特征在于，对所述第一点云数据集进行聚类处理，生成所述第二点云数据集之前，所述方法还包括：
当所述第一点云数据集的帧数与预设帧数不一致时，规整所述第一点云数据集，其中，将规整前所述第一点云数据集的帧数扩充或压缩至所述预设帧数，规整后所述第一点云数据集的帧数为所述预设帧数，所述预设帧数由所述雷达装置发送所述雷达信号的帧率确定。


4.根据权利要求3所述的方法，其特征在于，规整所述第一点云数据集，包括：
按照所述第一点云数据集的时间顺序，选取规整前所述第一点云数据集中多帧所述第一子点云数据集的点云数据的并集，作为规整后所述第一点云数据集中一个所述第一子点云数据集的点云数据；
或，选取规整前所述第一点云数据集中一个所述第一子点云数据集的点云数据，作为规整后所述第一点云数据集中多帧所述第一子点云数据集的点云数据。


5.根据权利要求3至4中任一项所述的方法，其特征在于，根据所述第二点云数据集中点云数据的所述特征值进行手势识别，包括：
根据所述第二子点云数据集中各个点云数据的所述速度，确定速度平均值，所述速度平均值为所述第二子点云数据集中各个点云数据的速度平均值；
根据所述速度平均值，滤除所述第二子点云数据集中与所述速度平均值正负性不一致的点云数据，确定第三子点云数据集，其中，所述第三子点云数据集中各个点云数据的所述速度与所述速度平均值的正负性一致；
根据第三点云数据集中点云数据的所述特征值进行手势识别，其中，所述第三点云数据集中包括多个所述第三子点云数据集，所述第三点云数据集的帧数与所述第二点云数据集的帧数一致。


6.根据权利要求1至5中任一项所述的方法，其特征在于，
所述第一点云数据集中点云数据的速率大于第一门限，
所述第一点云数据集中连续的两帧所述第一子点云数据集之间的时间长度小于第二门限。


7.根据权利要求2至4中任一项所述的方法，其特征在于，所述特征值经过方差处理、中位数处理、最值处理或平均值处理。


8.根据权利要求2至5中任一项所述的方法，其特征在于，所述特征值经过归一化处理。


9.根据权利要求1至8中任一项所述的方法，其特征在于，根据所述第一点云数据集中点云数据的所述特征值进行手势识别，包括：
使用神经网络模型对所述第一点云数据集中点云数据的所述特征值进行处理，进行手势识别，所述神经网络模型包括循环神经网络。


10.根据权利要求1至8中任一项所述的方法，其特征在于，根据所述第一点云数据集中点云数据的所述特征值进行手势识别，包括：
根据所述第一点云数据集中点云数据的所述特征值，和，预设的点云数据集合进行相似度计算；
根据所述相似度计算的结果，确定所述第一点云数据集对应的手势。


11.根据权利要求1至10中任一项所述的方法，其特征在于，所述第一预设条件为：任意两个所述第一聚类中心之间的最大水平距离小于第三门限，所述第一点云数据集的时间长度对应的时间长度小于第四门限且大于第五门限。


12.一种手势识别装置，其特征在于，包括：
获取模块，用于获取原始点云数据集，所述原始点云数据集包括多个点云数据，所述多个点云数据对应多个反射信号，所述反射信号与雷达装置发射的雷达信号对应；
处理模块，用于对所述原始点云数据集进行筛选，得到第一点云数据集，所述第一点云数据集包括多帧第一子点云数据集，每帧所述第一子点云数据集对应所述第一点云数据集中的一帧，所述多帧第一子点云数据集在时间上连续...

【专利技术属性】
技术研发人员：丁根明，贺亚农，况丹妮，屈敬伟，刘峰，杨嘉辰，王二力，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44