手势识别模型建立方法、手势识别方法、装置及数据手套制造方法及图纸

本发明专利技术提供了一种手势识别模型建立方法、手势识别方法、装置及数据手套，手势识别模型建立方法包括：获取数据手套完成标定动作时所述数据手套的各个传感器采集到数据的采集时间；基于预设规则，根据各个所述传感器的所述采集时间确定各个所述传感器之间的语义关系；根据各个所述传感器之间的所述语义关系建立基于图注意力网络的手势识别模型。本发明专利技术的技术方案根据各个传感器之间的语义关系建立用于手势识别的手势识别模型，能够提高手势识别精度，且识别速度快。

【技术实现步骤摘要】
手势识别模型建立方法、手势识别方法、装置及数据手套
本专利技术涉及姿态识别
，具体而言，涉及一种手势识别模型建立方法、手势识别方法、装置及数据手套。
技术介绍
数据手套是一种多模式的交互设备，可用于在虚拟场景中完成抓取、移动和旋转等动作，也可用于对机器人进行控制。通过对数据手套的手势进行识别，能够完成各种人机交互任务。目前，常用的基于数据手套的手势识别方法是获取数据手套上各个传感器采集的测量数据，并将测量数据与预先建立的各个手势模板的模板数据进行对比，根据对比结果确定数据手套的动作对应的手势。但是，这种方法对手势的识别精度较低，并且效率不高。
技术实现思路
本专利技术解决的问题是如何提高基于数据手套的手势识别精度和识别速度。为解决上述问题，本专利技术提供一种手势识别方法、装置、存储介质及数据手套。第一方面，本专利技术提供了一种手势识别模型建立方法，包括：获取数据手套完成动作时所述数据手套的各个传感器采集到数据的采集时间；基于预设规则，根据各个所述传感器的所述采集时间确定各个所述传本文档来自技高网...

【技术保护点】
1.一种手势识别模型建立方法，其特征在于，包括：/n获取数据手套完成动作时所述数据手套的各个传感器采集到数据的采集时间；/n基于预设规则，根据各个所述传感器的所述采集时间确定各个所述传感器之间的语义关系；/n根据各个所述传感器之间的所述语义关系建立基于图注意力网络的手势识别模型。/n

【技术特征摘要】
1.一种手势识别模型建立方法，其特征在于，包括：
获取数据手套完成动作时所述数据手套的各个传感器采集到数据的采集时间；
基于预设规则，根据各个所述传感器的所述采集时间确定各个所述传感器之间的语义关系；
根据各个所述传感器之间的所述语义关系建立基于图注意力网络的手势识别模型。


2.根据权利要求1所述的手势识别模型建立方法，其特征在于，所述语义关系包括联动关系和并发关系，所述基于预设规则，根据各个所述传感器的所述采集时间确定各个所述传感器之间的语义关系包括：
对于任意两个所述传感器，若两个所述传感器相继采集到数据，则两个所述传感器之间发生一次联动过程；
若两个所述传感器同时采集到数据，则两个所述传感器之间发生一次并发过程；
当所述数据手套执行所述动作标定次数时，确定两个所述传感器之间发生联动过程的第一概率和两个所述传感器之间发生并发过程的第二概率；
比对所述第一概率与第一预设阈值，并比对所述第二概率与第二预设阈值；
当所述第一概率大于所述第一预设阈值时，两个所述传感器之间存在联动关系；
当所述第二概率大于所述第二预设阈值时，两个所述传感器之间存在并发关系。


3.根据权利要求2所述的手势识别模型建立方法，其特征在于，所述根据各个所述传感器之间的所述语义关系建立基于图注意力网络的手势识别模型包括：
以各个所述传感器为节点，各个所述传感器之间的所述语义关系为各个所述节点之间的连接关系构建传感器网络；
根据所述传感器网络构建基于图注意力网络的所述手势识别模型。


4.根据权利要求3所述的手势识别模型建立方法，其特征在于，还包括获取所述数据手套完成标定动作时各个所述传感器采集的数据；
在所述根据所述传感器网络构建基于图注意力网络的所述手势识别模型之后，还包括：采用各个所述传感器采集的数据训练所述手势识别模型。


5.根据权利要求4所述的手势识别模型建立方法，其特征在于，所述采用各个所述传感器采集的数据训练所述手势识别模型包括前向传播步骤，所述前向传播步骤包括：
将各个所述传感器采集的数据作为对应的所述节点的初始特征表示；
对于所述传感器网络中的任意一个所述节点，确定所述节点分别与所述节点的各个一阶邻居节点之间的注意力系数；
对所述节点对应的所有所述注意力系数进行归一化，获得归一化后的注意力系数；
根据所述归一化后的注意力系数和各个所述一阶邻居节点的所述初始特征表示更新所述节点的特征表示，获得所述节点的更新后的特征表示；
确定所有所述节点的所述更新后的特征表示，并根据所有所述更新后的特征表示构建更新后的特征矩阵；
将所述更新后的特征矩阵输入所述手势识别模型的全连接网络，确定所述数据手套的动作分别为各个手势的概率，并确定概率最大的所述手势为预测手势。


6.根据权利要求5所述的手势识别模型建立方法，其特征在于，所述确定所述节点分别与所述节点的各个一阶邻居节点之间的注意力系数包括：
令所述节点为节点i，所述节点i的任一所述一阶邻居节点为节点j，根据所述节点i的所述初始特征表示和所述节点j的所述初始特征表示，采用第一公式确定所述节点i和所述节点j之间的注意力系数，所述第一公式包括：



其中，eij表示所述注意力系数，a表示自注意力神经网络层对应的函数，为所述节点i的所述初始特征表示，为所述节点j的所述初始特征表示，W为权重矩阵。


7.根据权利要求6所述的手势识别模型建立方法，其特征在于，所述对所述节点对应的所有所述注意力系数进行归一化，获得归一化后的注意力系数包括：
采用第二公式对所述节点i对应的所有所述注意力系数进行归一化，所述第二公式包括：



其中，αij表示所述归一化后的注意力系数，表示所述节...

【专利技术属性】
技术研发人员：王勃然，刘志远，姜京池，咸婉婷，胡宇涵，刘劼，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：广东;44