一种异构传感器特征融合的手势识别方法技术

本发明专利技术公开了一种异构传感器特征融合的手势识别方法，首先，利用肌电传感器、视觉传感器及惯性传感器获取原始信号，随后进行数据预处理；进一步，将处理后的数据划分为训练集和测试集；其次，将训练集输入至搭建好的卷积网络模型中训练，并在训练时针对不同传感器信息引入注意力机制；进一步，将测试集输入训练好的卷积网络模型后提取异构传感器特征向量；最后，构建Copula连接函数构建特征融合模型，利用支持向量机进行分类。本发明专利技术采用异构传感器获取数据，结合卷积神经网络提取特征，并利用Copula对不同传感器特征进行融合，更好地表述了传感器特征之间的相关性，提高了手势识别的准确率，为后续人机交互发展提供技术支撑。为后续人机交互发展提供技术支撑。为后续人机交互发展提供技术支撑。

【技术实现步骤摘要】
一种异构传感器特征融合的手势识别方法


[0001]本专利技术涉及人机交互
，特别涉及一种异构传感器特征融合的手势识别方法。

技术介绍

[0002]手势识别在智能交通、智能工厂、智能机器人等领域应用广泛。异构传感器为手势识别提供了丰富的多模态信息，以期实现更智能便捷的功能。然而，为了提高手势识别及分类精度和鲁棒性，如何提取异构传感器深层次特征，并将其有效融合仍有待研究。
[0003]随着人工智能技术和计算机性能提高，卷积神经网络在各个领域应用广泛，通过卷积神经网络能够提取多尺度深层次的语义信息，能有效地进行手势识别和分类。然而，一方面，卷积神经网络单纯利用卷积可能无法提取深层次的特征信息；另一方面，尽管目前有部分方法通过特征向量拼接或组合的方式进行异构传感器特征融合，但并未表征异构传感器之间的相关性，对其结果更是无法解释。
[0004]另外，Copula连接函数作为估计联合分布的有效方式，广泛应用于统计、经济和金融等领域的相关性建模与估计，能有效刻画异构传感器之间的相关性。

技术实现思路

[0005]针对上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构传感器特征融合的手势识别方法，其特征在于，包括以下步骤：S1：利用肌电传感器、惯性传感器及视觉传感器获取肌电信号数据、惯性数据和视觉图像数据，再对得到的各传感器的数据进行预处理，并通过卡尔曼滤波对肌电信号数据和惯性数据进行去噪，然后将处理后的数据划分为训练集和测试集；S2：构建卷积神经网络提取异构传感器特征针对肌电信号数据和惯性数据，构建三层特征提取模块，每层包括基础卷积层和信号注意力机制层，然后构建池化层和随机丢弃层；对于视觉图像数据，构建四层特征提取模块，每层包括基础卷积层和极化注意力机制层，然后构建池化层和随机丢弃层；基于交叉熵损失函数分别对上述特征提取模块进行训练，将训练集输入到卷积网络模型中训练；将测试集输入训练好的卷积网络模型后提取异构传感器特征向量；S3：根据输出的异构传感器特征向量，基于Copula连接函数的异构传感器特征融合算法建立融合模型，融合得到特征融合向量；S4：对特征融合向量利用支持向量机进行分类。2.根据权利要求1所述的异构传感器特征融合的手势识别方法，其特征在于，信号注意力机制表示如下：（1）其中，FA(
·
)表示信号注意力，X
k
为每层特征图，其中k=1,2,3；FC(
·
)表示全连接层，GAP(
·
)表示全局平均池化操作；第k层特征图X
k
由元素构成，其表示第k层特征图中第i行第j列的信息，i=0,1
…
,H
‑
1，j=0,1,
…
，W
‑
1；H和W分别表示特征图的行数和列数；为元素相乘；U
k
表示其对应学习权重，由元素构成，由离散余弦变换得出：（2）上式的约束条件为。3.根据权利要求1所述的异构传感器特征融合的手势识别方法，其特征在于，极化注意力机制表示如下：（3）其中，PA(<...

【专利技术属性】
技术研发人员：袁学东，邹联军，邹可，江茜，李沿宏，
申请(专利权)人：四川大学，
类型：发明
国别省市：