基于改进注意力机制的并行时空特征选择的手势识别方法技术

本发明专利技术公开了基于改进注意力机制的并行时空特征选择的手势识别方法，包括获取输入手势视频，提取预设数量帧的视频片段作为输入数据集；搭建手势识别模型并对模型进行训练，手势识别模型的架构包括依次连接的第一3D卷积模块、三个RPCNet模块、第二3D卷积模块、3D池化模块以及分类模块；将输入数据集输入至第一3D卷积模块以降低输入数据集的维度，将降维后的特征依次输入至三个RPCNet模块中的第一个、第二个、第三个RPCNet模块并行学习手势的长短期时空特征，再通过第二3D卷积模块，得到最终的时空融合特征，通过3D池化模块以及分类模块全连接网络完成手势的识别以及分类，得到手势识别结果。手势识别准确度高。手势识别准确度高。手势识别准确度高。

【技术实现步骤摘要】
基于改进注意力机制的并行时空特征选择的手势识别方法


[0001]本专利技术属于神经网络领域，特别是涉及基于改进注意力机制的并行时空特征选择的手势识别方法。

技术介绍

[0002]随着计算机在现代社会中的普及，人们的交互技术正逐渐从以计算机为中心转移到以人为中心，跨域人机障碍的技术成为了新的研究热点。手势是人类最本能且是最常见的交流方式。与表情、动作等交互方式相比手势更加直观自然并可以表达丰富的语义信息，因此手势交互是人类最常用的人机交互方式之一，并且在人机交互中有着广泛的应用，如手语识别、虚拟显示、智能驾驶、医疗救助等。但手势本身具有高度的灵活性和多异性，所以通过手势的交互方式是一个富有挑战性的研究方向。
[0003]依据手势表达的语义将其分为静态手势和动态手势。静态手势以图片为数据集，以一张图片作为输入，其关注单个时间的手势姿势和外形特征。动态手势以视频为数据集，以一段视频作为输入，它不仅关注手势的姿态和外形，还关注了手势输入的时间序列。研究人机交互的目的就是让人与计算机的交互与人与人交互一样自然，而静态手势表达的语义有限，故基于动态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进注意力机制的并行时空特征选择的手势识别方法，其特征在于，所述方法包括以下步骤：S100：获取输入手势视频，从所述输入手势视频中提取预设数量帧的视频片段作为输入数据集；S200：搭建手势识别模型并对所述手势识别模型进行训练得到训练好的手势识别模型，所述手势识别模型的架构包括依次连接的第一3D卷积模块、三个RPCNet模块、第二3D卷积模块、3D池化模块以及分类模块；S300：将所述输入数据集输入至所述第一3D卷积模块以降低所述输入数据集的维度，将降维后的输入数据集输入至所述三个RPCNet模块中的第一个RPCNet模块，并依次通过第二个RPCNet模块、第三个RPCNet模块并行学手势的长短期时空特征，再通过所述第二3D卷积模块，得到最终的时空融合特征；S400：将所述最终的时空融合特征输入至所述3D池化模块以及所述分类模块全连接网络中完成手势的识别以及分类，得到手势识别结果。2.根据权利要求1所述的方法，其特征在于，所述RPCNet模块包括第一异构网络、第二异构网络、通道融合模块和空间融合模块，S300中将降维后的输入数据集输入至所述三个RPCNet模块中的第一个RPCNet模块学习手势长短期时空特征得到时空融合特征，包括：S310：将所述降维后的输入数据集分别输入至所述第一异构网络和所述第二异构网络，分别提取得到短期时空特征和长期时空特征，并将所述短期时空特征和所述长期时空特征逐一元素求和后得到求和后特征，并输入至所述通道融合模块；S320：所述通道融合模块用于根据接收的所述求和后特征沿着通道维度执行全局平均池化和全局最大池化操作，得到第一平均池化特征和第一最大池化特征，对所述第一平均池化特征和所述第一最大池化特征进行通道融合得到所述短期时空特征和所述长期时空特征在通道上的第一短期时空特征权重和第一长期时空特征权重，根据所述第一短期时空特征权重、第一长期时空特征权重、所述短期时空特征和所述长期时空特征得到通道融合特征，并输入至所述空间融合模块；S330：所述空间融合模块用于对接收的通道融合特征沿着空间维度执行全局平均池化和全局最大池化操作，得到第二平均池化特征和第二最大池化特征，对所述第二平均池化特征和所述第二最大池化特征进行空间融合得到所述短期时空特征和所述长期时空特征在空间轴上的第二短期时空特征权重和第二长期时空特征权重，根据所述第一短期时空特征权重、第一长期时空特征权重、所述短期时空特征、所述长期时空特征、所述第二短期时空特征权重和第二长期时空特征权重得到时空融合特征。3.根据权利要求2所述的方法，其特征在于，S310具体为：其中，I为降维后的输入数据集，其维度为T
×
H
×
W
×
C，T,H,W,C分别表示特征时间长度、高度、宽度和输入通道数，为短期时空特征，为长期时空特征，X为求和后特征，R2plus1D为第一异构网络，GateConvLSTM为第二异构网络。4.根据权利要求2所述的方法，其特征在于，所述通道融合模块包括第一全局平局池化模块、第一全局最大池化模块、第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模
块、特征相加模块、第五卷积模块、第六卷积模块和第一Softmax操作模块，S320包括：S321：所述第一全局平均池化模块和所述第一全局最大池化模块分别用于对求和后特征使用全局平均池化操作和全局最大池化操作聚合特征映射的空间信息，生成第一平均池化特征和第一最大池化特征其维度为1
×1×1×
2C；S322：将所述第一平均池化特征输入所述第一卷积模块以捕获通道之间的上下文信息，后输入至所述第二卷积模块将其维度变为1
×1×1×
2C/r，将所述第一最大池化特征输入所述第三卷积模块以捕获通道之间的上下文信息，后输入至所述第四卷积模块将其维度变为1
×1×1×
2C/r；S323：将所述第二卷积模块输出的特征和所述第四卷积模块输出的特征分别进行ReLU操作并相加后得到通道特征z
c
；S324：将所述通道特征z
c
分别输入到所述第五卷积模块和所述第六卷积模块将维度变为1
×1×1×
2C，得到通道轴上的第一短期时空特征和第一长期时空特征，再通过所述第一Softmax...

【专利技术属性】
技术研发人员：董正宏，陈公政，夏鲁瑞，王珏，李森，陈雪旗，卢妍，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：