一种基于注意力机制的静态手势识别方法技术

本发明专利技术公开了一种基于注意力机制的静态手势识别方法。手势图像采集并尺寸归一化；将原始手势图像输入基准网络的第一层；将第一阶特征向量分别输入手势细节注意力模块和基准网络的第二层，将第二阶特征向量和手势细节注意力模块的输出进行融合，并将其输入第一通道注意力模块；第一通道注意力模块的输出输入基准网络的第三层；将第一阶特征向量和通道注意力模块的输出输入手势主体注意力模块；将手势主体注意力模块的输出和第三阶特征向量融合后输入第二通道注意力模块；第二通道注意力模块输入剩余基准网络和softmax分类器，获得手势图像的分类结果。本发明专利技术针对静态手势识别特点而设计，可以解决少训练集条件下的模型准确率不高的问题。率不高的问题。率不高的问题。

【技术实现步骤摘要】
一种基于注意力机制的静态手势识别方法


[0001]本专利技术涉及手势图像的提取方法，具体涉及一种基于注意力机制的静态手势识别方法。

技术介绍

[0002]随着神经网络技术的成熟，基于计算机视觉的手势识别正成为一股热潮。在实际应用时，如何识别手势，以及需要的准确性也为实时手势识别加大了难度。尽管手势识别技术已经取得很大进步，但在真实环境中还面临着许多挑战，如光照、距离等诸多因素都会影响手势识别的性能。而且目前所公开的静态手语数据集比较少，由此可能出现需要在少训练集的情况下进行模型的训练的情况。目前基于深度学习的手势识别方法逐渐成为主流，一般使用卷积神经网络通过卷积层自动提取手势特征，并通过卷积层进行融合。在这种特殊情况下，单一的增加网络的深度或者宽度所带来的收益并不是特别明显，甚至可能出现过拟合的情况，使得正确率表现不佳。

技术实现思路

[0003]针对在少训练集条件下的网络训练过程中对于手势特征提取准确率低的问题，本专利技术提出了一种简单有效的特征优化模块，可以针对性的解决少训练集条件下模型准确率不高的问题。本专利技术利用通用的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的静态手势识别方法，其特征在于：包括如下步骤：1)对各种手势进行图像采集获得原始手势图像，对原始手势图像进行尺寸归一化处理；2)将尺寸归一化处理后的图像输入基准网络的第一层，获得第一阶特征向量；3)将第一阶特征向量输入手势细节注意力模块，获得手势细节特征向量；将第一阶特征向量输入基准网络的第二层，获得第二阶特征向量；将手势细节特征向量和第二阶特征向量进行融合获得经过手势细节标定后的第二阶特征向量；4)将经过手势细节标定后的第二阶特征向量输入第一通道注意力模块，获得经手势细节标定和通道标定后的第二阶特征向量；5)将第一阶特征向量和第一通道注意力模块的输出均输入手势主体注意力模块，获得手势主体特征向量；6)将通道注意力模块的输出输入基准网络的第三层，获得第三阶特征向量；将第三阶特征向量和手势主体特征向量融合后输入第二通道注意力模块；7)将第二通道注意力模块的输出依次输入剩余基准网络、平均池化层和softmax分类器，获得手势图像的分类结果。2.根据权利要求1所述的一种基于注意力机制的静态手势识别方法，其特征在于：所述手势细节注意力模块包括依次连接的三个卷积层；第一个卷积层和第二个卷积层之间连接有一个上采样层；第一个卷积层的为卷积核大小为1
×
1，第二个和第三个卷积层的卷积核大小为3
×
3。3.根据权利要求1所述的一种基于注意力机制的静态手势识别方法，其特征在于：所述通道注意力模块包括依次连接的全局平均池化层、第一全连接层和第二全连接层，第二全连接层的输出与通道注意力模块的输入在通道维度上相乘后得到的特征向量作为通道注意力模块的输出。4....

【专利技术属性】
技术研发人员：章立早，田秋红，王捷，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：