【技术实现步骤摘要】
本专利技术涉及一种融合唇读识别的手势识别方法及系统，属于手势识别。
技术介绍
1、随着人工智能的迅速发展，手势识别技术在智能人机交互领域的重要性日益凸显。这项技术的广泛应用为听力和语言障碍患者提供了全新的沟通途径，尤其是在全球与听力障碍相关疾病患者数量显著上升的背景下，手势识别技术的发展显得尤为紧迫。根据世界卫生组织最新数据显示，全球与听力障碍相关的疾病患者数量呈上升趋势，可能受多种因素影响，包括人口老龄化、环境因素以及疾病的流行。面对这一趋势，为听力障碍者提供有效的沟通方式显得至关重要。手势识别技术凭借其便捷直观的特点成为改善听力障碍者日常生活的强大工具，使他们能够通过手势表达自己的意图、获取信息，并更好地融入社交和职业活动中。
2、然而，对于一些听力和语言障碍者来说，仅仅依靠手势识别可能不足以满足其复杂的沟通需求。听力和语言障碍者通常在做手势时伴随着几乎无声的唇音，而目前的手势识别系统无法满足这一需求，可见，为解决该技术问题，亟需一种融合唇读识别的手势识别方法及系统。
技术实现思路
1、本专利技术的目的在于克服现有技术中的不足，提供一种融合唇读识别的手势识别方法及系统，通过综合利用手势和唇语特征，并采用注意力机制对提取的手势特征和唇语特征进行特征融合，提高了手势和唇语识别的准确性和效率，同时也增强了模型的适应性和实用性。
2、为达到上述目的，本专利技术是采用下述技术方案实现的：
3、第一方面，本专利技术提供了一种融合唇读识别的手势识别方法，包
4、获取目标图像；
5、将所述目标图像输入至预先训练好的识别模型中，得到识别结果；
6、所述识别模型包括特征提取模块、特征融合模块、分类模块和输出模块，其中，所述特征提取模块用于根据目标图像提取手势特征和唇语特征；所述特征融合模块用于基于注意力机制对手势特征和唇语特征进行融合，得到融合特征；所述分类模块用于对融合特征进行分类，得到识别结果。
7、进一步的，所述特征融合模块用于基于注意力机制对手势特征和唇语特征进行融合，得到融合特征，包括：
8、将手势特征转换为查询矩阵，将唇语特征转换为键矩阵和值矩阵；
9、根据得到的查询矩阵和键矩阵执行缩放点积运算，得到点积运算结果；
10、对获得的点积运算结果进行归一化处理，得到注意力权重矩阵；
11、对注意力权重矩阵与值矩阵进行矩阵乘法运算，得到融合特征。
12、进一步的，所述特征提取模块包括手势特征提取模块和唇语特征提取模块，其中，
13、所述手势特征提取模块的提取方法包括：
14、提取目标图像中的手势区域，得到手势序列；
15、根据手势序列定位到手势区域完成手势跟踪，
16、完成手势跟踪后进行手势分割，得到手势特征。
17、进一步的，根据手势序列定位到手势区域完成手势跟踪包括：
18、根据获得的手势序列，判断当前特征所属类别，得到预测手势类别；
19、根据预测手势类别进行非极大值抑制操作，得到目标手势类别；
20、将所述目标手势类别进行边界框定位，得到边界框坐标；
21、将所述边界框坐标与目标手势类别进行整合，得到手势特征在目标图像中的位置信息。
22、进一步的，所述唇语特征提取模块的提取方法，包括：
23、提取目标图像中的唇语序列，将所述唇语序列预处理后进行3d卷积处理，得到第一特征；
24、根据第一特征进行归一化处理后执行relu激活函数运算，得到第二特征；
25、将所述第二特征进行最大池化降采样，得到第三特征；
26、根据第三特征进行densenet密集层处理，得到第四特征；
27、将所述第四特征通过双向gru层进行时序特征捕捉，得到第五特征；
28、将所述第五特征映射后进行分类，得到唇语特征。
29、第二方面，本专利技术提供了一种融合唇读识别的手势识别系统，包括：
30、图像获取模块：用于获取目标图像；
31、识别模块：用于将所述目标图像输入至预先训练好的识别模型中，得到识别结；
32、所述识别模型包括特征提取模块、特征融合模块、分类模块和输出模块，其中，所述特征提取模块用于根据目标图像提取手势特征和唇语特征；所述特征融合模块用于基于注意力机制对手势特征和唇语特征进行融合，得到融合特征；所述分类模块用于对融合特征进行分类，得到识别结果。
33、第三方面，本专利技术提供了一种计算机设备，包括处理器及存储介质；
34、所述存储介质用于存储指令；
35、所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
36、第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面所述方法的步骤。
37、与现有技术相比，本专利技术所达到的有益效果：
38、本专利技术提供的融合唇读识别的手势识别方法及系统，通过综合利用手势和唇语特征，并采用注意力机制对提取的手势特征和唇语特征进行特征融合，提高了手势和唇语识别的准确性和效率，同时也增强了模型的适应性和实用性；
39、本专利技术提供的融合唇读识别的手势识别方法及系统，在进行手势特征和唇语特征的融合时，将手势特征作为查询矩阵，唇语特征作为键矩阵和值矩阵来进行基于注意力机制的特征融合，从而有效地加权和整合来自不同源的特征，生成更加丰富和综合的特征表示，以提升手势识别的准确性。
本文档来自技高网...【技术保护点】
1.一种融合唇读识别的手势识别方法，其特征是，包括：
2.根据权利要求1所述的融合唇读识别的手势识别方法，其特征是，所述特征融合模块用于基于注意力机制对手势特征和唇语特征进行融合，得到融合特征，包括：
3.根据权利要求2所述的融合唇读识别的手势识别方法，其特征是，所述特征提取模块包括手势特征提取模块和唇语特征提取模块，其中，
4.根据权利要求3所述的融合唇读识别的手势识别方法，其特征是，根据手势序列定位到手势区域完成手势跟踪包括：
5.根据权利要求3所述的融合唇读识别的手势识别方法，其特征是，所述唇语特征提取模块的提取方法，包括：
6.一种融合唇读识别的手势识别系统，其特征在于，包括：
7.一种计算机设备，其特征在于，包括处理器及存储介质；
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1~5任一项所述方法的步骤。
【技术特征摘要】
1.一种融合唇读识别的手势识别方法，其特征是，包括：
2.根据权利要求1所述的融合唇读识别的手势识别方法，其特征是，所述特征融合模块用于基于注意力机制对手势特征和唇语特征进行融合，得到融合特征，包括：
3.根据权利要求2所述的融合唇读识别的手势识别方法，其特征是，所述特征提取模块包括手势特征提取模块和唇语特征提取模块，其中，
4.根据权利要求3所述的融合唇读识别的手势识别方法，其特征是，根...
【专利技术属性】
技术研发人员：王燕清，杨宁，王晶，朱媛媛，李朔，
申请(专利权)人：南京晓庄学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。