【技术实现步骤摘要】
本专利技术涉及图像识别，尤其是基于信息共享机制的手语识别方法、装置和电子设备。
技术介绍
1、手语识别是计算机视觉领域的一个热门话题。它能有效解决大众与听力障碍患者的沟通交流问题，且已被广泛地应用于人机/机器人交互异常行为监测和医疗辅助。由于骨架数据具有良好的鲁棒性，它吸引了很多学者研究基于骨架的手语识别。但目前大多数基于骨架的手语识别方法都存在着输入特征的利用不充分，特征之间的关系没有有效利用，网络模型的特征提取不充分，以及模型自身的信息没有被进一步利用的问题。
技术实现思路
1、有鉴于此，本专利技术实施例提供基于信息共享机制的手语识别方法、装置和电子设备，能够挖掘不同骨架特征之间的非线性关系，从而提高特征表征能力和手语动作识别准确度。
2、本专利技术实施例的一方面提供了基于信息共享机制的手语识别方法，包括：
3、获取待识别的手语视频；
4、提取所述待识别的手语视频中的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据；
5、将所述关节综合特征数据、所述骨骼综合特征数据以及所述角度综合特征数据作为模型输入数据，并将所述模型输入数据输入至配置有信息共享机制的信息共享网络中进行特征预测，得到所述模型输入数据对应的特征预测结果；其中，所述信息共享机制用于实现不同特征数据之间的数据共享；
6、根据所述特征预测结果得到所述待识别的手语视频对应的手语识别结果。
7、可选地，所述提取所述待识别的手语视频中的关节综合特征
8、确定所述待识别的手语视频中的目标手语动作；
9、提取所述待识别的手语视频中的目标手语动作相对应的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据。
10、可选地，所述提取所述待识别的手语视频中的目标手语动作相对应的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据，包括：
11、提取所述待识别的手语视频中的目标手语动作对应的关节特征数据和骨骼特征数据；
12、根据所述关节特征数据生成与所述关节特征数据相关联的关节运动特征数据，并将所述关节特征数据和所述关节运动特征数据作为关节综合特征数据；
13、根据所述骨骼特征数据生成与所述骨骼特征数据相关联的骨骼运动特征数据，并将所述骨骼特征数据和所述骨骼运动特征数据作为骨骼综合特征数据；
14、根据所述关节综合特征数据和所述骨骼综合特征数据，确定所述待识别的手语视频中目标手语动作对应的角度综合特征数据；其中，所述角度综合特征数据包括角度特征数据和角度运动特征数据。
15、可选地，所述信息共享网络还包括特征提取网络；所述将所述关节综合特征数据、所述骨骼综合特征数据以及所述角度综合特征数据作为模型输入数据，并将所述模型输入数据输入至配置有信息共享机制的信息共享网络中进行特征预测，得到所述模型输入数据对应的特征预测结果，包括：
16、将所述关节综合特征数据输入至配置有信息共享机制的信息共享网络，通过所述信息共享网络中的特征提取网络对所述关节综合特征数据进行特征预测，得到关节特征预测结果；
17、将所述骨骼综合特征数据输入至配置有信息共享机制的信息共享网络，通过所述信息共享网络中的特征提取网络对所述骨骼综合特征数据进行特征预测，得到骨骼特征预测结果；
18、将所述角度综合特征数据输入至配置有信息共享机制的信息共享网络，通过所述信息共享网络中的特征提取网络对所述角度综合特征数据进行特征预测，得到角度特征预测结果。
19、可选地，所述信息共享网络中的信息共享机制为在所述特征提取网络中设置特征间共享块和层间共享块，所述通过所述信息共享网络中的特征提取网络对所述关节综合特征数据进行特征预测，得到关节特征预测结果，包括：
20、将所述关节综合特征数据输入至所述信息共享网络中的特征提取网络；
21、通过所述特征提取网络中的所述特征间共享块和所述层间共享块对所述关节综合特征数据进行预测，得到关节特征预测结果。
22、可选地，所述通过所述信息共享网络中的特征提取网络对所述骨骼综合特征数据进行特征预测，得到骨骼特征预测结果，包括：
23、将所述骨骼综合特征数据输入至所述信息共享网络中的特征提取网络；
24、通过所述特征提取网络中的所述特征间共享块和所述层间共享块对所述骨骼综合特征数据进行预测，得到骨骼特征预测结果。
25、可选地，所述通过所述信息共享网络中的特征提取网络对所述角度综合特征数据进行特征预测，得到角度特征预测结果，包括：
26、将所述角度综合特征数据输入至所述信息共享网络中的特征提取网络；
27、通过所述特征提取网络中的所述特征间共享块和所述层间共享块对所述角度综合特征数据进行预测，得到角度特征预测结果。
28、可选地，所述根据所述特征预测结果得到所述待识别的手语视频对应的手语识别结果，包括：
29、对所述关节特征预测结果、所述骨骼特征预测结果以及所述角度特征预测结果进行加权求和计算，得到所述待识别的手语视频对应的手语识别结果。
30、本专利技术实施例的另一方面提供了基于信息共享机制的手语识别装置，包括：
31、视频获取模块，用于获取待识别的手语视频；
32、特征提取模块，用于提取所述待识别的手语视频中的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据；
33、特征预测模块，用于将所述关节综合特征数据、所述骨骼综合特征数据以及所述角度综合特征数据作为模型输入数据，并将所述模型输入数据输入至配置有信息共享机制的信息共享网络中进行特征预测，得到所述模型输入数据对应的特征预测结果；其中，所述信息共享机制用于实现不同特征数据之间的数据共享；
34、手语识别结果获取模块，用于根据所述特征预测结果得到所述待识别的手语视频对应的手语识别结果。
35、本专利技术实施例还提供了一种电子设备，包括处理器以及存储器；
36、所述存储器用于存储程序；
37、所述处理器执行所述程序实现如本专利技术实施例所述的方法。
38、在本专利技术实施例中，首先获取待识别的手语视频；然后提取待识别的手语视频中的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据；接着将关节综合特征数据、骨骼综合特征数据以及角度综合特征数据作为模型输入数据，并将模型输入数据输入至配置有信息共享机制的信息共享网络中进行特征预测，得到模型输入数据对应的特征预测结果；其中，信息共享机制用于实现不同特征数据之间的数据共享；最后根据特征预测结果得到待识别的手语视频对应的手语识别结果。本专利技术实施例通过获取待识别的手语视频能够为后续提取特征和进行手语识别提供必要的输入数据，然后，通过提取待识别的手语视频中的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据，能够从本文档来自技高网...
【技术保护点】
1.基于信息共享机制的手语识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述提取所述待识别的手语视频中的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述提取所述待识别的手语视频中的目标手语动作相对应的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述信息共享网络还包括特征提取网络；所述将所述关节综合特征数据、所述骨骼综合特征数据以及所述角度综合特征数据作为模型输入数据，并将所述模型输入数据输入至配置有信息共享机制的信息共享网络中进行特征预测，得到所述模型输入数据对应的特征预测结果，包括：
5.根据权利要求4所述的方法，其特征在于，所述信息共享网络中的信息共享机制为在所述特征提取网络中设置特征间共享块和层间共享块，所述通过所述信息共享网络中的特征提取网络对所述关节综合特征数据进行特征预测，得到关节特征预测结果，包括：
6.根据权利要求5所述的方法，其特征在于，所述通过所述信息共
7.根据权利要求5所述的方法，其特征在于，所述通过所述信息共享网络中的特征提取网络对所述角度综合特征数据进行特征预测，得到角度特征预测结果，包括：
8.根据权利要求4所述的方法，其特征在于，所述根据所述特征预测结果得到所述待识别的手语视频对应的手语识别结果，包括：
9.基于信息共享机制的手语识别装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括处理器以及存储器；
...【技术特征摘要】
1.基于信息共享机制的手语识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述提取所述待识别的手语视频中的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述提取所述待识别的手语视频中的目标手语动作相对应的关节综合特征数据、骨骼综合特征数据以及角度综合特征数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述信息共享网络还包括特征提取网络；所述将所述关节综合特征数据、所述骨骼综合特征数据以及所述角度综合特征数据作为模型输入数据，并将所述模型输入数据输入至配置有信息共享机制的信息共享网络中进行特征预测，得到所述模型输入数据对应的特征预测结果，包括：
5.根据权利要求4所述的方法，其特征在于，所述信息共享网络中的信...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。