手语识别方法、系统、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种手语识别方法、系统、装置、电子设备及可读存储介质，涉及信息分类领域，旨在解决传统手语识别技术中所存在的识别过程功耗过大、无法进行产业化应用的问题，方法包括：获取关于手语动作的视频帧序列数据和脉冲事件流数据；利用第一脉冲神经网络模型对所述视频帧序列数据进行处理，获得第一手语识别结果；利用第二脉冲神经网络模型对所述脉冲事件流数据进行处理，获得第二手语识别结果；根据所述第一手语识别结果和所述第二手语识别结果确定手语识别结果。别结果确定手语识别结果。别结果确定手语识别结果。

【技术实现步骤摘要】
手语识别方法、系统、装置、电子设备及可读存储介质


[0001]本专利技术涉及信息分类
，特别涉及一种手语识别方法、系统、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]手语在聋哑人的交流中扮演着重要角色，日常实际交流过程中，手语是一套连续的包含肢体语言在内的表达方式，抽象到技术层面，就是一种序列数据的分类任务。
[0003]随着机器学习和人工智能的发展，工业界和学术界提出了很多手语识别的方法。相关技术中，主要采用人工设计的特征，配合传统的机器学习方法可以在小数据集上取得不错的效果，但是泛化能力比较差。随着深度学习的兴起，基于深度学习的手语识别逐渐成为主流解决方案。但是，随着深度学习的模型越来越大，伴随而来的功耗也越来越高，而现有的电池技术的容量限制使得大部分手势识别方案只能停留在实验室，无法实现产业的直接应用。
[0004]因此，如何实现低功耗的手语识别，进而实现手语识别技术的产业化应用是本领域技术人员亟需解决的技术问题。

技术实现思路

[0005]本专利技术的目的是提供一种手语识别方法，该手语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手语识别方法，其特征在于，包括：获取关于手语动作的视频帧序列数据和脉冲事件流数据；利用第一脉冲神经网络模型对所述视频帧序列数据进行处理，获得第一手语识别结果；利用第二脉冲神经网络模型对所述脉冲事件流数据进行处理，获得第二手语识别结果；根据所述第一手语识别结果和所述第二手语识别结果确定手语识别结果。2.根据权利要求1所述的手语识别方法，其特征在于，所述第一脉冲神经网络模型的构建过程包括：构建初始脉冲神经网络模型；将第一初始模型参数固定至所述初始脉冲神经网络模型，获得第一初始脉冲神经网络模型；所述第一初始模型参数包括第一突触权重参数和第一神经元阈值参数；获取第一手语数据集；所述第一手语数据集为视频帧序列数据样本集；基于第一损失函数，利用所述第一手语数据集和代理梯度函数对所述第一初始脉冲神经网络模型中的第一初始模型参数进行更新，获得所述第一脉冲神经网络模型。3.根据权利要求2所述的手语识别方法，其特征在于，所述第二脉冲神经网络模型的构建过程包括：将第二初始模型参数固定至所述初始脉冲神经网络模型，获得第二初始脉冲神经网络模型；所述第二初始模型参数包括第二突触权重参数和第二神经元阈值参数；获取第二手语数据集；所述第一手语数据集为脉冲事件流数据样本集；基于第二损失函数，利用所述第二手语数据集和代理梯度函数对所述第二初始脉冲神经网络模型中的第二初始模型参数进行更新，获得所述第二脉冲神经网络模型。4.根据权利要求1所述的手语识别方法，其特征在于，所述利用第一脉冲神经网络模型对所述视频帧序列数据进行处理，获得第一手语识别结果，包括：将所述视频帧序列数据输入至所述第一脉冲神经网络模型；利用所述第一脉冲神经网络模型的卷积层对所述视频帧序列数据进行处理，获得第一卷积结果；利用所述第一脉冲神经网络模型的归一化层对所述第一卷积结果进行处理，获得第一归一化结果；利用所述第一脉冲神经网络模型的池化层对所述第一归一化结果进行处理，获得第一池化结果；利用所述第一脉冲神经网络模型的全连接层对所述第一池化结果进行处理，获得第一全连接处理结果；将所述第一全连接处理结果作为所述第一手语识别结果。5.根据权利要求1所述的手语识别方法，其特征在于，所述利用第二脉冲神经网络模型对所述脉冲事件流数据进行处理，获得第二手语识别结果，包括：将所述脉冲事件流数据输入至所述第二脉冲神经网络模型；利用所述第二脉冲神经网络模型的卷积层对所述脉冲事件流数据进行处理，获得第二卷积结果；
利用所述第二脉冲神经网络模型的归一化层对所述第二卷积结果进行处理，获得第二归一化结果；利用所述第二脉冲神经网络模型的池化层对所述第二归一化结果进行处理，获得第二池化结果；利用所述第二脉冲神经网络模型的全连接层对所述第二池化结果进行处理，获得第二全连接处理结果；将所述第二全连接处理结果作为所述第二手语识别结果。6.根据权利要求5所述的手语识别方法，其特征在于，所述卷积层的卷积核大小大于预设阈值。7.根据权利要求1至6任一项所述的手语识别方法，其特征在于，所述根据所述第一手语识别结果和所述第二手语识别结果确定手语识别结果，包括：对所述第一手语识别结果和所述第二手语识别结果进行融合计算，获得融合结果；对所述融合结果进行文字转换，获得手语识别文字；将所述手语识别文字作为所述手语识别结果。8.根据权利要求7所述的手语识别方法，其特征在于，所述对所述第一手语识别结果和所述第二手语识别结果进行融合计算，获得融合结果，包括：获取预设权重分配信息；利用所述预设权重分配信息对所述第一手语识别结果和所述第二手语识...

【专利技术属性】
技术研发人员：王斌强，董刚，曹其春，蒋东东，杨宏斌，
申请(专利权)人：山东海量信息技术研究院，
类型：发明
国别省市：