【技术实现步骤摘要】
基于神经网络模型的手语识别方法、装置、设备及介质
[0001]本专利技术涉及人工智能领域，尤其涉及一种基于神经网络模型的手语识别方法、装置、设备及介质。
技术介绍
[0002]目前，市面上存在各类关于手语识别的应用程序(application，app)，只不过这些app的受众应该都是那些需要使用手语或者需要懂手语又或者只是对手语感兴趣的人才会接触，但在实际生活的某些场景中，不懂手语的用户也需要实时地和只能通过手语表达的人士交流，并且这个是大概率的事件。然而，由于不同的用户精通不同的语言或语言方式，现有的关于手语识别的app翻译的手语不一定满足一些用户的语言需求，也就是说，对于一些用户来说可能听不懂或看不懂现有app翻译的语言。例如，假设不懂手语的用户只懂法文，而关于手语识别的app将手语用户的手语翻译成了中文，从而导致不懂手语的用户不懂该app翻译的内容，不懂对方的手语在表达什么，造成无效沟通。因此，如何满足不同用户对手语识别的不同需求，实现对手语的高效、智能化识别，提高手语识别的灵活性成为研究的重点。
技术实现思路
...
【技术保护点】
【技术特征摘要】
1.一种基于神经网络模型的手语识别方法，其特征在于，包括：获取拍摄装置采集到的用户输入的待识别的手语信息，所述手语信息包括转换方式手语信息和待识别手语信息，所述转换方式手语信息用于指示识别手语的语言方式；将所述手语信息输入预训练的手语识别模型，得到所述转换方式手语信息对应的第一手语语义文本信息以及所述待识别手语信息对应的第二手语语义文本信息；根据所述第一手语语义文本信息确定所述转换方式手语信息对应的目标语言方式，所述目标语言方式包括语音、文字、手语中的一种或多种；根据确定的所述目标语言方式将所述第二手语语义文本信息转换为与所述目标语言方式对应的语音、文字、手语中的一种或多种，得到手语识别结果。2.根据权利要求1所述的方法，其特征在于，所述手语信息包括手语视频；所述获取拍摄装置采集到的用户输入的待识别的手语信息，包括：获取拍摄装置采集到的所述用户输入的多帧手势图像；当从多帧所述手势图像中检测到第一结束手势图像时，确定所述第一结束手势图像之前的各帧所述手势图像组成的第一手语视频为转换方式手语信息；当检测到第二结束手势图像时，确定所述第一结束手势图像与所述第二结束手势图像之间的各帧所述手势图像组成的第二手语视频为待识别手语信息。3.根据权利要求2所述的方法，其特征在于，所述将所述手语信息输入预训练的手语识别模型，得到所述转换方式手语信息对应的第一手语语义文本信息以及所述待识别手语信息的第二手语语义文本信息，包括：提取所述第一手语视频中各帧所述手势图像的第一手势特征以及所述第二手语视频中各帧所述手势图像的第二手势特征；将各个第一手势特征进行融合处理得到融合处理后的第一手势特征信息，以及将各个第二手势特征进行融合处理得到融合处理后的第二手势特征信息；将所述第一手势特征信息和所述第二手势特征信息输入所述预训练的手语识别模型，得到所述转换方式手语信息对应的第一手语语义文本信息以及所述待识别手语信息的第二手语语义文本信息。4.根据权利要求3所述的方法，其特征在于，所述提取所述第一手语视频中各帧所述手势图像的第一手势特征以及所述第二手语视频中各帧所述手势图像的第二手势特征，包括：将所述第一手语视频中各帧所述手势图像和所述第二手语视频中各帧所述手势图像输入预训练的关键点检测模型，得到各个所述手势图像的关键点的位置信息；根据各个所述手势图像的关键点的位置信息确定各个关键点之间的位置关系；根据各个所述关键点之间的位置关系确定所述第一手语视频中各帧所述手势图像的第一手势特征以及所述第二手语视频中各帧所述手势图像的第二手势特征。5.根据权利要求3所述的方法，其特征在于，所述将各个第一手势特征进行融合处理得到融合处理后的第一手势特征信息，以及将各个第二手势特征进行融合处理得到融合处理后的第二手势特征信息，包括：将各个第一手势特征进行相加处理，并对两两第一手势特征相加处理得到的各个结果求平均值，得到所述第一手势特征信息；以及，
将各个第二手势特征进行相加处理，并对两两第二手势特征相加处理得到的各个结果求平均值，得到所述第...
【专利技术属性】
技术研发人员：杨珍，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。