基于用户指令强调的听障人士交流方法及系统技术方案

本发明专利技术提供一种基于用户指令强调的听障人士交流方法及系统，方法包括：获取待处理的手语视频和用户指令信息；利用基于Transformer架构的视觉模型对待处理的手语视频进行特征提取，获得手语动作特征矩阵；基于所述手语动作特征矩阵分别获取指令强调的手语动作特征向量和时空强调的手语动作特征矩阵；将所述指令强调的手语动作特征向量和时空强调的手语动作特征矩阵进行特征融合，获得融合后的手语动作特征矩阵；基于所述融合后的手语动作特征矩阵通过预设的语音合成模型，获得待处理的手语视频对应的语音信息。本发明专利技术达到了显著提高手语识别的准确率的技术效果。

【技术实现步骤摘要】

本专利技术涉及手语视频，更为具体地，涉及一种基于用户指令强调的听障人士交流方法及系统。

技术介绍

1、在听障人士利用手语与普通人进行交流的场景中，一方面需要将听障人士的手语进行手语识别并合成语音后传达给普通人；另一方还需要将普通人的语音消息进行语音识别并合成手语动画后传达给听障人士。

2、现有技术中，一般基于不同地区和国家的手语训练集，对基于深度神经网络的手语识别模型进行数据训练，以实现手语识别功能。但是，仍然存在以下弊端：1）在真实环境下的手语数据采集场景中，由于手语动作过快、拍摄的专业性不够、以及环境因素干扰等多方面原因，手语视频图像中的手语动作可分辨度较差，手语动作特征提取准确度有待提升；2）手语视频中包含着多种维度的特征，在手语动作特征提取过程中，对于手部和脸部等信息丰富的关键区域的特征挖掘力度不足，导致手语动作识别的准确率有待提升。

3、因此，亟需一种精准度高的听障人士交流方法。

技术实现思路

1、鉴于上述问题，本专利技术的目的是提供一种基于用户指令强调的听障人士交流方法及系本文档来自技高网...

【技术保护点】

1.一种基于用户指令强调的听障人士交流方法，应用于电子设备，其特征在于，包括：

2.根据权利要求1所述的基于用户指令强调的听障人士交流方法，其特征在于，基于所述融合后的手语动作特征矩阵通过预设的语音合成模型获得待处理的手语视频对应的语音信息的方法包括，

3.根据权利要求1所述的基于用户指令强调的听障人士交流方法，其特征在于，基于所述特征提取指令对所述手语动作特征矩阵进行指令强调，获得指令强调的手语动作特征向量的方法包括，

4.根据权利要求1所述的基于用户指令强调的听障人士交流方法，其特征在于，在利用基于Transformer架构的视觉模型对待处理的手语...

【技术特征摘要】

1.一种基于用户指令强调的听障人士交流方法，应用于电子设备，其特征在于，包括：

2.根据权利要求1所述的基于用户指令强调的听障人士交流方法，其特征在于，基于所述融合后的手语动作特征矩阵通过预设的语音合成模型获得待处理的手语视频对应的语音信息的方法包括，

3.根据权利要求1所述的基于用户指令强调的听障人士交流方法，其特征在于，基于所述特征提取指令对所述手语动作特征矩阵进行指令强调，获得指令强调的手语动作特征向量的方法包括，

4.根据权利要求1所述的基于用户指令强调的听障人士交流方法，其特征在于，在利用基于transformer架构的视觉模型对待处理的手语视频进行特征提取的步骤之前，还包括利用训练好的去模糊模型对所述待处理的手语视频进行去模糊处理；包括，

5.根据权利要求1所述的基于用户指令强调的听障人士交流方法，其特...

【专利技术属性】
技术研发人员：赵薇，王若孚，柴剑平，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：