【技术实现步骤摘要】
本专利技术涉及手语翻译，尤其涉及一种手语翻译方法、装置、电子设备及存储介质。
技术介绍
1、现有技术中，手语翻译技术往往需要手语单词注释(gloss)进行辅助监督，gloss是手语视频单词的直接翻译，手语视频往往可以分为一个个词语，gloss就是它的直接词对词翻译。这种注释需要专业的手语专家进行一对一标注，耗时耗力，并且其语序和语言规则与自然文本有很大差别，翻译结果最多也只能和gloss标注一致，限制了网络对手语的理解，导致手语翻译的精度并不高。
2、因此，如何更好地实现手语翻译已经成为业界亟待解决的技术问题。
技术实现思路
1、本专利技术提供一种手语翻译方法、装置、电子设备及存储介质，用以更好地实现手语翻译。
2、本专利技术提供一种手语翻译方法，包括：
3、获取待翻译的手语视频；
4、将所述手语视频输入至手语翻译模型，得到所述手语翻译模型输出的所述手语视频的翻译文本；所述手语翻译模型包括视觉编码器和大语言模型，所述视觉编码器用于提取所述手语...
【技术保护点】
1.一种手语翻译方法，其特征在于，包括：
2.根据权利要求1所述的手语翻译方法，其特征在于，所述视觉编码器包括卷积神经网络、时序卷积神经网络和Transformer编码器；所述将所述手语视频输入至手语翻译模型，得到所述手语翻译模型输出的所述手语视频的翻译文本，包括：
3.根据权利要求1所述的手语翻译方法，其特征在于，在所述将所述手语视频输入至手语翻译模型，得到所述手语翻译模型输出的所述手语视频的翻译文本之前，所述方法还包括：
4.根据权利要求3所述的手语翻译方法，其特征在于，利用所述多组训练样本对初始手语翻译模型进行第一阶段模型训练
...【技术特征摘要】
1.一种手语翻译方法，其特征在于，包括：
2.根据权利要求1所述的手语翻译方法，其特征在于，所述视觉编码器包括卷积神经网络、时序卷积神经网络和transformer编码器；所述将所述手语视频输入至手语翻译模型，得到所述手语翻译模型输出的所述手语视频的翻译文本，包括：
3.根据权利要求1所述的手语翻译方法，其特征在于，在所述将所述手语视频输入至手语翻译模型，得到所述手语翻译模型输出的所述手语视频的翻译文本之前，所述方法还包括：
4.根据权利要求3所述的手语翻译方法，其特征在于，利用所述多组训练样本对初始手语翻译模型进行第一阶段模型训练的步骤包括：
5.根据权利要求3所述的手语翻译方法，其特征在于，利用所述多组训练样本对初始手语翻译模型进行第...
【专利技术属性】
技术研发人员：万军，陈志刚，雷震，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。