手语翻译、客服、通信方法、设备和可读介质技术

技术编号:31505862 阅读:34 留言:0更新日期:2021-12-22 23:36
本申请实施例提供了一种手语翻译、客服、通信方法、设备和可读介质,以便捷的进行手语翻译。所述方法包括:获取手语视频数据;依据手语识别模型对所述手语视频数据进行手语识别,依据手语识别结果确定对应的手语翻译信息,其中,所述手语识别模型用于提取所述手语视频数据的手语结构化特征,并依据所述手语结构化特征进行手语识别;输出所述手语翻译信息。能够基于显式地手语结构化特征增强手语识别网络的学习能力,提升最终的识别精度,输出所述手语翻译信息,从而便捷的进行手语翻译。从而便捷的进行手语翻译。从而便捷的进行手语翻译。

【技术实现步骤摘要】
手语翻译、客服、通信方法、设备和可读介质


[0001]本申请涉及计算机
,特别是涉及一种手语翻译方法、一种手语客服方法、一种手语通信方法、一种手语教学方法、一种终端设备和一种机器可读介质。

技术介绍

[0002]听障人士、聋哑人士等通常是通过手语进行沟通,手语(sign language)是用手势比量动作,根据手势的变化模拟形象或者音节以构成的一定意思或词语,它是听力障碍或者无法言语的人互相交际和交流思想的一种手的语言。
[0003]然而在日常生活中,能够掌握手语的人员非常少,使得听障人士、聋哑人士等难以与其他人沟通,影响日常生活的方方面面。

技术实现思路

[0004]本申请实施例提供了一种手语翻译方法,以便捷的进行手语翻译。
[0005]相应的,本申请实施例还提供了一种手语客服方法、一种手语通信方法、一种手语教学方法、一种电子设备和一种机器可读介质,用以保证上述方法的实现及应用。
[0006]为了解决上述问题,本申请实施例公开了一种翻译方法,所述方法包括:获取手语视频数据;依据手语识别模型对所述手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手语翻译方法,其特征在于,所述方法包括:获取手语视频数据;依据手语识别模型对所述手语视频数据进行手语识别,依据手语识别结果确定对应的手语翻译信息,其中,所述手语识别模型用于提取所述手语视频数据的手语结构化特征,并依据所述手语结构化特征进行手语识别;输出所述手语翻译信息。2.根据权利要求1所述的方法,其特征在于,所述依据手语识别结果确定对应的手语翻译信息,包括:将手语识别结果中的手语识别文本作为手语翻译信息;和/或采用手语识别结果中的手语识别文本进行语音合成,将合成的手语翻译语音作为手语翻译信息。3.根据权利要求2所述的方法,其特征在于,还包括:提供手语翻译页面;在所述手语翻译页面中播放所述手语视频数据;所述输出所述手语翻译信息,包括:在所述手语翻译页面中显示手语识别文本,和/或,基于所述手语翻译页面播放所述手语翻译音频。4.根据权利要求3所述的方法,其特征在于,还包括:响应于对所述手语翻译页面中语言选择控件的触发,显示语言可选项;响应于对语言可选项的触发,确定选择的目标语言,所述目标语言为手语视频数据翻译的语言。5.根据权利要求3所述的方法,其特征在于,还包括:响应于输出调整指令,调整所述手语翻译信息的输出方式,所述输出方式包括:语音输出方式、文本输出方式和\或视频输出方式。6.根据权利要求3所述的方法,其特征在于,所述手语翻译页面包括手语输入区域和手语输出区域,在所述手语翻译页面中播放所述手语视频数据,包括:在所述手语翻译页面的手语输入区域播放所述手语视频数据;所述方法还包括:在所述手语翻译页面的手语输出区域播放合成的手语视频数据,所述合成的手语视频数据为采用虚拟形象执行手语的视频数据,虚拟形象执行的手语依据输入信息确定。7.根据权利要求1所述的方法,其特征在于,所述依据手语识别模型对所述手语视频数据进行手语识别,包括:通过手语视觉结构化模型对所述手语视频数据进行特征提取,确定手语结构化特征;通过手语特征识别模型对所述手语结构化特征进行识别处理,得到手语识别文本。8.根据权利要求1所述的方法,其特征在于,还包括:基于设定条件确定场景信息,并依据所述场景信息确定场景参数,以通过所述场景参数辅助手语翻译。9.一种手语翻译方法,其特征在于,所述方法包括:提供手语翻译页面;
通过图像采集组件采集第一手语视频数据,并在所述手语翻译页面的手语输入区域显示所述第一手语视频数据;获取所述第一手语视频数据对应的手语翻译信息,所述手语翻译信息为手语视频数据通过手语识别模型提取手语结构化特征,并执行手语识别处理的得到的;通过所述手语翻译页面输出所述手语翻译信息;通过音频输入组件采集语音数据;获取采集的语音数据对应合成的第二手...

【专利技术属性】
技术研发人员:程荣亮王琪张邦潘攀徐盈辉
申请(专利权)人:阿里巴巴达摩院杭州科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1