手语翻译、客服、通信方法、设备和可读介质技术

技术编号:31505863 阅读:25 留言:0更新日期:2021-12-22 23:36
本申请实施例提供了一种手语翻译、客服、通信方法、设备和可读介质,以便捷的进行手语翻译。所述方法包括:获取图像采集单元采集的手语视频数据;对所述手语视频数据的帧图像进行断句检测,确定断句节点,以对所述手语视频数据以句子为基准进行语义翻译;确定断句节点对应的图像帧集合的手语识别结果,并依据所述手语识别结果确定手语翻译信息;输出所述手语翻译信息。能够基于断句节点对所述手语视频数据分片段对手语进行翻译,提高翻译效率,从而便捷的进行手语翻译。便捷的进行手语翻译。便捷的进行手语翻译。

【技术实现步骤摘要】
手语翻译、客服、通信方法、设备和可读介质


[0001]本申请涉及计算机
,特别是涉及一种手语翻译方法、一种手语客服方法、一种手语通信方法、一种终端设备和一种机器可读介质。

技术介绍

[0002]听障人士、聋哑人士等通常是通过手语进行沟通,手语(sign language)是用手势比量动作,根据手势的变化模拟形象或者音节以构成的一定意思或词语,它是听力障碍或者无法言语的人互相交际和交流思想的一种手的语言。
[0003]然而在日常生活中,能够掌握手语的人员非常少,使得听障人士、聋哑人士等难以与其他人沟通,影响日常生活的方方面面。

技术实现思路

[0004]本申请实施例提供了一种手语翻译方法,以便捷的进行手语翻译。
[0005]相应的,本申请实施例还提供了一种手语客服方法、一种手语通信方法、一种手语教学方法、一种电子设备和一种机器可读介质,用以保证上述方法的实现及应用。
[0006]为了解决上述问题,本申请实施例公开了一种翻译方法,包括:获取图像采集单元采集的手语视频数据;对所述手语视频数据的帧图像进行断本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手语翻译方法,其特征在于,所述方法包括:获取图像采集单元采集的手语视频数据;对所述手语视频数据的帧图像进行断句检测,确定断句节点;确定断句节点对应的图像帧集合的手语识别结果,并依据所述手语识别结果确定手语翻译信息;输出所述手语翻译信息。2.根据权利要求1所述的方法,其特征在于,所述对所述手语视频数据的帧图像进行断句检测,确定断句节点,包括:依次检测所述手语视频数据中各帧图像中是否满足断句条件;如果不满足断句条件,则将所述帧图像加入到缓存中;如果满足断句条件,则依据所述帧图像确定断句节点。3.根据权利要求1所述的方法,其特征在于,所述确定断句节点对应的图像帧集合的手语识别结果,并依据所述手语识别结果确定手语翻译信息,包括:对断句节点对应的图像帧集合进行手语识别处理,确定对应的手语词汇序列;对所述手语词汇序列按照自然语言规则进行分析,确定自然语言对应的手语识别文本;依据所述手语识别文本生成手语翻译信息。4.根据权利要求3所述的方法,其特征在于,所述依据所述手语识别文本生成手语翻译信息,包括:将手语识别结果中的手语识别文本作为手语翻译信息;和/或采用手语识别结果中的手语识别文本进行语音合成,将合成的手语翻译音频作为手语翻译信息。5.根据权利要求1

4任一所述的方法,其特征在于,还包括:提供手语翻译页面;在所述手语翻译页面中播放所述手语视频数据;所述输出所述手语翻译信息,包括:在所述手语翻译页面中显示手语识别文本,和/或,基于所述手语翻译页面播放手语翻译音频。6.根据权利要求5所述的方法,其特征在于,还包括:响应于对所述手语翻译页面中语言选择控件的触发,显示语言可选项;响应于对语言可选项的触发,确定选择的目标语言,所述目标语言为手语视频数据翻译的语言。7.根据权利要求5所述的方法,其特征在于,还包括:响应于输出调整指令,调整所述手语翻译信息的输出方式,所述输出方式包括:语音输出方式、文本输出方式和\或视频输出方式。8.一种手语翻译方法,其特征在于,所述方法包括:提供手语翻译页面;通过图像采集组件采集第一手语视频数据,并在所述手语翻译页面的手语输入区域显示所述第一手语视频数据;获取所述第一手语视频数据对应的手语翻译信息,所述手语翻译信息依据断句节点对
应的图像帧集合的手语识别结果确定的,所述断句节点为对手语视频数据进行断句检测得到...

【专利技术属性】
技术研发人员:王琪孙可程荣亮祖新星张家硕吴淑明林淼
申请(专利权)人:阿里巴巴达摩院杭州科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1