手语翻译、客服、通信方法、设备和可读介质技术

本申请实施例提供了一种手语翻译、客服、通信方法、设备和可读介质，以便捷的进行手语翻译。所述方法包括：获取图像采集单元采集的手语视频数据；对所述手语视频数据的帧图像进行断句检测，确定断句节点，以对所述手语视频数据以句子为基准进行语义翻译；确定断句节点对应的图像帧集合的手语识别结果，并依据所述手语识别结果确定手语翻译信息；输出所述手语翻译信息。能够基于断句节点对所述手语视频数据分片段对手语进行翻译，提高翻译效率，从而便捷的进行手语翻译。便捷的进行手语翻译。便捷的进行手语翻译。

【技术实现步骤摘要】
手语翻译、客服、通信方法、设备和可读介质


[0001]本申请涉及计算机
，特别是涉及一种手语翻译方法、一种手语客服方法、一种手语通信方法、一种终端设备和一种机器可读介质。

技术介绍

[0002]听障人士、聋哑人士等通常是通过手语进行沟通，手语(sign language)是用手势比量动作，根据手势的变化模拟形象或者音节以构成的一定意思或词语，它是听力障碍或者无法言语的人互相交际和交流思想的一种手的语言。
[0003]然而在日常生活中，能够掌握手语的人员非常少，使得听障人士、聋哑人士等难以与其他人沟通，影响日常生活的方方面面。

技术实现思路

[0004]本申请实施例提供了一种手语翻译方法，以便捷的进行手语翻译。
[0005]相应的，本申请实施例还提供了一种手语客服方法、一种手语通信方法、一种手语教学方法、一种电子设备和一种机器可读介质，用以保证上述方法的实现及应用。
[0006]为了解决上述问题，本申请实施例公开了一种翻译方法，包括：获取图像采集单元采集的手语视频数据；对所述手语视频数据的帧图像进行断句检测，确定断句节点，以对所述手语视频数据以句子为基准进行语义翻译；确定断句节点对应的图像帧集合的手语识别结果，并依据所述手语识别结果确定手语翻译信息；输出所述手语翻译信息。
[0007]可选的，所述对所述手语视频数据的帧图像进行断句检测，确定断句节点，包括：依次检测所述手语视频数据中各帧图像中是否满足断句条件；如果不满足断句条件，则将所述帧图像加入到缓存中；如果满足断句条件，则依据所述帧图像确定断句节点。
[0008]可选的，所述确定断句节点对应的图像帧集合的手语识别结果，并依据所述手语识别结果确定手语翻译信息，包括：对所述图像帧集合进行手语识别处理，确定对应的手语词汇序列；对所述手语词汇序列按照自然语言规则进行分析，确定自然语言对应的手语识别文本；依据所述手语识别文本生成手语翻译信息。
[0009]可选的，所述依据手语识别文本生成手语翻译信息，包括：将手语识别结果中的手语识别文本作为手语翻译信息；和/或采用手语识别结果中的手语识别文本进行语音合成，将合成的手语翻译语音作为手语翻译信息。
[0010]可选的，还包括：提供手语翻译页面；在所述手语翻译页面中播放所述手语视频数据；所述输出所述手语翻译信息，包括：在所述手语翻译页面中显示手语识别文本，和/或，基于所述手语翻译页面播放所述手语翻译音频。
[0011]可选的，还包括：响应于对所述手语翻译页面中语言选择控件的触发，显示语言可选项；响应于对语言可选项的触发，确定选择的目标语言，所述目标语言为手语视频数据翻译的语言。
[0012]可选的，响应于输出调整指令，调整所述手语翻译信息的输出方式，所述输出方式
包括：语音输出方式、文本输出方式和\或视频输出方式。
[0013]可选的，基于设定条件确定场景信息，并依据所述场景信息确定场景参数，以通过所述场景参数辅助手语翻译。
[0014]本申请实施例还公开了一种手语翻译方法，所述方法包括：提供手语翻译页面；通过图像采集组件采集第一手语视频数据，并在所述手语翻译页面的手语输入区域显示所述第一手语视频数据；获取所述第一手语视频数据对应的手语翻译信息，所述手语翻译信息依据断句节点对应的图像帧集合的手语识别结果确定的，所述断句节点为对手语视频数据进行断句检测得到的；通过所述手语翻译页面输出所述手语翻译信息；通过音频输入组件采集语音数据；获取采集的语音数据对应合成的第二手语视频数据，所述第二手语视频数据为虚拟形象依据所述语音数据的语义执行手语的视频数据；在所述手语翻译页面的手语输出区域显示所述第二手语视频数据。
[0015]本申请实施例公开了一种手语客服方法，所述方法包括：提供手语客服页面；通过图像采集组件采集第一手语视频数据，并在所述手语客服页面的手语输入区域显示所述第一手语视频数据；确定所述第一手语视频数据对应的手语翻译信息，以在客服页面中输出所述手语翻译信息，所述手语翻译信息依据断句节点对应的图像帧集合的手语识别结果确定的，所述断句节点为对手语视频数据进行断句检测得到的；接收依据客服的服务答复信息合成的第二手语视频数据，所述第二手语视频数据为虚拟形象依据所述服务答复信息的语义执行手语的视频数据；在所述手语客服页面的手语输出区域显示所述第二手语视频数据。
[0016]可选的，还包括：确定服务信息对应包含虚拟形象的服务手语视频数据，所述服务信息的内容类型包括以下至少一种：提示信息、场景常用语；在检测到符合服务条件时，在所述手语翻译页面中播放所述服务手语视频数据。
[0017]可选的，还包括：在所述手语翻译页面中显示指示元素，所述指示元素用于指示输入、输出状态；所述指示元素包括以下至少一种：文字指示元素、动态指示元素、颜色指示元素。
[0018]本申请实施例公开了一种手语通信方法，所述方法包括：提供视频通信页面；通过图像采集组件采集第一视频数据，并在所述视频通话页面的本端显示区域显示所述第一视频数据，所述第一视频数据包括第一手语视频数据；在所述视频通话页面的本端显示区域显示所述第一手语视频数据的手语翻译信息，所述手语翻译信息依据断句节点对应的图像帧集合的手语识别结果确定的，所述断句节点为对手语视频数据进行断句检测得到的；接收根据对端的通信信息合成的第二手语视频数据，所述第二手语视频数据为虚拟形象依据所述通信信息的语义执行手语的视频数据，所述通信信息包括文本信息、语音信息和视频信息中的至少一种；在所述视频通话页面的对端显示区域显示所述第二手语视频数据。
[0019]本申请实施例公开了一种手语教学方法，所述方法包括：提供手语教学页面；在所述手语教学页面显示目标教学信息；通过图像采集组件采集第一手语视频数据，并在所述手语教学页面的手语输入区域显示所述第一手语视频数据，所述第一手语视频数据为手语用户依据所述目标教学信息执行手语的视频数据；上传所述第一手语视频数据；接收所述第一手语视频数据对应的手语翻译信息，以及合成的第二手语视频数据，所述手语翻译信息依据断句节点对应的图像帧集合的手语识别结果确定的，所述断句节点为对手语视频数
据进行断句检测得到的，所述第二手语视频数据为所述虚拟形象执行所述目标教学信息的手语教学视频数据；在所述手语教学页面的手语输出区域显示所述第二手语视频数据，以便手语用户学习手语。
[0020]本申请实施例公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中任一项所述的方法。
[0021]本申请实施例公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中任一项所述的方法。
[0022]与现有技术相比，本申请实施例包括以下优点：
[0023]在本申请实施例中，在采集手语视频数据后，可对手语视频数据的帧图像进行断句检测，实时检测各帧图像，从而能够基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手语翻译方法，其特征在于，所述方法包括：获取图像采集单元采集的手语视频数据；对所述手语视频数据的帧图像进行断句检测，确定断句节点；确定断句节点对应的图像帧集合的手语识别结果，并依据所述手语识别结果确定手语翻译信息；输出所述手语翻译信息。2.根据权利要求1所述的方法，其特征在于，所述对所述手语视频数据的帧图像进行断句检测，确定断句节点，包括：依次检测所述手语视频数据中各帧图像中是否满足断句条件；如果不满足断句条件，则将所述帧图像加入到缓存中；如果满足断句条件，则依据所述帧图像确定断句节点。3.根据权利要求1所述的方法，其特征在于，所述确定断句节点对应的图像帧集合的手语识别结果，并依据所述手语识别结果确定手语翻译信息，包括：对断句节点对应的图像帧集合进行手语识别处理，确定对应的手语词汇序列；对所述手语词汇序列按照自然语言规则进行分析，确定自然语言对应的手语识别文本；依据所述手语识别文本生成手语翻译信息。4.根据权利要求3所述的方法，其特征在于，所述依据所述手语识别文本生成手语翻译信息，包括：将手语识别结果中的手语识别文本作为手语翻译信息；和/或采用手语识别结果中的手语识别文本进行语音合成，将合成的手语翻译音频作为手语翻译信息。5.根据权利要求1
‑
4任一所述的方法，其特征在于，还包括：提供手语翻译页面；在所述手语翻译页面中播放所述手语视频数据；所述输出所述手语翻译信息，包括：在所述手语翻译页面中显示手语识别文本，和/或，基于所述手语翻译页面播放手语翻译音频。6.根据权利要求5所述的方法，其特征在于，还包括：响应于对所述手语翻译页面中语言选择控件的触发，显示语言可选项；响应于对语言可选项的触发，确定选择的目标语言，所述目标语言为手语视频数据翻译的语言。7.根据权利要求5所述的方法，其特征在于，还包括：响应于输出调整指令，调整所述手语翻译信息的输出方式，所述输出方式包括：语音输出方式、文本输出方式和\或视频输出方式。8.一种手语翻译方法，其特征在于，所述方法包括：提供手语翻译页面；通过图像采集组件采集第一手语视频数据，并在所述手语翻译页面的手语输入区域显示所述第一手语视频数据；获取所述第一手语视频数据对应的手语翻译信息，所述手语翻译信息依据断句节点对
应的图像帧集合的手语识别结果确定的，所述断句节点为对手语视频数据进行断句检测得到...

【专利技术属性】
技术研发人员：王琪，孙可，程荣亮，祖新星，张家硕，吴淑明，林淼，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：