手语与语音转换的方法、装置、存储介质和终端设备制造方法及图纸

本发明专利技术提出一种手语与语音转换的方法、装置、存储介质和终端设备，其中，所述方法包括：获取手语表达者的人物影像；其中，所述人物影像包括所述语表达者的手语动作；根据所述人物影像，识别所述手语表达者所表达的手语；以及将识别到的手语转换成语音，以使与所述手语表达者交流的对方通过所述语音了解所述手语表达的内容。采用本发明专利技术，可以将手语转换成语音，方便应用且适用性强。

Methods, devices, storage media and terminal equipment of sign language and voice conversion

【技术实现步骤摘要】
手语与语音转换的方法、装置、存储介质和终端设备
本专利技术涉及计算机
，尤其涉及一种手语与语音转换的方法、装置、存储介质和终端设备。
技术介绍
手语是一种靠动作和视觉进行交际的特殊语言，通常应用在聋哑残疾人之间或者聋哑残疾人与正常人之间的交流。例如，聋哑残疾人与正常人可以通过用手势比量动作相互进行交流。根据手势的变化模拟具体的形象或者音节，可以表达一定的意思或词语。然而，手语是一个庞大而复杂的语言系统，让大多数正常人掌握并使用手语与聋哑残疾人进行交流，显然是不现实的。目前，聋哑人与正常人之间的沟通，一般通过懂手语的正常人为交流的双方提供翻译的方式来实现。这在很大程度上限制了聋哑人的交流范围，而且翻译成本高，懂手语的正常人很少，无法大量应用在日常生活。因此，人为翻译的方式仍然无法解决聋哑残疾人在日常生活、工作和学习中与人交流的不便之处。
技术实现思路
本专利技术实施例提供一种手语与语音转换的方法、装置、存储介质和终端设备，以解决或缓解现有技术中的以上一个或多个技术问题。第一方面，本专利技术实施例提供了一种手语与语音转换的方法，包括：获取手语表达者的人物影像；其中，所述人物影像包括所述语表达者的手语动作；根据所述人物影像，识别所述手语表达者所表达的手语；以及将识别到的手语转换成语音，以使与所述手语表达者交流的对方通过所述语音了解所述手语表达的内容。结合第一方面，在第一方面的第一种实施方式中，所述根据所述人物影像，识别所述手语表达者所表达的手语，包括：对所述人物影像进行预处理；从预处理后的所述人物影像中，提取前景区域；以及识别所述前景区域的手语动作表达的手语。结合第一方面，在第一方面的第二种实施方式中，所述方法还包括：从所述人物影像中，获取所述手语表达者的脸部图像；通过所述脸部图像，识别所述手语表达者的脸部表情；以及根据所述脸部表情，确定所述语音的播放样式。结合第一方面，在第一方面的第三种实施方式中，所述方法还包括：根据所述人物影像，确定所述手语表达者的形象属性；所述形象属性包括年龄或性别中的至少一者；以及根据所述手语表达者的形象属性，确定所述语音的播放样式。结合第一方面，在第一方面的第四种实施方式中，所述方法还包括：控制扬声器根据所述语音的播放样式调制所述语音，以播放所述语音。结合第一方面或其任一种实施方式，在第一方面的第五种实施方式中，所述方法还包括以下将口语表达者表达的语音转换成手语的过程，包括：通过麦克风接收口语表达者发出的语音；将所述口语表达者发出的语音转换成相应的手语；获取与所述手语相对应的手语动画；以及将所述手语动画呈现在显示设备中，以使所述手语表达者了解所述口语表达者所发出的语音的内容。第二方面，本专利技术实施例还提供一种手语与语音转换的装置，包括：人物影像获取模块，用于获取手语表达者的人物影像；其中，所述人物影像包括所述语表达者的手语动作；手语识别模块，用于根据所述人物影像，识别所述手语表达者所表达的手语；以及手语转换语音模块，用于将识别到的手语转换成语音，以使与所述手语表达者交流的对方通过所述语音了解所述手语表达的内容。结合第二方面，在第二方面的第一种实施方式中，所述手语识别模块包括：平面图像获取单元，用于对所述人物影像进行预处理；前景区域提取单元，用于从预处理后的所述人物影像中，提取前景区域；以及前景手语识别单元，用于识别所述前景区域的手语动作表达的手语。结合第二方面，在第二方面的第二种实施方式中，所述装置还包括：脸部图像获取模块，用于从所述人物影像中，获取所述手语表达者的脸部图像；脸部表情识别模块，用于通过所述脸部图像，识别所述手语表达者的脸部表情；以及第一样式确定模块，用于根据所述脸部表情，确定所述语音的播放样式。结合第二方面，在第二方面的第三种实施方式中，所述装置还包括：形象属性确定模块，用于根据所述人物影像，确定所述手语表达者的形象属性；所述形象属性包括年龄或性别中的至少一者；以及第二样式确定模块，用于根据所述手语表达者的形象属性，确定所述语音的播放样式。结合第二方面，在第二方面的第四种实施方式中，所述装置还包括：播放控制模块，用于控制扬声器根据所述语音的播放样式调制所述语音，以播放所述语音。结合第二方面或其任意一种实施方式，在第二方面的第五种实施方式中，所述装置还包括用于将口语表达者表达的语音转换成手语的语音转成手语模块，所述语音转成手语模块包括：语音接收单元，用于通过麦克风接收口语表达者发出的语音；语音转换单元，用于将所述口语表达者发出的语音转换成相应的手语；手语动画获取单元，用于获取与所述手语相对应的手语动画；以及动画呈现单元，用于将所述手语动画呈现在显示设备中，以使所述手语表达者了解所述口语表达者所发出的语音的内容。所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，手语与语音转换的结构中包括处理器和存储器，所述存储器用于手语与语音转换的装置执行上述手语与语音转换的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述手语与语音转换的装置还可以包括通信接口，用于手语与语音转换的装置与其他设备或通信网络通信。第三方面，本专利技术实施例提供一种手语与语音转换的可穿戴终端设备，包括主控制模块、图像捕捉装置和扬声器；所述主控制模块和所述扬声器设置在可穿戴的壳体内；所述图像捕捉装置包括眼镜和摄像机，以及所述摄像机设置在所述眼镜的镜框或镜架上；以及所述图像捕捉装置用于获取手语表达者的人物影像；其中，所述人物影像包括所述语表达者的手语动作；主控制模块用于根据所述图像捕捉装置获取手语表达者的人物影像，识别所述手语表达者所表达的手语，并将识别到的手语转换成语音；所述扬声器用于调制所述主控制模块生成的语音并播放所述语音。结合第三方面，在第三方面的第一种实施方式中，所述穿戴终端设备还包括：麦克风和显示装置；所述麦克风用于接收口语表达者发出的语音；所述主控制模块还用于将所述麦克风接收到的语音转换成相应的手语，并获取与所述手语相对应的手语动画；所述显示装置用于显示所述主控制模块获取到的手语动画。第四方面，本专利技术实施例还提供一种计算机可读存储介质，用于手语与语音转换的装置所用的计算机软件指令，其中包括用于执行上述手语与语音转换的方法所涉及的程序。上述技术方案中的任意一个技术方案具有如下优点或有益效果：本专利技术实施例可以在手语表达者与口语表达者交流的过程中，手语表达者可以通过图像捕捉设备，获取到所述手语表达者的人物影像。由于此人物影像包含有手语表达者所表达的手语动作，因而，可以通过人物影像，识别手本文档来自技高网...

【技术保护点】
1.一种手语与语音转换的方法，其特征在于，包括：/n获取手语表达者的人物影像；其中，所述人物影像包括所述语表达者的手语动作；/n根据所述人物影像，识别所述手语表达者所表达的手语；以及/n将识别到的手语转换成语音，以使与所述手语表达者交流的对方通过所述语音了解所述手语表达的内容。/n

【技术特征摘要】
1.一种手语与语音转换的方法，其特征在于，包括：
获取手语表达者的人物影像；其中，所述人物影像包括所述语表达者的手语动作；
根据所述人物影像，识别所述手语表达者所表达的手语；以及
将识别到的手语转换成语音，以使与所述手语表达者交流的对方通过所述语音了解所述手语表达的内容。


2.如权利要求1所述的方法，其特征在于，所述根据所述人物影像，识别所述手语表达者所表达的手语，包括：
对所述人物影像进行预处理；
从预处理后的所述人物影像中，提取前景区域；以及
识别所述前景区域的手语动作表达的手语。


3.如权利要求1所述的方法，其特征在于，所述方法还包括：
从所述人物影像中，获取所述手语表达者的脸部图像；
通过所述脸部图像，识别所述手语表达者的脸部表情；以及
根据所述脸部表情，确定所述语音的播放样式。


4.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述人物影像，确定所述手语表达者的形象属性；所述形象属性包括年龄或性别中的至少一者；以及
根据所述手语表达者的形象属性，确定所述语音的播放样式。


5.如权利要求1所述的方法，其特征在于，所述方法还包括：
控制扬声器根据所述语音的播放样式调制所述语音，以播放所述语音。


6.如权利要求1至5任一项所述的方法，其特征在于，所述方法还包括以下将口语表达者表达的语音转换成手语的过程，包括：
通过麦克风接收口语表达者发出的语音；
将所述口语表达者发出的语音转换成相应的手语；
获取与所述手语相对应的手语动画；以及
将所述手语动画呈现在显示设备中，以使所述手语表达者了解所述口语表达者所发出的语音的内容。


7.一种手语与语音转换的装置，其特征在于，包括：
人物影像获取模块，用于获取手语表达者的人物影像；其中，所述人物影像包括所述语表达者的手语动作；
手语识别模块，用于根据所述人物影像，识别所述手语表达者所表达的手语；以及
手语转换语音模块，用于将识别到的手语转换成语音，以使与所述手语表达者交流的对方通过所述语音了解所述手语表达的内容。


8.如权利要求7所述的装置，其特征在于，所述手语识别模块包括：
平面图像获取单元，用于对所述人物影像进行预处理；
前景区域提取单元，用于从预处理的所述人物影像中，提取前景区域；以及
前景手语识别单元，用于识别所述前景区域的手语动作表达的手语。


9.如权利要求7所述的装置，其特征在于，所述装置还包括：
脸部图像获取模块，用于从所述人物影像中，获取所述手语表达者的脸部图像；
脸部表情识别模...

【专利技术属性】
技术研发人员：肖俊，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11