一种视觉与语音结合的助听方法及系统技术方案

本发明专利技术涉及一种助听技术领域，尤其涉及一种视觉与语音结合的助听方法及系统：S1，采用第一采集模块收集助听装置的佩戴者周围环境的语音信息；S2，采用第二采集模块获取佩戴者前方的图像信息；S3，处理模块判断佩戴者周围的说话人所在的方位信息；S4，处理模块对语音信息进行增强处理并进行语音识别，以获取与语音信息对应的文字内容；S5，采用助听装置接收语音信息，放大后播放给佩戴者；以及采用可视模块接收并显示文字内容，用于辅助佩戴者理解语音信息。有益效果在于：本发明专利技术中通过语音识别、图像识别和文字显示三者结合的方式来帮助听力障碍患者正常交流，并通过唇语识别来纠正传统的语音识别的错误，提高了在复杂环境下的语音识别的识别率。

A hearing aid method and system based on the combination of vision and voice

【技术实现步骤摘要】
一种视觉与语音结合的助听方法及系统
本专利技术涉及一种助听
，尤其涉及一种视觉与语音结合的助听方法及系统。
技术介绍
听力障碍严重影响患者的生活，还可能会引发重度失眠、认知衰退、抑郁等极为严重的心理问题。据统计，全球65岁以上的老年人，约有1/3的人存在耳聋或者听力障碍。助听器对于听力损失者的听力改善可以起到一定的辅助作用，并且对听力损失的恢复也有极大的帮助。但是目前的助听器在嘈杂环境中，很难准确地判断与佩戴者对话的目标，与此同时助听器只能单方面的增大目标和其他语音信号，给佩戴者带来很强的不适感，如何帮助听力障碍患者更好的与其他人交流成为亟待解决问题。
技术实现思路
针对现有技术中出现的上述问题，现提供一种视觉与语音结合的助听方法及系统，其具体技术方案如下：本专利技术中涉及一种视觉与语音结合的助听方法，其中，所述助听方法包括以下步骤：步骤S1，采用一第一采集模块收集一助听装置的佩戴者周围环境的语音信息，并将所述语音信息发送至一处理模块；步骤S2，采用一第二采集模块获取所述佩戴者前方的图像信息，并将所述图像信息发送至所述处理模块；步骤S3，所述处理模块根据接收到的所述语音信息和所述图像信息，判断所述佩戴者周围的说话人所在的方位信息；步骤S4，所述处理模块对根据所述步骤S3中输出的所述方位信息所对应的所述语音信息进行增强处理，并对增强后的所述语音信息进行语音识别，以获取与所述语音信息对应的文字内容；步骤S5，采用所述助听装置接收所述步骤S4中输出的增强后的所述语音信息，放大后播放给所述佩戴者；以及采用一可视模块接收并显示所述步骤S4中输出的所述文字内容，用于辅助所述佩戴者理解所述语音信息。优选的，所述第一采集模块采用多路麦克风实现。优选的，所述步骤S3包括：步骤S31，所述处理模块根据接收到的所述语音信息判断所述语音信息的声源的位置；步骤S32，所述处理模块根据接收到的所述图像信息判断所述佩戴者的前方是否存在所述说话人，若是，则转向步骤S33；若否，则转向步骤S35；步骤S33，所述处理模块根据所述图像信息判断所述佩戴者的前方是否存在多个所述说话人：若是，则转向步骤S34；若否，则根据所述图像信息确定并输出所述说话人的所述方位信息，随后转向所述步骤S4；步骤S34，所述处理模块根据所述图像信息，确定并输出位于所述佩戴者的前方的中轴线上且距离所述佩戴者最近的所述说话人的所述方位信息，随后转向所述步骤S4；步骤S35，所述处理模块根据所述语音信息和所述图像信息综合确定并输出所述说话人的方位信息，随后转向所述步骤S4。优选的，当接收到的所述语音信息具有多个声源时，所述步骤S4中，对所述语音信息进行增强的方法包括：增强对应于所述说话人的所述方位信息的所述语音信息，并对其余的所述语音信息进行噪声抑制处理。优选的，在执行所述步骤S3后，还包括一唇语识别的过程，具体包括：步骤A1，所述处理模块根据所述图像信息，处理得到所述说话人的嘴部动作；步骤A2，所述处理模块根据一预先训练形成的唇语识别模型，对所述嘴部动作进行识别，并输出相应的唇语识别结果；则所述步骤S4中，所述处理模块对所述语音信息进行语音识别时，采用所述唇语识别结果对所述语音信息的识别结果进行辅助纠正。一种视觉与语音结合的助听系统，其中，采用如上述任一所述视觉与语音结合的助听方法，所述助听系统包括：一第一采集模块，所述第一采集模块包括多路麦克风，用以获取所述佩戴者周围环境的语音信息；一第二采集模块，所述第二采集模块用以获取所述佩戴者前方的图像信息；一处理模块，所述处理模块分别与所述第一采集模块、所述第二采集模块信号连接，用以处理获取的所述语音信息和所述图像信息；一助听装置，所述助听装置与所述处理模块信号连接，用以接收增强后的所述语音信息，放大后播放给所述佩戴者；一可视模块，所述可视模块与所述处理模块信号连接，用以显示与所述语音信息对应的文字内容。优选的，所述第二采集模块包括一摄像头，所述摄像头与所述处理模块信号连接，获取所述佩戴者前方的图像信息，并将所述图像信息发送至所述处理模块。优选的，所述助听装置为一助听器，所述助听器放置于所述佩戴者耳部，与所述处理模块信号连接。本专利技术的有益效果在于：本专利技术中通过语音识别、图像识别和文字显示三者结合的方式来帮助听力障碍患者正常交流，并通过唇语识别来纠正传统的语音识别的错误，提高了在复杂环境下的语音识别的识别率，更好地帮助听力障碍患者与其他人交流。附图说明图1为本专利技术一种视觉与语音结合的助听方法的步骤流程图；图2为本专利技术一种视觉与语音结合的助听方法的步骤S3的步骤流程图；图3为本专利技术一种视觉与语音结合的助听方法的步骤S3后的唇语识别的步骤流程图；图4为本专利技术一种视觉与语音结合的助听系统的原理框图；本专利技术说明书附图标记：第一采集模块1；助听装置2；处理模块3；第二采集模块4；可视模块5。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。针对现有技术中出现的上述问题，现提供一种视觉与语音结合的助听方法及系统，其具体技术方案如下：本专利技术中涉及一种视觉与语音结合的助听方法，其中，助听方法包括以下步骤：步骤S1，采用一第一采集模块1收集一助听装置2的佩戴者周围环境的语音信息，并将语音信息发送至一处理模块3；步骤S2，采用一第二采集模块4获取佩戴者前方的图像信息，并将图像信息发送至处理模块3；步骤S3，处理模块3根据接收到的语音信息和图像信息，判断佩戴者周围的说话人所在的方位信息；步骤S4，处理模块3对根据步骤S3中输出的方位信息所对应的语音信息进行增强处理，并对增强后的语音信息进行语音识别，以获取与语音信息对应的文字内容；步骤S5，采用助听装置2接收步骤S4中输出的增强后的语音信息，放大后播放给佩戴者；以及采用一可视模块5接收并显示步骤S4中输出的文字内容，用于辅助佩戴者理解语音信息。在本专利技术中提供一种视觉与语音结合的助听方法，如图1所示，该助听方法包括：第一，使用第一采集模块1收集助听装置2的佩戴者周围环境的语音信息，并且将语音信息发送至处理模块3；第二，使用第二采集模块4获取佩戴者前方的图像信息，并将图像信息发送至处理模块3；第三，处理模块3根据接收到的语音信本文档来自技高网...

【技术保护点】
1.一种视觉与语音结合的助听方法，其特征在于，所述助听方法包括：/n步骤S1，采用一第一采集模块收集一助听装置的佩戴者周围环境的语音信息，并将所述语音信息发送至一处理模块；/n步骤S2，采用一第二采集模块获取所述佩戴者前方的图像信息，并将所述图像信息发送至所述处理模块；/n步骤S3，所述处理模块根据接收到的所述语音信息和所述图像信息，判断所述佩戴者周围的说话人所在的方位信息；/n步骤S4，所述处理模块对根据所述步骤S3中输出的所述方位信息所对应的所述语音信息进行增强处理，并对增强后的所述语音信息进行语音识别，以获取与所述语音信息对应的文字内容；/n步骤S5，采用所述助听装置接收所述步骤S4中输出的增强后的所述语音信息，放大后播放给所述佩戴者；以及/n采用一可视模块接收并显示所述步骤S4中输出的所述文字内容，用于辅助所述佩戴者理解所述语音信息。/n

【技术特征摘要】
1.一种视觉与语音结合的助听方法，其特征在于，所述助听方法包括：
步骤S1，采用一第一采集模块收集一助听装置的佩戴者周围环境的语音信息，并将所述语音信息发送至一处理模块；
步骤S2，采用一第二采集模块获取所述佩戴者前方的图像信息，并将所述图像信息发送至所述处理模块；
步骤S3，所述处理模块根据接收到的所述语音信息和所述图像信息，判断所述佩戴者周围的说话人所在的方位信息；
步骤S4，所述处理模块对根据所述步骤S3中输出的所述方位信息所对应的所述语音信息进行增强处理，并对增强后的所述语音信息进行语音识别，以获取与所述语音信息对应的文字内容；
步骤S5，采用所述助听装置接收所述步骤S4中输出的增强后的所述语音信息，放大后播放给所述佩戴者；以及
采用一可视模块接收并显示所述步骤S4中输出的所述文字内容，用于辅助所述佩戴者理解所述语音信息。


2.根据权利要求1所述视觉与语音结合的助听方法，其特征在于，所述第一采集模块采用多路麦克风实现。


3.根据权利要求1所述视觉与语音结合的助听方法，其特征在于，所述步骤S3包括：
步骤S31，所述处理模块根据接收到的所述语音信息判断所述语音信息的声源的位置；
步骤S32，所述处理模块根据接收到的所述图像信息判断所述佩戴者的前方是否存在所述说话人，
若是，则转向步骤S33；
若否，则转向步骤S35；
步骤S33，所述处理模块根据所述图像信息判断所述佩戴者的前方是否存在多个所述说话人，
若是，则转向步骤S34；
若否，则根据所述图像信息确定并输出所述说话人的所述方位信息，随后转向所述步骤S4；
步骤S34，所述处理模块根据所述图像信息，确定并输出位于所述佩戴者的前方的中轴线上且距离所述佩戴者最近的所述说话人的所述方位信息，随后转向所述步骤S4；
步骤S35，所述处理模块根据所述语音信息和所述图像信息综合确定并输出所述说话人的方位信息，随后转向所述步骤S4。

【专利技术属性】
技术研发人员：林峰，黄明飞，姚宏贵，
申请(专利权)人：开放智能机器上海有限公司，
类型：发明
国别省市：上海;31