助听控制方法、装置、助听设备和存储介质制造方法及图纸

本公开提供了一种助听控制方法、装置、助听设备和存储介质，涉及穿戴设备技术领域。其中，助听控制方法包括：播放听力检测音频，以获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果；在基于所述听力评估结果确定需要所述助听设备执行显示操作时，采集需要辅助处理的语音信息；在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息。通过本公开的技术方案，实现了通过由听觉转化为视觉方向的助听，从而能够提升助听操作的效果。从而能够提升助听操作的效果。从而能够提升助听操作的效果。

【技术实现步骤摘要】
助听控制方法、装置、助听设备和存储介质


[0001]本公开涉及穿戴设备
，尤其涉及一种助听控制方法、装置、助听设备和计算机可读存储介质。

技术介绍

[0002]相关技术中，虽然目前的助听设备能够结合穿戴设备的功能实现对用户注视区域进行收音，但是这种助听方案的核心方式仍是将收集到的声音放大后，再播放给听障用户，由于对于重度耳聋或完全丧失听力的患者无效，导致该方案存在一定的使用局限性。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本公开的目的在于提供一种助听控制方法、装置、助听设备和计算机可读存储介质，至少在一定程度上能够改善相关技术中的助听方案存在一定的使用局限性的问题。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0006]根据本公开的一个方面，提供一种助听控制方法，包括：应用于助听设备，所述助听设备包括AR眼镜，以及设置在所述AR眼镜上的声音采集模块和入耳式播音模块，所述声音采集模块用于采集语音，所述入耳式播音模块用于播放音频，所述助听控制方法包括：播放听力检测音频，以获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果；在基于所述听力评估结果确定需要所述助听设备执行显示操作时，采集需要辅助处理的语音信息；在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息。
[0007]在一个实施例中，所述助听设备还包括置在所述AR眼镜上的骨传导振动传感器，所述骨传导振动传感器能够与用户的头部骨骼区域接触，所述在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，具体包括：在采集到所述语音信息时，基于所述骨传导振动传感器检测所述用户的声带振动信号；基于特征对比模型检测所述声带振动信号，以基于检测结果判断所述用户是否为所述语音信息的声源；基于判断结果确定对应的渲染方式，以在将所述语音信息转化为所述文本信息时，基于对应的所述渲染方式，在所述AR眼镜的视窗区域显示所述文本信息，其中，基于颜色、字体、显示比例和显示速度中的至少一项，配置不同的所述渲染方式。
[0008]在一个实施例中，所述基于判断结果确定对应的渲染方式，以在将所述语音信息转化为所述文本信息时，基于对应的所述渲染方式，在所述AR眼镜的视窗区域显示所述文本信息，具体包括：在确定所述用户不是所述语音信息的声源时，基于第一渲染方式进行显示操作；在确定所述用户是所述语音信息的声源时，基于第二渲染方式进行显示操作，其中，在基于所述第二渲染方式显示所述文本信息时，接收所述用户的反馈信息，以基于所述
反馈信息判断所述用户的发音水平。
[0009]在一个实施例中，所述将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，具体包括：确定所述语音信息的声源方位；基于所述声源方位对所述AR眼镜的视窗范围图像进行人脸识别，以识别出所述语音信息的发声对象；将所述语音信息转化为文本信息，并在所述助听设备上与所述发声对象对应的所述视窗区域显示所述文本信息。
[0010]在一个实施例中，所述将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，还包括：检测所述语音信息的频谱参数；基于所述频谱参数区分所述语音信息的声源性别；基于所述声源性别确定对应的渲染方式；基于对应的所述渲染方式确定所述文本信息的显示风格，并显示在所述视窗区域。
[0011]在一个实施例中，所述将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，还包括：基于所述发声对象的视觉特征检测与所述发声对象之间的距离，检测到与所述发声对象之间的距离远近，同步调整所述文本信息的文本框大小。
[0012]在一个实施例中，所述在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，还包括：在检测到采集到的所述语音信息为待翻译的语音信息时，调用目标语种的翻译模型，对所述待翻译的语音信息进行翻译，得到翻译文本；将所述翻译文本作为所述文本信息显示在所述AR眼镜的视窗区域。
[0013]在一个实施例中，所述播放听力检测音频，以获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果，具体包括：在所述AR眼镜的视窗内显示听力检测图像，所述听力检测图像包括多组不同长短组合图形，以及每组所述长短组合图像对应的字符；在一次评估中，基于指定的声音音量和/或声音音调播放多组长短音中的至少一组，作为所述听力检测音频，每组所述长短音对应于一组所述长短组合图像；接收用户对所述长短音识别的反馈结果，以作为所述反馈信号；基于所述反馈结果确定所述用户的听力评估结果，其中，所述声音音量包括低音、中音和高音，所述声音音调包括低频、中频和高频，基于不同的所述声音音量和/或不同的所述声音音调执行多次评估。
[0014]在一个实施例中，所述接收用户对所述长短音识别的反馈结果，具体包括：在播放所述长短音之后，在所述视窗内显示所述长短音对应的所述字符的正确选项和错误选项；接收用户针对所述正确选项和所述错误选项的选择结果，将所述选择结果确定为所述反馈结果。
[0015]在一个实施例中，所述接收用户对所述长短音识别的反馈结果，具体包括：采集所述用户对所述长短音对应的所述字符的识别语音，将所述识别语音确定为所述反馈结果。
[0016]在一个实施例中，所述基于所述反馈结果确定所述用户的听力评估结果，具体包括：基于所述反馈结果确定所述用户反馈的反馈字符；检测所述反馈字符是否正确；基于检测结果评估所述用户能够识别的音量区域和所述用户的音调损失类型，作为所述用户的听力评估结果。
[0017]在一个实施例中，在基于所述听力评估结果确定需要所述助听设备执行显示操作时，采集需要辅助处理的语音信息之前，还包括：在所述音量区域为第一音量区域时，对采集到的所述语音信息执行扩音操作；在所述音量区域为第二音量区域时，对采集到的所述
语音信息执行所述扩音操作和所述显示操作；在所述音量区域为第三音量区域时，对采集到的所述语音信息执行显示操作。
[0018]在一个实施例中，所述对采集到的所述语音信息执行扩音操作，具体包括：检测所述语音信息的强度参数和频率参数，采取动态放大器对所述强度参数和所述频率参数自动调整增益，将所述强度参数和所述频率参数调整至舒适听音区间。
[0019]在一个实施例中，所述对采集到的所述语音信息执行扩音操作，还包括：在检测所述用户存在音调损失时，根据所述用户的音调损失类型对执行扩音操作的所述语音信息进行缺失频率的补偿操作。
[0020]根据本公开的另一方面，提供一种助听控制装置，包括：检测模块，用于播放听力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种助听控制方法，应用于助听设备，其特征在于，所述助听设备包括AR眼镜，以及设置在所述AR眼镜上的声音采集模块和入耳式播音模块，所述声音采集模块用于采集语音，所述入耳式播音模块用于播放音频，所述助听控制方法包括：播放听力检测音频，以获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果；在基于所述听力评估结果确定需要所述助听设备执行显示操作时，采集需要辅助处理的语音信息；在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息。2.根据权利要求1所述的助听控制方法，其特征在于，所述助听设备还包括置在所述AR眼镜上的骨传导振动传感器，所述骨传导振动传感器能够与用户的头部骨骼区域接触，所述在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，具体包括：在采集到所述语音信息时，基于所述骨传导振动传感器检测所述用户的声带振动信号；基于特征对比模型检测所述声带振动信号，以基于检测结果判断所述用户是否为所述语音信息的声源；基于判断结果确定对应的渲染方式，以在将所述语音信息转化为所述文本信息时，基于对应的所述渲染方式，在所述AR眼镜的视窗区域显示所述文本信息，其中，基于颜色、字体、显示比例和显示速度中的至少一项，配置不同的所述渲染方式。3.根据权利要求2所述的助听控制方法，其特征在于，所述基于判断结果确定对应的渲染方式，以在将所述语音信息转化为所述文本信息时，基于对应的所述渲染方式，在所述AR眼镜的视窗区域显示所述文本信息，具体包括：在确定所述用户不是所述语音信息的声源时，基于第一渲染方式进行显示操作；在确定所述用户是所述语音信息的声源时，基于第二渲染方式进行显示操作，其中，在基于所述第二渲染方式显示所述文本信息时，接收所述用户的反馈信息，以基于所述反馈信息判断所述用户的发音水平。4.根据权利要求1所述的助听控制方法，其特征在于，所述将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，具体包括：确定所述语音信息的声源方位；基于所述声源方位对所述AR眼镜的视窗范围图像进行人脸识别，以识别出所述语音信息的发声对象；将所述语音信息转化为所述文本信息，并在所述助听设备上与所述发声对象对应的所述视窗区域显示所述文本信息。5.根据权利要求1所述的助听控制方法，其特征在于，所述将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，还包括：检测所述语音信息的频谱参数；基于所述频谱参数区分所述语音信息的声源性别；基于所述声源性别确定对应的渲染方式；
基于对应的所述渲染方式确定所述文本信息的显示风格，并显示在所述视窗区域。6.根据权利要求4所述的助听控制方法，其特征在于，所述将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，还包括：基于所述发声对象的视觉特征检测与所述发声对象之间的距离，检测到与所述发声对象之间的距离远近，同步调整所述文本信息的文本框大小。7.根据权利要求1所述的助听控制方法，其特征在于，所述在采集到所述语音信息时，将所述语音信息转化为文本信息，并在所述AR眼镜的视窗区域显示所述文本信息，还包括：在检测到采集到的所述语音信息为待翻译的语音信息时，调用目标语种的翻译模型，对所述待翻译的语音信息进行翻译，得到翻译文本；将所述翻译文本作为所述文本信息显示在所述AR眼镜的视窗区域。8.根据权利要求1至7中任一项所述的助听控制方法，其特征在于，所述播放听力检测音频，以获取佩戴所述助听设备的用户基于所述听力检测音频的反馈信号，并基于所述反馈信号确定所述用户的听力评估结果，具体包括：在所述AR眼镜的视窗内显示听力检测图像，所述听力检测图像包括多组不同长短组合图形，以及每组所述长短组合图像对应的字符；在一次评估中，基于指定的声音音量和/或声音音调播放多组长短音中的至少一组，作为所述听力检测音频，每组所述长短音对应于一组所述长短组合图像；接收用户对所述长短音识...

【专利技术属性】
技术研发人员：梁祥龙，黄海，张立，李然，程志远，娄身强，
申请(专利权)人：北京亮亮视野科技有限公司，
类型：发明
国别省市：