【技术实现步骤摘要】
【国外来华专利技术】助听器系统和方法相关申请的交叉引用本申请要求以下专利申请的优先权：2018年10月15日提交的美国临时专利申请第62/745,478号；2018年10月17日提交的美国临时专利申请第62/746,595号；2019年2月21日提交的美国临时专利申请第62/808,317号；和2019年6月5日提交的美国临时专利申请号62/857,773。所有前述申请在此全部引入作为参考。
本公开总体上涉及用于捕获和处理来自用户的环境的图像和音频并使用从捕获的图像和音频导出的信息的设备和方法。
技术介绍
今天，技术进步使得可穿戴设备能够自动捕获图像和音频，并存储与捕获的图像和音频相关联的信息。在一项通常被称为“生活记录”的练习中，某些设备已经被用来数字记录一个人生活的方面和个人经历。一些个体记录他们的生活，这样他们就可以从过去的活动中获得瞬间，例如，社交活动、旅行等。生活记录在其他领域(如商业、健身和医疗保健以及社会研究)也可能有显著的好处。生活记录设备虽然对跟踪日常活动有用，但可以基于对捕获的图像和音频数据的分析，通过增强人在其环境中与反馈的交互的能力和其他高级功能来进行改进。尽管用户可以用智能电话捕获图像和音频，并且一些智能电话应用可以处理捕获到的信息，但考虑到智能电话的尺寸和设计，智能电话可能不是用作生活记录装置的最佳平台。生活记录装置应该小而轻，以便于穿戴。此外，随着包括可穿戴装置在内的图像捕获设备的改进，可以提供附加功能来帮助用户在环境中和环境周围导航，识别他们遇到的人和对象，并向用户提供关于他们的环...
【技术保护点】
1.一种用于选择性地放大从检测到的助听器系统的用户的注视方向发出的声音的助听器系统，所述助听器系统包括：/n可穿戴照相机，被配置为从用户的环境捕获多个图像；/n至少一个麦克风，被配置为从用户的环境捕获声音；和/n至少一个处理器，被编程为：/n接收由照相机捕获的多个图像；/n接收代表由至少一个麦克风从用户的环境接收的声音的音频信号；/n基于对多个图像中的至少一个图像的分析来确定用户的注视方向；/n引起对由至少一个麦克风从与用户的注视方向相关联的区域接收的至少一个音频信号的选择性调节；和/n使得至少一个调节后的音频信号传输到被配置为向用户的耳朵提供声音的听力接口设备。/n
【技术特征摘要】
【国外来华专利技术】20181015 US 62/745,478;20181017 US 62/746,595;20191.一种用于选择性地放大从检测到的助听器系统的用户的注视方向发出的声音的助听器系统，所述助听器系统包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
接收由照相机捕获的多个图像；
接收代表由至少一个麦克风从用户的环境接收的声音的音频信号；
基于对多个图像中的至少一个图像的分析来确定用户的注视方向；
引起对由至少一个麦克风从与用户的注视方向相关联的区域接收的至少一个音频信号的选择性调节；和
使得至少一个调节后的音频信号传输到被配置为向用户的耳朵提供声音的听力接口设备。
2.根据权利要求1所述的系统，其中，所述调节包括放大。
3.根据权利要求1所述的系统，其中，所述调节包括音调中的改变。
4.根据权利要求1所述的系统，其中，所述调节包括与所述至少一个音频信号相关联的讲话速率中的改变。
5.根据权利要求1所述的系统，其中，所述可穿戴照相机和所述至少一个麦克风包括在公共外壳中。
6.根据权利要求5所述的系统，其中，所述至少一个处理器包括在所述公共外壳中。
7.根据权利要求5所述的系统，其中，所述至少一个处理器包括在与所述公共外壳分离的第二外壳中。
8.根据权利要求7所述的系统，其中，所述至少一个处理器被配置为经由所述公共外壳中的发射器和所述第二外壳中的接收器之间的无线链路来接收捕获的图像。
9.根据权利要求1所述的系统，其中，所述至少一个麦克风包括定向麦克风。
10.根据权利要求1所述的系统，其中，所述至少一个麦克风包括麦克风阵列。
11.根据权利要求1所述的系统，其中，所述至少一个处理器还被编程为抑制确定为来自所确定的用户注视方向以外的位置的一个或多个声音。
12.根据权利要求1所述的系统，其中，所述注视方向至少部分地基于在所捕获的图像的至少一个中检测到用户的下巴的表示以及确定所述下巴相对于与可穿戴照相机相关联的光轴的指向方向来确定。
13.根据权利要求1所述的系统，其中，所述调节包括放大，并且所述放大包括相对于由至少一个麦克风从与用户的注视方向相关联的区域以外的方向接收的其他音频信号放大所述至少一个音频信号。
14.根据权利要求13所述的系统，其中，所述放大通过被配置为聚焦于从感兴趣区域发出的音频声音的定向麦克风的操作来完成。
15.根据权利要求1所述的系统，其中，所述至少一个处理器被配置为改变与至少一个麦克风相关联的一个或多个参数，以使得至少一个麦克风聚焦于从与用户的注视方向相关联的区域发出的音频声音。
16.根据权利要求1所述的系统，其中，所述调节包括放大，并且所述放大包括衰减由至少一个麦克风从与用户的注视方向相关联的区域以外的方向接收的一个或多个音频信号。
17.根据权利要求1所述的系统，其中，与所述注视方向相关联的区域具有关于所述注视方向的20度角宽度。
18.根据权利要求1所述的系统，其中，与所述注视方向相关联的区域具有关于所述注视方向的45度角宽度。
19.根据权利要求1所述的系统，其中，所述听力接口设备包括与耳机相关联的扬声器。
20.根据权利要求1所述的系统，其中，所述听力接口设备包括骨传导麦克风。
21.根据权利要求1所述的系统，其中，所述至少一个处理器还被编程为使得代表背景噪声的一个或多个音频信号传输到所述听力接口设备，其中，所述代表背景噪声的一个或多个音频信号相对于所述至少一个调节后的音频信号被衰减。
22.一种用于选择性地放大从检测到的助听器系统用户的注视方向发出的声音的方法，所述方法包括：
接收由可穿戴照相机从用户的环境捕获的多个图像；
接收代表由至少一个麦克风用户的环境从用户的环境捕获的声音的音频信号；
基于对所述多个图像中的至少一个图像的分析来确定用户的注视方向；
引起对由至少一个麦克风从与用户的注视方向相关联的区域接收到的至少一个音频信号的选择性调节；
使得至少一个调节后的音频信号传输到被配置为向用户的耳朵提供声音的听力接口设备。
23.根据权利要求22的所述方法，其中，所述调节包括音调中的改变、与所述至少一个音频信号相关联的讲话速率中的改变中的至少一个。
24.根据权利要求22所述的方法，其中，所述至少一个麦克风包括定向麦克风或麦克风阵列中的至少一个。
25.根据权利要求22所述的方法，其中，所述注视方向至少部分地基于在所捕获的图像的至少一个中检测到用户的下巴的表示以及确定所述下巴相对于与可穿戴照相机相关联的光轴的指向方向来确定。
26.根据权利要求22所述的方法，其中，所述调节包括放大，并且所述放大包括相对于由至少一个麦克风从与用户的注视方向相关联的区域以外的方向接收的其他音频信号放大所述至少一个音频信号。
27.根据权利要求26所述的方法，其中，所述放大通过被配置为聚焦于从感兴趣区域发出的音频声音的定向麦克风的操作来完成。
28.根据权利要求22所述的方法，其中，所述调节包括放大，并且所述放大包括衰减由至少一个麦克风从与用户的注视方向相关联的区域以外的方向接收的一个或多个音频信号。
29.根据权利要求22所述的方法，其中，所述听力接口设备包括与耳机相关联的扬声器。
30.根据权利要求22所述的方法，其中，所述听力接口设备包括骨传导麦克风。
31.一种用于选择性地放大与被辨识的个体的语音相关联的音频信号的助听器系统，所述助听器系统包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
接收由所述照相机捕获的所述多个图像；
在所述多个图像中的至少一个图像中识别至少一个被辨识的个体的表示；
接收代表由至少一个麦克风捕获的声音的音频信号；
引起对由至少一个麦克风从与所述至少一个被辨识的个体相关联的区域接收的至少一个音频信号的选择性调节；和
使得至少一个调节后的音频信号传输到被配置为向用户的耳朵提供声音的听力接口设备。
32.根据权利要求31所述的系统，其中，所述可穿戴照相机和所述至少一个麦克风包括在公共外壳中。
33.根据权利要求32所述的系统，其中，所述至少一个处理器包括在所述公共外壳中。
34.根据权利要求32所述的系统，其中，所述至少一个处理器包括在与所述公共外壳分离的第二外壳中。
35.根据权利要求34所述的系统，其中，所述至少一个处理器被配置为经由所述公共外壳中的发射器和所述第二外壳中的接收器之间的无线链路来接收捕获的图像。
36.根据权利要求31所述的系统，其中，所述至少一个麦克风包括定向麦克风。
37.根据权利要求31所述的系统，其中，所述至少一个麦克风包括麦克风阵列。
38.根据权利要求31所述的系统，其中，所述调节包括相对于由至少一个麦克风从与所述被辨识的个体相关联的区域之外的方向接收的其他音频信号放大所述至少一个音频信号。
39.根据权利要求38所述的系统，其中，所述放大通过被配置为聚焦于从感兴趣区域发出的音频声音的定向麦克风的操作来完成。
40.根据权利要求31所述的系统，其中，所述至少一个处理器被配置为改变与至少一个麦克风相关联的一个或多个参数，以使得至少一个麦克风聚焦于从与所述被辨识的个体相关联的区域发出的音频声音。
41.根据权利要求31所述的系统，其中，所述调节包括衰减由至少一个麦克风从与所述被辨识的个体相关联的区域之外的方向接收的一个或多个音频信号。
42.根据权利要求31所述的系统，其中，所述调节包括改变与所述至少一个音频信号相关联的音调。
43.根据权利要求31所述的系统，其中，所述调节包括改变与所述至少一个音频信号相关联的讲话速率。
44.根据权利要求31所述的系统，其中，所述听力接口设备包括与耳机相关联的扬声器。
45.根据权利要求31所述的系统，其中，所述听力接口设备包括骨传导麦克风。
46.根据权利要求31所述的系统，其中，所述至少一个处理器还被编程为基于对所述多个图像的分析来确定所述被辨识的个体正在讲话，并且基于所述被辨识的个体正在讲话的确定来触发所述选择性调节。
47.根据权利要求46所述的系统，其中，所述被辨识的个体正在讲话的确定基于检测到的被辨识的个体的嘴唇的运动。
48.根据权利要求31所述的系统，其中，所述处理器还被编程为基于与在所述多个图像中的至少一个图像中表示的个体相关联的一个或多个检测到的面部特征来确定所述个体是否是被辨识的个体。
49.根据权利要求31所述的系统，其中，所述处理器还被编程为基于被确定为与个体的语音相关联的声音的一个或多个检测到的音频特性来确定所述个体是否是被辨识的个体。
50.根据权利要求31所述的系统，其中，所述被辨识的个体是所述用户的朋友、同事、亲戚或先前熟人中的至少一个。
51.根据权利要求31所述的系统，其中，所述至少一个处理器还被编程为使用所述多个图像来确定如何基于所述至少一个被辨识的个体相对于所述用户的方向来选择性地调节与所述至少一个被辨识的个体相关联的音频信号。
52.根据权利要求31所述的系统，其中，所述至少一个处理器还被编程为使用所述多个图像来确定如何基于所述至少一个被辨识的个体与所述用户之间的距离来选择性地调节与所述至少一个被辨识的个体相关联的音频信号。
53.根据权利要求31所述的系统，其中，所述至少一个处理器还被编程为使用所述多个图像来确定如何基于所述至少一个被辨识的个体的身份来选择性地调节与所述至少一个被辨识的个体相关联的音频信号。
54.根据权利要求31所述的系统，其中，所述至少一个处理器还被编程为使用所述多个图像来确定如何基于其他个体对所述至少一个被辨识的个体的行为来选择性地调节与所述至少一个被辨识的个体相关联的音频信号。
55.根据权利要求31所述的系统，其中，所述至少一个处理器还被编程为使用所述多个图像来确定所述至少一个被辨识的个体是在对所述用户讲话还是对另一个个体讲话，其中：
当所述至少一个被辨识的个体正在对所述用户讲话时，所述选择性调节包括相对于从与所述至少一个被辨识的个体相关联的区域之外的方向接收的其他音频信号放大所述至少一个音频信号；以及
当所述至少一个被辨识的个体正在与所述另一个个体讲话时，所述选择性调节包括相对于从与所述至少一个被辨识的个体相关联的区域之外的方向接收的其他音频信号衰减所述至少一个音频信号。
56.一种用于选择性地放大与被辨识的个体的语音相关联的音频信号的方法，所述方法包括：
接收由可穿戴照相机从用户的环境捕获的多个图像；
在所述多个图像中的至少一个图像中识别至少一个被辨识的个体的表示；
接收代表由至少一个麦克风从所述用户的环境捕获的声音的音频信号；
引起对由至少一个麦克风从与所述至少一个被辨识的个体相关联的区域接收的至少一个音频信号的选择性调节；和
使得至少一个调节后的音频信号传输到被配置为向用户的耳朵提供声音的听力接口设备。
57.一种用于选择性地传输与被辨识的用户的语音相关联的音频信号的语音传输系统，所述语音传输系统包括：
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
接收代表由至少一个麦克风捕获的声音的音频信号；
基于对接收到的音频信号的分析，识别代表所述用户的被辨识的语音的一个或多个语音信号；
使得代表所述用户的被辨识的语音的一个或多个语音音频信号传输到远程定位设备；和
防止向远程定位设备传输至少一个背景噪声音频信号，所述背景噪声音频信号不同于代表所述用户的被辨识的语音的一个或多个语音音频信号。
58.根据权利要求57所述的系统，其中，所述至少一个麦克风包括定向麦克风或麦克风阵列中的至少一个。
59.根据权利要求57所述的系统，其中，防止所述至少一个背景噪声的传输包括衰减由至少一个麦克风接收的一个或多个音频信号，所述一个或多个音频信号被确定为不与所述被辨识的用户的语音相关联。
60.一种用于选择性地传输与被辨识的用户的语音相关联的音频信号的方法，所述方法包括：
接收代表由至少一个麦克风从用户的环境捕获的声音的音频信号；
基于对接收到的音频信号的分析，识别代表所述用户的被辨识的语音的一个或多个语音信号；
使得代表所述用户的被辨识的语音的一个或多个语音音频信号传输到远程定位设备；和
防止向远程定位设备传输至少一个背景噪声音频信号，所述背景噪声音频信号不同于代表所述用户的被辨识的语音的一个或多个语音音频信号。
61.一种用于基于跟踪的嘴唇运动选择性放大音频信号的助听器系统，所述助听器系统包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
接收由所述照相机捕获的多个图像；
在所述多个图像中的至少一个图像中识别至少一个个体的表示；
基于对所述多个图像的分析，识别与个体的嘴相关联的至少一个嘴唇运动；
接收代表由至少一个麦克风捕获的声音的音频信号；
基于对由至少一个麦克风捕获的声音的分析，识别与第一语音相关联的至少第一音频信号和与不同于所述第一语音的第二语音相关联的至少第二音频信号；
基于由所述至少一个处理器确定所述第一音频信号与所识别的和个体的嘴相关联的至少一个嘴唇运动相关联，引起所述第一音频信号的选择性调节；和
使得选择性调节后的第一音频信号传输到被配置成向用户的耳朵提供声音的听力接口设备。
62.根据权利要求61所述的系统，其中，所述可穿戴照相机和所述至少一个麦克风包括在公共外壳中。
63.根据权利要求62所述的系统，其中，所述至少一个处理器包括在所述公共外壳中。
64.根据权利要求62所述的系统，其中，所述至少一个处理器包括在与所述公共外壳分离的第二外壳中。
65.根据权利要求64所述的系统，其中，所述至少一个处理器被配置为经由所述公共外壳中的发射器和所述第二外壳中的接收器之间的无线链路来接收捕获的图像。
66.根据权利要求61所述的系统，其中，所述至少一个麦克风包括定向麦克风。
67.根据权利要求61所述的系统，其中，所述至少一个麦克风包括麦克风阵列。
68.根据权利要求61所述的系统，其中，所述听力接口设备包括与耳机相关联的扬声器。
69.根据权利要求61所述的系统，其中，所述听力接口设备包括骨传导麦克风。
70.根据权利要求61所述的系统，其中，所述至少一个处理器还被编程为基于由所述至少一个处理器确定所述第二音频信号不与所识别的和个体的嘴相关联的至少一个嘴唇运动相关联来选择性地衰减所述第二音频信号。
71.根据权利要求61所述的系统，其中，所述调节包括衰减由至少一个麦克风接收的一个或多个音频信号。
72.根据权利要求71所述的系统，其中，所衰减的一个或多个音频信号包括所述第二音频信号。
73.根据权利要求61所述的系统，其中，所述调节包括第一音频信号的放大。
74.根据权利要求61所述的系统，其中，所述调节包括改变与所述第一音频信号相关联的音调。
75.根据权利要求61所述的系统，其中，所述调节包括改变与所述第一音频信号相关联的讲话速率。
76.根据权利要求61所述的系统，其中：
所述至少一个个体包括第一个体和第二个体；以及
所述至少一个处理器还被编程为基于来自所识别的嘴唇运动的、所述第一个体开始但在所述第二个体已经开始讲话时尚未结束句子的指示，从引起与所述第一个体相关联的音频信号的选择性调节过渡到引起与所述第二个体相关联的音频信号的选择性调节。
77.一种用于基于跟踪的嘴唇运动选择性放大音频信号的方法，所述方法包括：
接收由可穿戴照相机从用户的环境捕获的多个图像；
在所述多个图像中的至少一个图像中识别至少一个个体的表示；
基于对所述多个图像的分析，识别与个体的嘴相关联的至少一个嘴唇运动；
接收代表由至少一个麦克风从用户的环境捕获的声音的音频信号；
基于对由至少一个麦克风捕获的声音的分析，识别与第一语音相关联的至少第一音频信号和与不同于所述第一语音的第二语音相关联的至少第二音频信号；
基于确定所述第一音频信号与所识别的和个体的嘴相关联的至少一个嘴唇运动相关联，引起对所述第一音频信号的选择性调节；和
使得选择性调节后的第一音频信号传输到被配置为向所述用户的耳朵提供声音的听力接口设备。
78.根据权利要求77所述的方法，其中，所述可穿戴照相机和所述至少一个麦克风包括在公共外壳中。
79.根据权利要求77所述的方法，其中，所述至少一个麦克风包括定向麦克风。
80.根据权利要求77所述的方法，其中，所述至少一个麦克风包括麦克风阵列。
81.根据权利要求77所述的方法，其中，所述听力接口设备包括与耳机相关联的扬声器。
82.根据权利要求77所述的方法，其中，所述听力接口设备包括骨传导麦克风。
83.根据权利要求77所述的方法，还包括基于确定所述第二音频信号不与所识别的和个体的嘴相关联的至少一个嘴唇运动相关联，选择性地衰减所述第二音频信号。
84.根据权利要求77所述的方法，其中，所述调节包括衰减由至少一个麦克风接收的一个或多个音频信号。
85.根据权利要求84所述的方法，其中，所衰减的一个或多个音频信号包括所述第二音频信号。
86.根据权利要求77所述的方法，其中，所述调节包括所述第一音频信号的放大。
87.根据权利要求77所述的方法，其中，所述调节包括改变与所述第一音频信号相关联的音调。
88.根据权利要求77所述的方法，其中，所述调节包括改变与所述第一音频信号相关联的讲话速率。
89.根据权利要求77所述的方法，其中：
所述至少一个个体包括第一个体和第二个体；以及
所述方法还包括基于来自所识别的嘴唇运动的、所述第一个体开始但在所述第二个体已经开始讲话时尚未结束句子的指示，从引起与所述第一个体相关联的音频信号的选择性调节过渡到引起与所述第二个体相关联的音频信号的选择性调节。
90.用于选择性地放大音频信号的助听器系统，所述助听器系统包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
接收由所述照相机捕获的多个图像；
在所述多个图像中识别第一个体的表示和第二个体的表示；
从至少一个麦克风接收与所述第一个体的语音相关联的第一音频信号；
从至少一个麦克风接收与所述第二个体的语音相关联的第二音频信号；
检测指示所述第一个体和所述第二个体之间的语音放大优先级的至少一个放大标准；
当所述至少一个放大标准指示所述第一个体具有高于所述第二个体的语音放大优先级时，相对于所述第二音频信号选择性地放大所述第一音频信号；
当所述至少一个放大标准指示所述第二个体具有高于所述第一个体的语音放大优先级时，相对于所述第一音频信号选择性地放大所述第二音频信号；和
使得选择性放大的第一音频信号或第二音频信号传输到配置为向用户的耳朵提供声音的听力接口设备。
91.根据权利要求90所述的助听器系统，其中，所述可穿戴照相机和所述至少一个麦克风包括在公共外壳中。
92.根据权利要求91所述的助听器系统，其中，所述至少一个处理器包括在所述公共外壳中。
93.根据权利要求91所述的助听器系统，其中，所述至少一个处理器包括在与所述公共外壳分离的第二外壳中。
94.根据权利要求93所述的助听器系统，其中，所述至少一个处理器被配置为经由所述公共外壳中的发射器和所述第二外壳中的接收器之间的无线链路来接收捕获的图像。
95.根据权利要求90所述的助听器系统，其中，所述至少一个麦克风包括定向麦克风。
96.根据权利要求90所述的助听器系统，其中，所述至少一个麦克风包括麦克风阵列。
97.根据权利要求90所述的助听器系统，其中，所述听力接口设备包括与耳机相关联的扬声器。
98.根据权利要求90所述的助听器系统，其中，所述听力接口设备包括骨传导麦克风。
99.根据权利要求90所述的助听器系统，其中，所述至少一个放大标准包括所述用户的注视方向，并且所述第一个体和所述第二个体之间的语音放大优先级基于所述用户的注视方向是与所述第一个体相关还是与所述第二个体相关来确定。
100.根据权利要求99所述的助听器系统，其中，所述至少一个处理器被配置为通过在所述多个图像中的至少一个图像中检测所述用户的下巴的表示并基于检测到的与所述用户的下巴相关联的方向确定注视，来检测所述用户的注视方向。
101.根据权利要求90所述的助听器系统，其中，所述至少一个放大标准包括说话者注视方向，并且所述第一个体和所述第二个体之间的语音放大优先级基于所述第一个体还是所述第二个体朝用户的方向注视来确定。
102.根据权利要求101所述的助听器系统，其中，所述至少一个处理器被配置为基于面部分析来检测所述说话者注视方向。
103.根据权利要求101所述的助听器系统，其中，所述至少一个处理器被配置为当检测到所述第一个体正朝所述用户的方向注视并且检测到所述第二个体正朝远离所述用户的方向注视时，相对于所述第二音频信号选择性地放大所述第一音频信号。
104.根据权利要求101所述的助听器系统，其中，所述至少一个处理器被配置为当检测到所述第二个体正朝所述用户的方向注视并且检测到所述第一个体正朝远离所述用户的方向注视时，相对于所述第一音频信号选择性地放大所述第二音频信号。
105.根据权利要求101所述的助听器系统，其中，所述至少一个处理器被编程为继续使得所述第一音频信号而不是所述第二音频信号传输到被配置为向所述用户的耳朵提供声音的听力接口设备，直到在与第一个体的语音相关联的讲话中检测到大于预定长度的停顿。
106.根据权利要求90所述的助听器系统，所述至少一个放大标准包括讲话连续性，所述讲话连续性指示已经开始讲话但在另一个说话者已经开始讲话时尚未结束的说话者。
107.根据权利要求90所述的助听器系统，其中，所述至少一个放大标准包括所述用户与所述第一个体和所述第二个体之一之间的关系，所述第一个体和所述第二个体之间的关系，或所述用户、所述第一个体和所述第二个体之间的关系中的至少一个。
108.根据权利要求107所述的助听器系统，其中，所述关系包括家庭成员、朋友、同事、熟人或陌生人中的至少一个。
109.根据权利要求107所述的助听器系统，其中，所述至少一个处理器被编程为基于所确定的与所述用户的关系的接近程度来确定所述第一个体是否具有高于所述第二个体的语音放大优先级。
110.根据权利要求107所述的助听器系统，其中，所述至少一个处理器被编程为基于所确定的关系的层次结构来确定所述第一个体是否具有高于所述第二个体的语音放大优先级。
111.一种用于选择性地放大音频信号的方法，包括：
接收由照相机从用户的环境捕获的多个图像；
在所述多个图像中识别第一个体的表示和第二个体的表示；
从至少一个麦克风接收与所述第一个体的语音相关联的第一音频信号；
从至少一个麦克风接收与所述第二个体的语音相关联的第二音频信号；
检测指示所述第一个体和所述第二个体之间的语音放大优先级的至少一个放大标准；
当所述至少一个放大标准指示所述第一个体具有高于所述第二个体的语音放大优先级时，相对于所述第二音频信号选择性地放大所述第一音频信号；
当所述至少一个放大标准指示所述第二个体具有高于所述第一个体的语音放大优先级时，相对于所述第一音频信号选择性地放大所述第二音频信号；和
使得选择性放大后的第一音频信号或第二音频信号传输到被配置为向所述用户的耳朵提供声音的听力接口设备。
112.根据权利要求111所述的方法，其中，所述至少一个放大标准包括所述用户的注视方向，并且所述第一个体和所述第二个体之间的语音放大优先级基于所述用户的注视方向是与所述第一个体相关还是与所述第二个体相关来确定。
113.根据权利要求112所述的方法，还包括：通过在所述多个图像中的至少一个图像中检测所述用户的下巴的表示并且基于检测到的与所述用户的下巴相关联的方向确定所述注视，来检测所述用户的注视方向。
114.一种存储指令的非暂时性计算机可读介质，其中，当所述指令由至少一个处理器执行时，使得设备执行一种方法，所述方法包括：
接收由照相机从用户的环境捕获的多个图像；
在所述多个图像中识别第一个体的表示和第二个体的表示；
从至少一个麦克风接收与所述第一个体的语音相关联的第一音频信号；
从至少一个麦克风接收与所述第二个体的语音相关联的第二音频信号；
检测指示所述第一个体和所述第二个体之间的语音放大优先级的至少一个放大标准；
当所述至少一个放大标准指示所述第一个体具有高于所述第二个体的语音放大优先级时，相对于所述第二音频信号选择性地放大所述第一音频信号；
当所述至少一个放大标准指示所述第二个体具有高于所述第一个体的语音放大优先级时，相对于所述第一音频信号选择性地放大所述第二音频信号；和
使得选择性放大后的第一音频信号或第二音频信号传输到被配置为向所述用户的耳朵提供声音的听力接口设备。
115.一种用于选择性地放大音频信号的助听器系统，所述助听器系统包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
接收由所述照相机捕获的多个图像；
在所述多个图像中识别一个或多个个体的表示；
从至少一个麦克风接收与语音相关联的第一音频信号；
基于对所述多个图像的分析，确定所述第一音频信号不与所述一个或多个个体中的任何一个个体的语音相关联；
从至少一个麦克风接收与语音相关联的第二音频信号；
基于对所述多个图像的分析，确定所述第二音频信号与所述一个或多个个体中的一个个体的语音相关联；
引起所述第一音频信号的第一放大和所述第二音频信号的第二放大，其中所述第一放大在至少一个方面不同于所述第二放大；和
使得根据所述第一放大所放大的第一音频信号和根据所述第二放大所放大的第二音频信号中的至少一个传输到被配置成向用户的耳朵提供声音的听力接口设备。
116.根据权利要求115所述的系统，其中，所述可穿戴照相机和所述至少一个麦克风包括在公共外壳中。
117.根据权利要求116所述的系统，其中，所述至少一个处理器包括在所述公共外壳中。
118.根据权利要求116所述的系统，其中，所述至少一个处理器包括在与所述公共外壳分离的第二外壳中。
119.根据权利要求118所述的系统，其中，所述至少一个处理器被配置为经由所述公共外壳中的发射器和所述第二外壳中的接收器之间的无线链路来接收捕获的图像。
120.根据权利要求115所述的系统，其中，所述至少一个麦克风包括定向麦克风。
121.根据权利要求115所述的系统，其中，所述至少一个麦克风包括麦克风阵列。
122.根据权利要求115所述的系统，其中，所述听力接口设备包括与耳机相关联的扬声器。
123.根据权利要求115所述的系统，其中，所述听力接口设备包括骨传导麦克风。
124.根据权利要求115所述的系统，其中，确定所述第一音频信号不与所述一个或多个个体中的任何一个个体的语音相关联是通过分析检测到的与所述一个或多个个体的嘴相关联的嘴唇运动并确定所述第一音频信号不对应于检测到的与所述一个或多个个体的嘴相关联的嘴唇运动来进行的。
125.根据权利要求115所述的系统，其中，确定所述第二音频信号与所述一个或多个个体中的一个个体的语音相关联是通过分析检测到的与所述一个或多个个体的嘴相关联的嘴唇运动并确定所述第二音频信号对应于检测到的与所述一个或多个个体中的一个个体的嘴相关联的嘴唇运动来进行的。
126.根据权利要求115所述的系统，其中，所述第一放大与大于与所述第二放大相关联的第二增益水平的第一增益水平相关联。
127.根据权利要求115所述的系统，其中，所述至少一个处理器被配置为确定所述第一音频信号来自扬声器。
128.根据权利要求127所述的系统，其中，所述扬声器包括在扬声器电话中。
129.根据权利要求127所述的系统，其中，所述至少一个处理器被配置为通过通过分析所述多个图像中的一个或多个图像检测被辨识为扬声器电话的设备的表示，来确定扬声器包括在扬声器电话中。
130.根据权利要求115所述的系统，其中，所述至少一个处理器被配置为自动识别所述一个或多个个体。
131.根据权利要求130所述的系统，其中，所述一个或多个个体的识别基于面部辨识或语音辨识中的至少一个。
132.根据权利要求130所述的系统，其中，所述至少一个处理器被配置为在数据库中记录所述一个或多个个体的识别。
133.根据权利要求115所述的系统，其中，所述至少一个处理器被配置为自动识别与所述第二音频信号相关联的个体。
134.根据权利要求133所述的系统，其中，与所述第二音频信号相关联的个体的识别基于语音辨识、与所述用户相关联的日历邀请或所述用户的先前已知关联中的至少一个。
135.一种用于选择性地放大音频信号的助听器系统，所述助听器系统包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
接收由所述照相机捕获的第一多个图像；
在所述第一多个图像中识别个体的表示；
从至少一个麦克风接收代表语音的第一音频信号；
基于对所述第一多个图像的分析，确定代表语音的第一音频信号与个体相关联；
相对于从至少一个麦克风接收的、代表来自个体以外的源的声音的其他音频信号，选择性地放大所述第一音频信号；
接收由所述照相机捕获的第二多个图像；
基于对所述第二多个图像的分析，确定个体未在所述第二多个图像中被表示；
从至少一个麦克风接收代表语音的第二音频信号；
基于对所述第一音频信号和所述第二音频信号的分析，确定所述第二音频信号与个体相关联；
相对于代表来自个体以外的源的声音的其他接收的音频信号，选择性地放大所述第二音频信号；和
使得选择性放大后的第一音频信号或选择性放大后的第二音频信号中的至少一个传输到被配置为向所述用户的耳朵提供声音的听力接口设备。
136.根据权利要求135所述的系统，其中，所述可穿戴照相机和所述至少一个麦克风包括在公共外壳中。
137.根据权利要求135所述的系统，其中，所述至少一个麦克风包括定向麦克风。
138.根据权利要求135所述的系统，其中，所述听力接口设备包括与耳机相关联的扬声器。
139.根据权利要求135所述的系统，其中，所述听力接口设备包括骨传导麦克风。
140.根据权利要求135所述的系统，其中，通过分析检测到的与个体的嘴相关联的嘴唇运动并确定所述第一音频信号对应于检测到的与个体的嘴相关联的嘴唇运动来确定所述第一音频信号与个体相关联。
141.一种用于选择性地放大音频信号的助听器系统，所述助听器系统包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
接收由所述照相机捕获的多个图像；
在所述多个图像中识别一个或多个个体的表示；
从至少一个麦克风接收与语音相关联的音频信号；
基于对所述多个图像的分析，确定所述音频信号不与所述一个或多个个体中的任何一个个体的语音相关联；
基于对所述音频信号的分析，确定所述音频信号与所述音频信号与公告相关的至少一个指示符相关联；
基于所述音频信号与所述音频信号与公告相关的至少一个指示符相关联的确定，引起所述音频信号的选择性放大；和
使得选择性放大的音频信号传输到被配置成向所述用户的耳朵提供声音的听力接口设备。
142.根据权利要求141所述的系统，其中，所述音频信号与公告相关的至少一个指示符包括与所述音频信号相关联的被辨识的单词或短语。
143.根据权利要求142所述的系统，其中，被辨识的单词或短语是“帮助”、“小心”、“注意”或“通告”中至少一个。
144.根据权利要求141所述的系统，其中，所述音频信号与公告相关的至少一个指示符包括相对于环境噪声水平的音频信号的音量水平。
145.根据权利要求141所述的系统，其中，所述音频信号与公告相关的至少一个指示符包括与所述音频信号相关联的至少一个信号分量，所述信号分量指示由扬声器产生所述音频信号。
146.根据权利要求141所述的系统，其中，所述音频信号与公告相关的至少一个指示符包括与机场通告相关的一个或多个被辨识的单词或短语。
147.根据权利要求146所述的系统，其中，所述音频信号的选择性放大还基于确定所述机场通告与所述用户相关。
148.根据权利要求146所述的系统，其中，所述机场通告与所述用户相关的确定基于存储在与所述用户相关联的移动设备上的日历条目或预订通知的自动检查。
149.根据权利要求141所述的系统，其中，所述助听器系统捕获在预定长度的移动时间窗口期间接收的音频信号，并且其中，至少一个处理器被编程为引起在所述移动时间窗口内但在确定所述音频信号与公告有关之前接收到的音频信号的部分的选择性放大和传输。
150.根据权利要求149所述的系统，其中，所述选择性放大后的音频信号传输到听力接口设备，得到对用户的公告的延时回放。
151.助听器系统，包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；以及
至少一个处理器，被编程为：
接收由所述照相机捕获的多个图像；
在所述多个图像中的至少一个图像中识别至少一个个体的表示；
确定所述至少一个个体是否是被辨识的个体；
如果确定所述至少一个个体是被辨识的个体，则使得所述至少一个个体的图像显示在显示器上，并且选择性地调节至少一个音频信号，所述至少一个音频信号从至少一个麦克风接收，并且被确定为与所述被辨识的个体相关联；以及
使得至少一个调节后的音频信号传输到被配置为向所述用户的耳朵提供声音的听力接口设备。
152.根据权利要求151所述的系统，其中，所述至少一个个体是否是被辨识的个体的确定基于与基于对所述多个图像中的至少一个图像的分析检测到的至少一个个体相关联的一个或多个面部特征。
153.根据权利要求152所述的系统，其中，将一个或多个检测到的面部特征与存储与被辨识的个体相关联的面部特征信息的数据库进行比较。
154.根据权利要求151所述的系统，其中，所述至少一个个体是否是被辨识的个体的确定基于被提供了所述多个图像中的至少一个图像的经训练的神经网络的输出。
155.根据权利要求151所述的系统，其中，所述至少一个个体是否是被辨识的个体的确定基于对从所述麦克风接收的至少一个音频信号的分析以及至少一个音频信号中的与所述被辨识的个体相关联的一个或多个预定声纹特性的检测。
156.根据权利要求151所述的系统，其中，所述显示器包括在可穿戴照相机和至少一个麦克风的公共外壳上。
157.根据权利要求151所述的系统，其中，所述显示器包括在配对的移动设备上。
158.根据权利要求151所述的系统，其中，所述选择性调节包括衰减所述至少一个音频信号。
159.根据权利要求151所述的系统，其中，所述选择性调节包括对所述至少一个音频信号的放大。
160.根据权利要求151所述的系统，其中，所述选择性调节包括改变与所述至少一个音频信号相关联的音调。
161.根据权利要求151所述的系统，其中，所述选择性调节包括改变与所述至少一个音频信号相关联的讲话速率。
162.根据权利要求151所述的系统，其中，基于所述用户的检测到的注视方向确定所述至少一个音频信号与所述被辨识的个体相关联，所述用户的检测到的注视方向基于在所述多个图像中的至少一个图像中检测到的与所述用户的下巴相关联的方向来确定。
163.根据权利要求151所述的系统，其中基于所述用户的嘴唇运动确定所述至少一个音频信号与所述被辨识的个体相关联，所述用户的嘴唇运动基于对所述多个图像的分析来检测。
164.根据权利要求163所述的系统，还基于检测到的嘴唇运动是否与与所述至少一个音频信号相关联的语音信号一致的确定。
165.根据权利要求151所述的系统，其中，基于在所述至少一个音频信号中检测到的与所述被辨识的个体相关联的一个或多个预定声纹特性，确定所述至少一个音频信号与所述被辨识的个体相关联。
166.根据权利要求151所述的系统，其中，从存储在存储器中的数据库中检索导致被显示在显示器上的至少一个个体的图像，所述数据库将被辨识的个体与相应的图像相关联。
167.根据权利要求151所述的系统，其中，导致被显示在显示器上的所述至少一个个体的图像从所述至少一个图像中得出。
168.根据权利要求151所述的系统，其中，所述可穿戴照相机和所述至少一个麦克风包括在公共外壳中。
169.根据权利要求168所述的系统，其中，所述至少一个处理器包括在所述公共外壳中。
170.根据权利要求168所述的系统，其中，所述至少一个处理器包括在与所述公共外壳分离的第二外壳中。
171.根据权利要求170所述的系统，其中，所述至少一个处理器被配置为经由所述公共外壳中的发射器和所述第二外壳中的接收器之间的无线链路来接收捕获的图像。
172.根据权利要求170所述的系统，其中，所述第二外壳与配对的移动设备相关联。
173.根据权利要求151所述的系统，其中，所述至少一个麦克风包括定向麦克风。
174.根据权利要求151所述的系统，其中，所述至少一个麦克风包括麦克风阵列。
175.根据权利要求151所述的系统，其中，所述听力接口设备包括与耳机相关联的扬声器。
176.根据权利要求151所述的系统，其中，所述听力接口设备包括骨传导麦克风。
177.根据权利要求151所述的系统，其中，所述至少一个处理器还被编程为在数据库中存储与与个体的相遇有关的信息。
178.根据权利要求177所述的系统，其中，所述数据库配置为按时间顺序跟踪与个体的相遇。
179.根据权利要求177所述的系统，其中，基于从所述用户接收的输入，所述至少一个处理器被配置为放弃在所述数据库中存储与与在所述多个图像中识别的一个或多个特定个体的相遇有关的信息。
180.根据权利要求177所述的系统，其中，对存储与与个体的相遇相关信息的数据库的访问受密码保护。
181.根据权利要求177所述的系统，其中，所述至少一个处理器被配置为放弃在所述数据库中存储与与被确定为与一个或多个预定组相关联的一个或多个特定个体的相遇有关的信息。
182.根据权利要求177所述的系统，其中，所述一个或多个预定组包括办公室工作人员、服务人员或没有从用户向其进行语音交互的人中的至少一个。
183.一种助听器系统，包括：
可穿戴照相机，被配置为从用户的环境捕获多个图像；
至少一个麦克风，被配置为从用户的环境捕获声音；和
至少一个处理器，被编程为：
从至少一个麦...
【专利技术属性】
技术研发人员：Y韦克斯勒，A沙舒亚，
申请(专利权)人：奥康科技有限公司，
类型：发明
国别省市：以色列;IL
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。