听力装置中的声源分离及相关方法制造方法及图纸

本发明专利技术公开了一种听力装置(4)、附件装置(6)和操作包括听力装置(4)和附件装置(6)的听力系统(2)的方法(100)，该方法包括：在附件装置(6)中获取表示来自一个或多个音频源的音频的音频输入信号(102)；通过附件装置(6)的摄像头(46)获取图像数据(104)；基于图像数据识别包括第一音频源的一个或多个音频源(106)；确定包括第一模型系数的第一模型(108)，其中第一模型基于第一音频源的图像数据和音频输入信号；以及向听力装置(4)传输(110)听力装置信号，其中听力装置信号基于第一模型。

【技术实现步骤摘要】
【国外来华专利技术】听力装置中的声源分离及相关方法
本专利技术公开了一种听力系统的听力装置和附件装置以及包括操作听力装置的方法的相关方法。
技术介绍
在听力装置处理中，听力装置用户处于具有多个语音和/或其他声源的多源环境中的情况，即所谓的鸡尾酒会效应，不断对听力装置开发人员提出挑战。鸡尾酒会效应的问题在于，从与目标语音信号相同频率范围和相近相似接近度的多个其他语音中分离出单个语音。近年来，单边(经典)波束成形器和双边波束成形器已成为助听器的标准解决方案。波束形成器在近场和/或混响情况下的能力并不总是足以提供令人满意的听觉体验。通常，波束形成器的性能是通过使波束变窄从而更强地抑制波束外部的源而得到提高。然而，在现实生活中，声源和/或助听器用户的头部处于移动过程中，因此会产生所需的声源可能移入和移出波束的情况，这会导致相当混乱的声学情况。
技术实现思路
因此，需要一种具有改进的声源分离的听力装置和方法。一种操作包括听力装置和附件装置的听力系统的方法，该方法包括在附件装置中获取表示来自一个或多个音频源的音频的音频输入信号；用附件装置的摄像头获取图像数据；基于图像数据识别包括第一音频源的一个或多个音频源；确定包括第一模型系数的第一模型，其中第一模型基于第一音频源的图像数据和音频输入信号；以及向听力装置传输听力装置信号，其中听力装置信号基于第一模型此外，公开了一种用于听力系统的附件装置，听力系统包括该附件装置和听力装置，附件装置包括处理单元、存储器、摄像头和接口。处理单元被配置为从一个或多个音频源获取表示音频的音频输入信号；使用摄像头获取图像数据；基于图像数据识别包括第一音频源的一个或多个音频源；确定包括第一模型系数的第一模型，其中第一模型基于第一音频源的图像数据和音频输入信号；以及向听力装置传输听力装置信号，其中听力装置信号基于第一模型本公开另外提供一种听力装置，其包括用于将来自附件装置的听力装置信号转换为天线输出信号的天线；耦合到天线的无线电收发器，用于将天线输出信号转换为收发器输入信号；一组麦克风，包括用于提供第一输入信号的第一麦克风；用于处理第一输入信号并基于第一输入信号提供电输出信号的处理器；以及用于将电输出信号转换为音频输出信号的接收器。听力装置信号包括深度神经网络的第一模型系数，并且其中处理器被配置为基于第一模型系数来处理第一输入信号以提供电输出信号此外，听力系统包括附件装置和听力装置。附件装置可以是如本文所述的附件装置并且听力装置可以是如本文所述的听力装置。本专利技术允许改进听力装置中声源的分离，进而为用户提供改进的听觉体验。此外，本专利技术提供了听力装置中的移动和/或位置独立扬声器分离和/或周围噪声抑制。本专利技术还允许用户以简单有效的方式选择要收听的声源。一个重要的优点在于，附件装置(移动电话、平板电脑等)用于图像-辅助(image-assisted)确定仅基于音频的音频分离的精确模型。基于第一模型的听力装置信号(例如，包括第一模型参数)被传输至听力装置，从而允许听力装置在处理表示来自一个或多个音频源的音频的第一输入信号时使用第一模型。这进而通过利用附件装置的过度计算、电池和通信能力(与听力装置相比)以及图像记录和显示能力，来获得在听力装置中用于处理传入音频的第一模型，来为嘈杂环境中的用户提供改进的听觉体验，从而允许以改进的方式将所需的音频源与其他源分离。附图说明通过以下参考附图对示例性实施例的详细描述，以上和其他特征和优点对于本领域技术人员将变得显而易见，其中：图1示意性地示出了示例性听力系统；图2是根据本专利技术的示例性方法的流程图；图3是根据本专利技术的示例性方法的流程图；图4是示例性附件装置的框图；图5是示例性听力装置的框图；以及图6是根据本专利技术的示例性方法的流程图。附图标记列表：2听力系统4听力装置6附件装置8听力装置系统10服务器装置12听力应用20第一通信链路22第二通信链路24天线26无线电收发器27听力装置信号28第一麦克风30第二麦克风32处理器34接收器36处理单元38存储器单元40接口42无线收发器44触敏显示装置46摄像头48麦克风100、100A、100B操作听力系统的方法102在附件装置中获取表示来自一个或多个音频源的音频的音频输入信号104通过附件装置的摄像头获取图像数据106基于图像数据识别包括第一音频源和/或第二音频源的一个或多个音频源106A基于图像数据确定第一音频源的第一位置和/或第二音频源的第二位置106B显示指示第一音频源的第一用户接口元素和/或指示第二音频源的第二用户接口元素106C检测选择第一用户接口元素和/或第二用户接口元素的用户输入106D确定图像数据的第一图像数据，第一图像数据与第一音频源相关联和/或确定图像数据的第二图像数据，第二图像数据与第二音频源相关联108基于图像数据确定第一模型和/或第二模型108A基于图像数据确定第一音频源的唇部运动和/或第二音频源的唇部运动108B训练深度神经网络108C基于与第一音频源相关联的第一图像数据确定第一模型和/或基于与第二音频源相关联的第二图像数据确定第二模型108D基于图像数据和音频输入信号确定第一语音输入信号108E基于第一语音输入信号训练/确定第一模型110将听力装置信号传输到听力装置110A将第一模型系数和/或第二模型系数传输到听力装置110B将第一输出信号传输到听力装置112从一个或多个音频源获得表示音频的第一输入信号114基于第一模型系数和/或第二模型系数处理第一输入信号以提供电输出信号114A对第一输入信号应用盲源分离114B对第一输入信号应用深度神经网络116将电输出信号转换为音频输出信号118在附件装置中基于第一模型和/或基于第二模型处理音频输入信号以提供第一输出信号120处理第一输出信号以提供电输出信号具体实施方式下文将在相关时参考附图描述各种示例性实施例和细节。应当注意，附图可以按比例绘制或不按比例绘制，并且具有类似结构或功能的元件在整个附图中由相同的附图标记表示。还应当注意，附图仅旨在促进实施例的描述。它们无意作为所要求保护的专利技术的详尽描述或对所要求保护的专利技术的范围的限制。此外，示出的实施例不必具有所示的所有方面或优点。结合特定实施例描述的方面或优点不必限于该实施例，并且即使未如此示出或未如此明确地描述，也可以在任何其他实施例中实践。本文公开了一种听力装置。听力装置可以是可听的或助听器，其中处理器被配置为补偿用户的听力损失。听力装置可以是耳后(BTE)式、耳内(ITE)式、耳道内(ITC)式、耳本文档来自技高网...

【技术保护点】
1.一种操作听力系统的方法，所述听力系统包括听力装置和附件装置，所述方法包括以下步骤：/n在所述附件装置中获取表示来自一个或多个音频源的音频的音频输入信号；/n通过所述附件装置的摄像头获取图像数据；/n基于所述图像数据识别包括第一音频源的一个或多个音频源；/n确定包括第一模型系数的第一模型，其中所述第一模型基于所述第一音频源的图像数据和所述音频输入信号；以及/n向所述听力装置传输听力装置信号，其中所述听力装置信号基于所述第一模型。/n

【技术特征摘要】
【国外来华专利技术】20181221 EP 18215415.31.一种操作听力系统的方法，所述听力系统包括听力装置和附件装置，所述方法包括以下步骤：
在所述附件装置中获取表示来自一个或多个音频源的音频的音频输入信号；
通过所述附件装置的摄像头获取图像数据；
基于所述图像数据识别包括第一音频源的一个或多个音频源；
确定包括第一模型系数的第一模型，其中所述第一模型基于所述第一音频源的图像数据和所述音频输入信号；以及
向所述听力装置传输听力装置信号，其中所述听力装置信号基于所述第一模型。


2.根据权利要求1所述的方法，其中，向所述听力装置传输听力装置信号的步骤包括：向所述听力装置传输第一模型系数。


3.根据权利要求2所述的方法，所述方法包括：在所述听力装置中，
从一个或多个音频源获取表示音频的第一输入信号；
基于所述第一模型系数处理所述第一输入信号以提供电输出信号；以及
将所述电输出信号转换为音频输出信号。


4.根据权利要求3所述的方法，其中，基于所述第一模型系数处理所述第一输入信号的步骤包括：对所述第一输入信号应用盲源分离。


5.根据权利要求3至4中任一项所述的方法，其中，基于所述第一模型系数处理所述第一输入信号的步骤包括：对所述第一输入信号应用深度神经网络，其中所述深度神经网络基于所述第一模型系数。


6.根据权利要求1至5中任一项所述的方法，其中，识别一个或多个音频源的步骤包括：基于所述图像数据确定所述第一音频源的第一位置、显示指示所述第一音频源的第一用户接口元素、以及检测选择所述第一用户接口元素的用户输入。


7.根据权利要求1至6中任一项所述的方法，其中，确定第一模型的步骤包括：基于所述图像数据确定所述第一音频源的唇部运动，并且其中所述第一模型基于所述唇部运动。


8.根据权利要求1至7中任一项所述的方法，其中，所述第一模型是具有N层的深度神经网络，其中N大于3，并且确定包括第一模型系数的第一模型的步骤包括：基于所述图像数据训练所述深度神经网络以提供所述第一模型系数。


9.一种听力系统的附件装置，所述...

【专利技术属性】
技术研发人员：A·蒂芬奥，
申请(专利权)人：大北欧听力公司，
类型：发明
国别省市：丹麦;DK