将以不同格式捕获的音频信号转换为减少数量的格式以简化编码及解码操作制造技术

所公开实施例实现将由各种捕获装置以各种格式捕获的音频信号转变成可由音频编解码器(例如，沉浸式语音及音频服务IVAS编解码器)处理的有限数量的格式。在实施例中，音频装置的简化单元接收由耦合到所述音频装置的一或多个音频捕获装置捕获的音频信号。所述简化单元确定所述音频信号是否呈所述音频装置的编码单元支持/不支持的格式。基于所述确定，所述简化单元将所述音频信号转变成所述编码单元支持的格式。在实施例中，如果所述简化单元确定所述音频信号呈空间格式，那么所述简化单元可将所述音频信号转变成所述编码支持的空间“夹层”格式。

【技术实现步骤摘要】
【国外来华专利技术】将以不同格式捕获的音频信号转换为减少数量的格式以简化编码及解码操作相关申请案的交叉参考本申请案主张于2018年10月8日申请的第62/742,729号美国临时专利申请案的优先权权利，所述案的全文以引用的方式并入。
本专利技术的实施例大体上涉及音频信号处理，且更明确来说涉及经捕获音频信号的分配。
技术介绍
语音及视频编码器/解码器(“编解码器”)标准开发最近集中于开发用于沉浸式语音及音频服务(IVAS)的编解码器。预期IVAS将支持一系列服务能力，例如关于单声道到立体声到完全沉浸式音频编码、解码及渲染的操作。合适IVAS编解码器还提供针对不同传输条件下的封包丢失及延迟抖动的高误差稳健性。IVAS希望由广泛范围的装置、端点及网络节点支持，包含(但不限于)移动及智能电话、电子平板计算机、个人计算机、会议电话、会议室、虚拟现实及增强现实装置、家庭影院装置及其它合适装置。因为这些装置、端点及网络节点可具有用于声音捕获及渲染的各种声接口，所以IVAS编解码器解决其中捕获及渲染音频信号的所有不同方式可能不切实际。
技术实现思路
所公开实施例能够将由各种捕获装置以各种格式捕获的音频信号转变成可由编解码器(例如，IVAS编解码器)处理的有限数量的格式。在一些实施例中，建置于音频装置中的简化单元接收音频信号。所述音频信号可为由与所述音频装置耦合的一或多个音频捕获装置捕获的信号。例如，所述音频信号可为不同位置处的人之间的视频会议的音频。所述简化单元确定所述音频信号是否呈所述音频装置的编码单元(通常被称为“编码器”)不支持的格式。例如，简化单元可确定音频信号是否呈单声道、立体声或标准或专有空间格式。基于确定音频信号呈编码单元不支持的格式，简化单元将音频信号转变成编码单元支持的格式。例如，如果简化单元确定音频信号呈专有空间格式，那么简化单元可将音频信号转变成编码单元支持的空间“夹层”格式。简化单元将所述经转变音频信号传送到编码单元。所公开实施例的优点在于，可通过将可能较大数量的音频捕获格式减少为有限数量的格式(例如，单声道、立体声及空间)而降低编解码器(例如，IVAS编解码器)的复杂性。因此，可将所述编解码器部署于各种装置上，不考虑所述装置的音频捕获能力。这些及其它方面、特征及实施例可被表示为用于执行功能的方法、设备、系统、组件、程序产品、方式或步骤及以其它方式表示。在一些实施方案中，音频装置的简化单元接收呈第一格式的音频信号。所述第一格式是所述音频装置支持的多个音频格式的集合中的一者。所述简化单元确定音频装置的编码器是否支持第一格式。根据所述编码器不支持第一格式，简化单元将音频信号转变成编码器支持的第二格式。所述第二格式是第一格式的替代表示。简化单元将呈第二格式的音频信号传送到编码器。编码器编码音频信号。音频装置存储所述经编码音频信号或将所述经编码音频信号传输到一或多个其它装置。将音频信号转变成第二格式可包含产生用于音频信号的元数据。所述元数据可包含音频信号的一部分的表示。编码音频信号可包含将呈第二格式的音频信号编码成第二装置支持的输送格式。音频装置可通过传输包括第二格式不支持的音频信号的一部分的表示的元数据而传输所述经编码音频信号。在一些实施方案中，由简化单元确定音频信号是否呈第一格式可包含确定音频捕获装置的数量及用于捕获音频信号的每一捕获装置的对应位置。一或多个其它装置中的每一者可经配置以从第二格式重现音频信号。一或多个其它装置中的至少一者可能无法从第一格式重现音频信号。第二格式可将音频信号表示为音频场景中的音频对象的数量，两者都依靠用于载送空间信息的音频通道的数量。第二格式可包含用于载送空间信息的另一部分的元数据。第一格式及第二格式都可为空间音频格式。第二格式可为空间音频格式且第一格式可为与元数据相关联的单声道格式或与元数据相关联的立体声格式。音频装置支持的多个音频格式的集合可包含多个空间音频格式。第二格式可为第一格式的替代表示且其进一步特征在于实现可比程度的体验质量。在一些实施方案中，音频装置的渲染单元接收呈第一格式的音频信号。所述渲染单元确定所述音频装置是否能够重现呈所述第一格式的所述音频信号。响应于确定音频装置无法重现呈第一格式的音频信号，渲染单元调适音频信号以在第二格式下可用。渲染单元传送呈第二格式的音频信号以用于渲染。在一些实施方案中，由渲染单元将音频信号转变成第二格式可包含使用包含用于编码的第四格式不支持的音频信号的一部分的表示的元数据连同呈第三格式的音频信号。此处，在简化单元的上下文中所述第三格式对应于术语“第一格式”，所述“第一格式”是编码器侧处支持的多个音频格式的集合中的一者。在简化单元的上下文中，所述第四格式对应于术语“第二格式”，所述“第二格式”是编码器支持的格式且是第三格式的替代表示。在本说明书中的此处及别处，术语第一、第二、第三及第四是用于识别且并不一定指示特定顺序。解码单元接收呈输送格式的音频信号。所述解码单元将呈所述输送格式的音频信号解码成第一格式，且将呈第一格式的音频信号传送到渲染单元。在一些实施方案中，调适音频信号以在第二格式下可用可包含调适解码以产生呈第二格式的经接收音频。在一些实施方案中，多个装置中的每一者经配置以重现呈第二格式的音频信号。多个装置中的一或多者无法重现呈第一格式的音频信号。在一些实施方案中，简化单元从声预处理单元接收呈多个格式的音频信号。所述简化单元从装置接收所述装置的属性，所述属性包含所述装置支持的一或多个音频格式的指示。所述一或多个音频格式包含单声道格式、立体声格式或空间格式中的至少一者。简化单元将音频信号转变成作为一或多个音频格式的替代表示的摄取格式。简化单元将所述经转变的音频信号提供到编码单元以进行下游处理。声预处理单元、简化单元及所述编码单元中的每一者可包含一或多个计算机处理器。在一些实施方案中，编码系统包含：捕获单元，其经配置以捕获音频信号；声预处理单元，其经配置以执行包括预处理所述音频信号的操作；编码器；及简化单元。所述简化单元经配置以执行以下操作。简化单元从所述声预处理单元接收呈第一格式的音频信号。所述第一格式是所述编码器支持的多个音频格式的集合中的一者。简化单元确定编码器是否支持第一格式。响应于确定编码器不支持第一格式，简化单元将音频信号转变成编码器支持的第二格式。简化单元将呈所述第二格式的音频信号传送到编码器。编码器经配置以执行包含以下项的操作：编码音频信号；及存储所述经编码音频信号或将所述经编码音频信号传输到另一装置中的至少一者。在一些实施方案中，将音频信号转变成第二格式包含产生用于音频信号的元数据。所述元数据可包含第二格式不支持的音频信号的一部分的表示。编码器的操作可进一步包含通过传输包含第二格式不支持的音频信号的一部分的表示的元数据而传输经编码音频信号。在一些实施方案中，第二格式将音频信号音频表示为音频场景中的对象的数量及用于载送空间信息的通道的数量。在一些实施方案中，预处理音频信号可包含执行噪声消除、执行回波消除、减少音频信号的通道的数本文档来自技高网...

【技术保护点】
1.一种方法，其包括：/n由音频装置的简化单元接收呈第一格式的音频信号，其中所述第一格式是所述音频装置支持的多个音频格式的集合中的一者；/n由所述简化单元确定所述音频装置的编码器是否支持所述第一格式；/n根据所述编码器不支持所述第一格式，由所述简化单元将所述音频信号转变成所述编码器支持的第二格式，其中所述第二格式是所述第一格式的替代表示；/n由所述简化单元将呈所述第二格式的所述音频信号传送到所述编码器；/n由所述编码器编码所述音频信号；以及/n存储所述经编码音频信号或将所述经编码音频信号传输到一或多个其它装置。/n

【技术特征摘要】
【国外来华专利技术】20181008 US 62/742,7291.一种方法，其包括：
由音频装置的简化单元接收呈第一格式的音频信号，其中所述第一格式是所述音频装置支持的多个音频格式的集合中的一者；
由所述简化单元确定所述音频装置的编码器是否支持所述第一格式；
根据所述编码器不支持所述第一格式，由所述简化单元将所述音频信号转变成所述编码器支持的第二格式，其中所述第二格式是所述第一格式的替代表示；
由所述简化单元将呈所述第二格式的所述音频信号传送到所述编码器；
由所述编码器编码所述音频信号；以及
存储所述经编码音频信号或将所述经编码音频信号传输到一或多个其它装置。


2.根据权利要求1所述的方法，其中将所述音频信号转变成所述第二格式包括产生用于所述音频信号的元数据，其中所述元数据包括所述音频信号的一部分的表示。


3.根据权利要求1所述的方法，其中编码所述音频信号包括将呈所述第二格式的所述音频信号编码成第二装置支持的输送格式。


4.根据权利要求3所述的方法，其进一步包括通过传输包括所述第二格式不支持的所述音频信号的一部分的表示的所述元数据而传输所述经编码音频信号。


5.根据权利要求1所述的方法，其中由所述简化单元确定所述音频信号是否呈所述第一格式包括确定音频捕获装置的数量及用于捕获所述音频信号的每一捕获装置的对应位置。


6.根据权利要求1所述的方法，其中所述一或多个其它装置中的每一者经配置以从所述第二格式重现所述音频信号，且其中所述一或多个其它装置中的至少一者无法从所述第一格式重现所述音频信号。


7.根据权利要求1所述的方法，其中所述第二格式将所述音频信号表示为音频场景中的音频对象的数量，两者都依靠用于载送空间信息的音频通道的数量。


8.根据权利要求7所述的方法，其中所述第二格式进一步包括用于载送空间信息的另一部分的元数据。


9.根据权利要求1所述的方法，其中所述第一格式及所述第二格式都为空间音频格式。


10.根据权利要求1所述的方法，其中所述第二格式是空间音频格式且所述第一格式是与元数据相关联的单声道格式或与元数据相关联的立体声格式。


11.根据任一前述权利要求所述的方法，其中所述音频装置支持的多个音频格式的所述集合包括多个空间音频格式。


12.根据任一前述权利要求所述的方法，其中所述第二格式是所述第一格式的替代表示且进一步特征在于实现可比程度的体验质量。


13.一种方法，其包括：
由音频装置的渲染单元接收呈第一格式的音频信号；
由所述渲染单元确定所述音频装置是否能够重现呈所述第一格式的所述音频信号；
响应于确定所述音频装置无法重现呈所述第一格式的所述音频信号，由所述渲染单元调适所述音频信号以在第二格式下可用；以及
由所述渲染单元传送呈所述第二格式的所述音频信号以用于渲染。


14.根据权利要求13所述的方法，其中由所述渲染单元将所述音频信号转变成所述第二格式包括使用包括用于编码的第四格式不支持的所述音频信号的一部分的表示的元数据连同呈第三格式的所述音频信号。


15.根据权利要求13所述的方法，其进一步包括：
由解码单元接收呈输送格式的所述音频信号；
将呈所述输送格式的所述音频信号解码成所述第一格式；以及
将呈所述第一格式的所述音频信号传送到所述渲染单元。


16.根据权利要求15所述的方法，其中使所述音频信号在所述第二格式下可用的所述调适包括调适所述解码以产生呈所述第二格式的所述经接收音频。


17.根据权利要求13所述的方法，其中多个装置中的每一者经配置以重...

【专利技术属性】
技术研发人员：S·布鲁恩，M·埃克特，J·F·托里斯，S·布朗，D·S·麦格拉思，
申请(专利权)人：杜比实验室特许公司，杜比国际公司，
类型：发明
国别省市：美国;US