适配用于终端用户自由视点监控的分布式音频录制制造技术

通过分布式麦克风在多个音频信道中捕获音频场景。基于用户的视点和用户的至少一个偏好中的至少一个，从这些多个音频信道中选择(400、500)这些多个音频信道中的两个或更多个音频信道；基于用户的偏好、用户操作的设备(700)的软件应用的要求以及设备的操作条件的要求中的至少一个，对所选择的两个或更多个音频信道进行优先级排序(500、600)。在优先级排序(500、600)之后，将所选择的两个或更多个音频信道中的至少一个编码(600)成通过传输链路发送给设备(700)的编码监控混音(610‑1)。

Distributed Audio Recording Adapted to End User Free View Monitoring

【技术实现步骤摘要】
【国外来华专利技术】适配用于终端用户自由视点监控的分布式音频录制
所描述的专利技术涉及多个音频信道的处理，例如用于作为自由视点音频呈现给用户，并且更具体地涉及用于通过无线网络递送到消费者设备的目的的这种处理，所述消费者设备诸如呈现虚拟现实体验的智能电话或耳机，具有有限音频处理能力。
技术介绍
本文的教导的实施例涉及由多个空间分布的麦克风捕获的音频的实时监控。这样捕获的音频可以用于在增强现实或虚拟现实上下文中展示的直播，或者可以被存储以便稍后在这方面进行呈现。优选地，通过靠近并捕获感兴趣的声源的多个特写麦克风(close-upmicrophones)以及捕获更全面的背景集成的多个麦克风阵列，来捕获音频。可以跟踪特写麦克风，以便于在最终混音中逼真地呈现被跟踪的声源。考虑一个音乐会的例子：在正在演奏不同乐器和/或发声的乐队的每个成员附近可能有一个特写麦克风，并且另外的麦克风阵列分散在舞台上和音乐厅中。由于录制能力在个人移动电话中普遍存在，特写麦克风本身可以是智能电话，并且在观众中可能存在捕获结合到最终混音中的声音的其他非阵列麦克风。以这种方式捕获声音环境然后可以被处理以便展示给收听者，好像该收听者在任何位置，而不限于麦克风本身的特定位置；展示给用户的音频体验中的这种灵活性被认为是自由视点(FVP)系统。图1示出了音频环境的示例，该音频环境具有捕获可以用作FVP系统的音频输入的声音的多个分散的麦克风。位置1-10表示特写麦克风，每个特写麦克风生成自己的音频信道。在一些实施例中，这些麦克风中的至少一些可以生成一个以上的信道。例如，可以使用立体声麦克风。假设声音环境是音乐会，位置1-10可以位于每个不同的乐队成员(吉他手、鼓手、主唱、伴唱等)附近。位置OP1-OP7指定麦克风阵列，并且理想情况下位于被认为最佳地捕获整体音频环境(包括氛围)的位置。作为一个非限制性示例，这些中的每一个都可以实现为诺基亚OZO相机，其具有360°相机视图和来自8个麦克风的全向音频(参见https://ozo.nokia.com/，最后访问于2016年11月25日)。该环境总共产生66个音频信道：10个来自特写麦克风，56个OZO信道来自7个不同的OZO阵列。如果通过诸如无线局域网(WLAN)的非托管因特网协议(IP)网络处理并将所有这些信道单独发送给消费者设备，则接收设备将发现难以处理(取决于资源可用性)所有内容，并且该内容上行的WLAN信道的质量以及蜂窝或内容下行到终端用户的其他WLAN信道的质量都是动态变化的。难点在于网络拥塞和正在传送的音频的延迟要求。这些教导的实施例涉及管理该音频内容，以在高数据量和不稳定的无线电信道质量的这些条件下优化终端用户体验。可用于FVP音频环境的当前可用解决方案通常致力于通过IP网络上的受管理音频的专用专业硬件，该IP网络以无损方式传输音频数据。但这不适合无法使用昂贵的专业音频设备和基础设施的生产性消费者或消费者应用。在美国专利号8,856,049(共同拥有)、9,167,346和9,165,558中以及美国专利申请公开号2016/0300577和2011/0002469中可以看到一些相关的现有技术教导。
技术实现思路
根据这些教导的第一方面，存在一种方法，包括：基于用户的视点和用户的至少一个偏好中的至少一个，从分布式麦克风捕获的多个音频信道中选择两个或更多个音频信道；基于用户的偏好、用户操作的设备的软件应用的要求以及该设备的操作条件的要求中的至少一个来对所选择的两个或更多个音频信道进行优先级排序；在进行优先级排序之后，将所选择的两个或更多个音频信道中的至少一个编码为编码监控混音(codedmonitormix)；以及通过传输链路将编码监控混音发送给该设备。根据这些教导的第二方面，存在一种音频处理系统，包括至少一个存储计算机程序指令的存储器以及至少一个处理器。在这个方面，具有计算机程序指令的至少一个存储器被配置为利用至少一个处理器，使得音频处理系统执行包括以下操作的动作：基于用户的视点和用户的至少一个偏好中的至少一个，从分布式麦克风捕获的多个音频信道中选择两个或更多个音频信道；基于用户的偏好、用户操作的设备的软件应用的要求以及该设备的操作条件的要求中的至少一个来对所选择的两个或更多个音频信道进行优先级排序；在对所选择的两个或更多个音频信道进行优先级排序之后，将所选择的两个或更多个音频信道中的至少一个编码为编码监控混音；以及通过传输链路将编码监控混音发送给该设备。根据这些教导的第三方面，存在一种计算机可读存储器，其有形地存储计算机程序指令，计算机程序指令当由一个或多个处理器执行时使得主机音频系统执行包括以下操作的动作：基于用户的视点和用户的至少一个偏好中的至少一个，从分布式麦克风捕获的多个音频信道中选择两个或更多个音频信道；基于用户的偏好、用户操作的设备的软件应用的要求以及该设备的操作条件的要求中的至少一个来对所选择的两个或更多个音频信道进行优先级排序；在对所选择的两个或更多个音频信道进行优先级排序之后，将所选择的两个或更多个音频信道中的至少一个编码为编码监控混音；以及通过传输链路将编码监控混音发送给该设备。附图说明图1是示出示例音频环境的平面图，该音频环境具有捕获可以用作这些教导的实施例的音频输入的声音的多个分散的麦克风；图2是示出在图1中捕获的66个音频信道可能会如何呈现给终端用户的虚拟现实设备的示意图；图3是高级示意图，示出产生诸如图1和图7中的场景的自由视点场景的低比特率、低延迟和低资源消耗的观察/收听点(OP/LP)特定的编码混音的某些目标；图4是示出根据这些教导的实施例的66个原始音频信道在被发送到终端用户设备之前如何被按优先级排序和处理的示意图；图5类似于图4但示出了根据这些教导的实施例的如何将处理划分为四个不同步骤的更多细节；图6类似于图4但另外示出了根据这些教导的实施例的示例收听点(LP)和信道减少；图7是根据这些教导的示例实施例的根据视点、观察点和用户应用的信道选择和减少的概念图；图8是概述某些上述教导的过程流程图；以及图9是高级示意性框图，其示出适合于实践某些上述教导并且可以被实现为诸如图5所示的那些的多个处理设备的装置/设备。具体实施方式这些教导的实施例涉及对从多个麦克风捕获的音频场景的自由视点音频的高质量低延迟实时监控。更具体地，本文描述的实施例展示一种方法，用于在传统IP网络的传输链路上传送具有高质量和低延迟的编码监控混音，该传统IP网络固有地可以具有在带宽和延迟上的变化，并且该编码监控混音可以由受其音频处理能力限制的消费者设备(例如智能手机)呈现。编码监控混音是在终端用户的智能手机、耳机或其他消费设备上展示给终端用户的数字音频文件。在图1示例中，监控混音取自原始66个音频信道，并且基于用户的偏好和要求(上下文)、将监控混音展示给用户的设备的制约、以及如上所述不受录制该原始音频的麦克风的任何实际位置的约束的FVP系统中的用户的“虚拟”位置/视点来处理。如下面将进一步详述的，这些教导的一个重要方面在于其基于视点、上下文和终端用户应用要求的信道选择和优先级排序方案。图2是示出在图1中捕获的66个音频信道可能会如何呈现给终端用户的虚拟现实设备的示意图。虽然本文的示例假设麦克风阵列由OZO设备实现本文档来自技高网...

【技术保护点】
1.一种方法，包括：基于用户的视点和用户的至少一个偏好中的至少一个，通过设备从分布式麦克风捕获的多个音频信道中选择两个或更多个音频信道；基于所述用户的偏好、所述用户操作的设备的软件应用的要求以及所述设备的操作规范的要求中的至少一个来对所选择的两个或更多个音频信道进行优先级排序；在所述优先级排序之后，将所选择的两个或更多个音频信道中的至少一个编码成编码监控混音；以及通过传输链路将所述编码监控混音发送给所述设备。

【技术特征摘要】
【国外来华专利技术】2017.01.03 US 15/397,0081.一种方法，包括：基于用户的视点和用户的至少一个偏好中的至少一个，通过设备从分布式麦克风捕获的多个音频信道中选择两个或更多个音频信道；基于所述用户的偏好、所述用户操作的设备的软件应用的要求以及所述设备的操作规范的要求中的至少一个来对所选择的两个或更多个音频信道进行优先级排序；在所述优先级排序之后，将所选择的两个或更多个音频信道中的至少一个编码成编码监控混音；以及通过传输链路将所述编码监控混音发送给所述设备。2.根据权利要求1所述的方法，其中，当所述优先级排序基于所述设备的操作规范的所述要求时，所述方法包括带宽和呈现信道的数量中的至少一个。3.根据权利要求1或2中任一项所述的方法，其中，所述编码监控混音与关联元数据一起被发送给所述设备，所述关联元数据指示所述多个音频信道中的至少哪些被包括在所述编码监控混音中。4.根据权利要求3所述的方法，其中，所述关联元数据还指示所述多个音频信道中的哪些未被包括在所述编码监控混音中。5.根据权利要求1至4中任一项所述的方法，其中，所述多个音频信道中的一些音频信道来自阵列麦克风，并且所述多个音频信道中的其他音频信道来自非阵列麦克风，并且其中所述优先级排序对第一组中的所述阵列麦克风和第二组中的所述非阵列麦克风分开进行优先级排序。6.根据权利要求1至5中任一项所述的方法，其中，进一步基于由所述多个音频信道录制的音频场景的上下文信息来选择所述两个或更多个音频信道。7.根据权利要求1至6中任一项所述的方法，其中在所述编码之前，将相对低优先级并且源自相同麦克风阵列的至少一些所述优先级排序的信道下混缩到较少数量的信道。8.根据权利要求7所述的方法，其中，所述编码包括联合编码所述相对较低优先级信道中的至少一些，并且不联合编码所述相对较高优先级信道中的至少一些。9.一种音频处理系统，包括：存储计算机程序指令的至少一个存储器；以及至少一个处理器；其中，具有所述计算机程序指令的所述至少一个存储器被配置为利用所述至少一个处理器以使所述音频处理系统执行包括以下操作的动作：基于用户的视点和用户的至少一个偏好中的至少一个，通过设备从分布式麦克风捕获的多个音频信道中选择两个或更多个音频信道；基于所述用户的偏好、所述用户操作的设备的软件应用的要求以及所述设备的操作规范的要求中的至少一个，来对所选择的两个或更多个音频信道进行优先级排序；在所选择的两个或更多个信道被优先级排序之后，将所选择的两个或更多个音频信道中的至少一个编码成编码监控混音；以及通过传输链路将所述编码监控混音发送给所述设备。10.根据权利要求9所述的音频处理系统，其中，基于所述设备的操作...

【专利技术属性】
技术研发人员：S·S·马特，L·拉克索南，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI