本公开提供一种实例音频解码装置，其包含处理电路及耦合到所述处理电路的存储器装置。所述处理电路经配置以：在位流中接收三维音场的针对三维音场内的多个候选听者位置的一个或多个音频对象的经编码表示；确定表示听者在三维音场中的位置的听者位置信息；以及基于听者位置信息来在多个候选听者位置处对所述一个或多个音频对象进行内插，以获得一个或多个经内插的音频对象。存储器装置经配置以存储所接收的位流的至少一部分或3D音场的经内插的音频对象。音频对象。音频对象。
【技术实现步骤摘要】
用于虚拟现实、增强现实及混合现实的音频位差
本申请是申请日为2018年1月12日、申请号为201880005983.4、专利技术名称为“用于虚拟现实、增强现实及混合现实的音频位差”的中国专利申请的分案申请。
[0001]本申请案是2018年1月11日提交的第15/868,656号美国申请案的继续申请，该继该继续申请要求2017年1月13日提交的第62/446，324号美国临时申请案的权利，上述申请中的每个申请的全部内容以引用的方式并入本文中。
[0002]本公开涉及音频数据的编码及解码，且更明确地说，涉及用于虚拟现实及增强现实环境的音频数据译码技术。
技术介绍
[0003]已开发常常经由通过提供计算机产生的环境的装置提供到个人的视觉及声音效果来允许个人感测所述计算机产生的环境并与其交互的各种技术。这些计算机产生的环境有时被称作“虚拟现实”或“VR”环境。举例来说，用户可使用一或多个可穿戴式装置(例如耳机)来获得VR体验。VR耳机可包含各种输出组件，例如提供视觉图像到用户的显示屏，及输出声音的扬声器。在一些实例中，VR耳机可提供额外感官效果，例如借助于运动或振动提供的触觉感觉。在一些实例中，计算机产生的环境可经由扬声器或未必由用户穿戴的其它装置而是在用户位于扬声器的可听范围内的情况下提供音频效果到一或多个用户。类似地，存在允许用户看到在用户前方的真实世界(当透镜为透明的时)并看到作为“增强现实”或“AR”的形式的图形覆迭(例如，来自嵌入于头戴式显示器(HMD)框架中的投影仪)的HMD。类似地，存在允许用户体验作为“混合现实”或“MR”的形式的添加了VR元素的真实世界的系统。
[0004]VR、MR及AR系统可并有显现高阶立体混响(HOA)信号的能力，高阶立体混响(HOA)信号常常由多个球谐系数(SHC)或其它阶层元素表示。即，通过VR、MR或AR系统显现的HOA信号可表示三维(3D)音场。HOA或SHC表示可按独立于用以回放从SHC信号显现的多声道音频信号的局部扬声器几何布置的方式来表示3D音场。SHC信号也可促进回溯兼容性，这是因为可将SHC信号显现为熟知且被高度采用的多声道格式(例如，5.1音频声道格式或7.1音频声道格式)。SHC表示因此可实现音场的更好表示，其也适应回溯兼容性。
技术实现思路
[0005]一般来说，描述音频解码装置及音频编码装置可充分利用来自计算机产生的环境的视频馈入的视频数据，以提供与计算机产生的现实体验相关联的3D音场的更准确表示所借以的技术。一般来说，本公开的技术可使得各种系统能够在HOA域中调整音频对象以在显现后产生音频数据的能量及方向分量的更准确表示。作为一个实例，所述技术可使得能够显现3D音场以适应计算机产生的现实系统的六自由度(6
‑
DOR)能力。此外，本公开的技术使得显现装置能够使用HOA域中表示的数据来基于经提供用于计算机产生的现实体验的视频
馈入的特性改变音频数据。
[0006]举例来说，根据本文中所描述的技术，计算机产生的现实系统的音频显现装置可针对由可使前景音频对象衰减的“静默对象”引起的位差相关变化调整前景音频对象。作为另一实例，本公开的技术可使得计算机产生的现实系统的音频显现装置能够确定用户与特定前景音频对象之间的相对距离。作为另一实例，本公开的技术可使得音频显现装置能够应用发射因数以显现3D音场以提供更准确计算机产生的现实体验给用户。
[0007]在一个实例中，本公开涉及一种音频解码装置。所述音频解码装置可包含处理电路及耦合到所述处理电路的存储器装置。所述处理电路经配置以：在位流中接收三维(3D)音场的音频对象的经编码表示；接收与所述位流相关联的元数据；从所述所接收元数据获得与所述音频对象中的一或多者相关联的一或多个发射因数；以及将所述发射因数应用于所述一或多个音频对象以获得所述3D音场的经位差调整音频对象。所述存储器装置经配置以存储所述所接收位流的至少一部分、所述所接收元数据或所述3D音场的所述经位差调整音频对象。
[0008]在另一实例中，本公开涉及一种方法，其包含在位流中接收三维(3D)音场的音频对象的经编码表示，及接收与位流相关联的元数据。所述方法可进一步包含从所接收元数据获得与所述音频对象中的一或多者相关联的一或多个发射因数，及将所述发射因数应用于所述一或多个音频对象以获得3D音场的经位差调整音频对象。
[0009]在另一实例中，本公开涉及一种音频解码设备。所述音频解码设备可包含用于在位流中接收三维(3D)音场的音频对象的经编码表示的装置，及用于接收与位流相关联的元数据的装置。所述音频解码设备可进一步包含用于从所接收元数据获得与所述音频对象中的一或多者相关联的一或多个发射因数的装置，及用于将发射因数应用于一或多个音频对象以获得3D音场的经位差调整音频对象的装置。
[0010]在另一实例中，本公开针对一种编码有指令的非暂时性计算机可读存储媒体。所述指令当执行时致使音频解码装置的处理电路在位流中接收三维(3D)音场的音频对象的经编码表示，并接收与位流相关联的元数据。所述指令当执行时进一步致使音频解码装置的处理电路从所接收元数据获得与所述音频对象中的一或多者相关联的一或多个发射因数，并将所述发射因数应用于一或多个音频对象以获得3D音场的经位差调整音频对象。
[0011]在随附图式及以下描述中阐述所述技术的一或多个方面的细节。这些技术的其它特征、目标及优点将从所述描述及所述图式以及权利要求书而显而易见。
附图说明
[0012]图1为说明从零阶(n＝0)到四阶(n＝4)的球谐基底函数的图。
[0013]图2A为说明可执行本公开中所描述的技术的各种方面的系统的图。
[0014]图2B到2D为说明图2A的实例中展示的系统的不同实例的图。
[0015]图3为说明用于AVR及/或AR应用的六自由度(6
‑
DOF)头部运动方案的图。
[0016]图4A到4D为说明可在VR场景中呈现的位差问题的实例的图。
[0017]图5A及5B为说明可在VR场景中呈现的位差问题的另一实例的图。
[0018]图6A到6D为说明本公开的各种编码器侧技术的流程图。
[0019]图7为说明根据本公开方面的音频解码装置可执行的解码过程的流程图。
[0020]图8为说明根据本公开的方面的音频编码装置可实施以分类静默对象、前景对象及背景对象的对象分类机制的图。
[0021]图9A为说明根据本公开的方面的来自多个麦克风及摄影机的音频/视频俘获数据的拼接的实例的图。
[0022]图9B为说明根据本公开的方面的包含运用拼接及内插的位差调整的编码器及解码器侧操作的过程的流程图。
[0023]图9C为说明在多个位置处的前景对象及背景对象的俘获的图。
[0024]图9D说明根据本公开的方面的音频解码装置可执行的内插技术的数学表达。
[0025]图9E为说明根据本公开的方面的音频解码装置可实施的基于点云的内本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种音频解码装置，包括：处理电路，其经配置以：在位流中接收三维音场的针对所述三维音场内的多个候选听者位置的一个或多个音频对象的经编码表示；确定表示听者在所述三维音场中的位置的听者位置信息；以及基于所述听者位置信息来在所述多个候选听者位置处对所述一个或多个音频对象进行内插，以获得一个或多个经内插的音频对象；以及存储器装置，其耦合到所述处理电路，所述存储器装置经配置以存储所接收的位流的至少一部分或所述3D音场的所述经内插的音频对象。2.根据权利要求1所述的音频解码装置，所述处理电路经进一步配置以应用所述听者位置信息同与所述一个或多个音频对象中的前景音频对象相关联的相应位置之间的相对前景位置信息。3.根据权利要求2所述的音频解码装置，所述处理电路经进一步配置以应用坐标系统以确定所述相对前景位置信息。4.根据权利要求1所述的音频解码装置，所述处理电路经配置以通过检测装置而确定所述听者位置信息。5.根据权利要求4所述的音频解码装置，其中，所检测的装置包括虚拟现实(VR)耳机、混合现实(MR)耳机或增强现实(AR)耳机中的一者或多者。6.根据权利要求1所述的音频解码装置，所述处理电路经配置以通过检测人而确定所述听者位置信息。7.根据权利要求1所述的音频解码装置，所述处理电路经配置以使用基于点云的内插过程而对所述一个或多个音频对象进行内插。8.根据权利要求1所述的音频解码装置，所述处理电路经进一步配置以应用使用与所述一个或多个音频对象中的背景音频对象相关联的相应位置计算的背景平移因数。9.根据权利要求1所述的音频解码装置，所述处理电路经进一步配置以将前景衰减因数应用于所述一个或多个音频对象中的相应前景音频对象。10.根据权利要求9所述的音频解码装置，所述处理电路经进一步配置以调整所述相应前景音频对象的能量。11.根据权利要求9所述的音频解码装置，所述处理电路经进一步配置以使所述相应前景音频对象的相应能量衰减。12.根据权利要求9所述的音频解码装置，所述处理电路经进一步配置以调整所述相应前景音频对象的方向特性。13.根据权利要求9所述的音频解码装置，所述处理电路经进一步配置以调整所述相应前景音频对象的位差信息。14.根据权利要求13所述的音频解码装置，所述处理电路经进一步配置以调整位差信息以考虑在与所述3D音场相关联的视频流中表示的一个或多个静默对象。15.根据权利要求1所述的音频解码装置，其进一步包括一个或多个显示器，所述一个或多个显示器经配置以：从所述处理电路接收视频数据；以及
以视觉形式输出所接收的视频数据。16.根据权利要求1所述的音频解码装置，其中，所述处理电路经进一步配置以显现所述经内插的音频对象以获得一个或多个扬声器馈入，以及其中，所述音频解码装置包括一个或多个扬声器，所述一个或多个扬声器经配置以基于所述一个或多个扬声器馈入来再现所述三维音场。17.一种方法，包括：在位流中接收三维音场的针对所述三维音场内的多个候选听者位置的音频对象的经编码表示；确定表示听者在所述三维音场中的位置的听者位置信息；以及基于所述听者位置信息来在所述多个候选听者位置处对所述音频对象进行内插，以获得经内插的音频对象。18.根据权利要求17所述的方法，其中，确定所述听者位置信息包括通过...
【专利技术属性】
技术研发人员：金墨永，N，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。