虚拟现实VR音频的处理方法及相应设备技术

本发明专利技术提供了一种虚拟现实VR音频处理的方法及相应设备，包括VR音频的发送端获取高保真立体声Ambisonics信号旋转角度，其中，Ambisonics信号旋转角度是根据VR音频的接收端对应的第一设备旋转角度确定出的，然后根据获取的Ambisonics信号旋转角度，对Ambisonics信号进行旋转，和/或，VR音频的发送端获取根据VR音频的相关信息确定的混合阶高保真立体声MOA信号的阶数，然后依据MOA信号的阶数，从高保真立体声Ambisonics信号中提取出MOA信号。本发明专利技术实施例适用于根据设备的旋转角度确定Ambisonics信号旋转角度，进行旋转，并提取出MOA信号。

The processing method and corresponding equipment of VR audio in virtual reality

The invention provides a virtual reality VR audio processing method and corresponding equipment, including the VR audio transmitter to obtain high fidelity stereo Ambisonics signal rotation angle, in which the Ambisonics signal rotation angle is determined according to the rotation angle of the first device corresponding to the receiving end of the VR audio, and then according to the obtained Ambiso. The NICs signal rotates the angle, rotates the Ambisonics signal, and / or the VR audio transmitter gets the order of the mixed order high fidelity stereo MOA signal determined according to the related information of the VR audio, and then the MOA signal is extracted from the high fidelity stereo Ambisonics signal according to the order of the MOA signal. The embodiment of the invention is applicable to determine the rotation angle of the Ambisonics signal according to the rotation angle of the device, rotate it, and extract the MOA signal.

【技术实现步骤摘要】
虚拟现实VR音频的处理方法及相应设备
本专利技术涉及虚拟现实VR音频
，具体而言，本专利技术涉及一种VR音频的处理方法及相应设备。
技术介绍
随着人们对VR(VirtualReality，虚拟现实)产品的关注，许多公司和组织都专注于发展VR技术。VR音频是VR领域中的一个关键技术，VR音频能够为用户提供带有空间分辨率的听觉内容，使用户能够有身临其境的VR应用体验。只有视觉和听觉都和真实世界的感受一致才会给人带来沉浸感，如图1所示。VR内容源是现在很多用户关注的问题，为了让用户能够体验丰富的VR应用和VR内容，在线虚拟内容平台是一个将来的发展趋势，用户可以使用VR设备从在线虚拟内容平台实时浏览VR内容，那么浏览过程中的带宽使用是需要考虑的一个问题。Ambisonics(高保真立体声)技术是现有的VR音频的关键技术，它采用声场谐波分解并逐级逼近的方法，录制并恢复物理声场。Ambisonics采用空间谐波作为独立信号，对于L阶的空间Ambisonics，它需要(L+1)2独立空间谐波信号，至少需要(L+1)2个传声器组成的阵列捡拾和至少(L+1)2扬声器重放。Ambisonics信号的阶数越高，对空间声场的逼近效果越好，因此，高阶的Ambisonics信号具有更好的空间分辨率，但是带宽占用随着阶数的增加而急剧增加。其中，图2是不同阶数Ambisonics声场空间分辨率的示意图，图3a是3阶Ambisonics声场的示意图，它需要16个独立信号。为了解决Ambisonics技术带宽占用随着阶数的增加而急剧增大的问题，MOA(Mixedorderambisonics，混合阶高保真立体声)技术被提出，MOA技术对水平和竖直方向的声场采用不同的阶数。当用户注视水平面时，人耳对水平方向和竖直方向声音的敏感度是不同的，对水平方向的声音敏感度更高，因此使用较高的阶数传输水平方向的内容，使水平方向的内容具有高空间分辨率，同时使用较低的阶数传输竖直方向的内容，从而降低了带宽占用。其中，图3b是MOA声场的示意图，其中，水平方向是3阶(水平方向使用3阶2维Ambisonic信号)，竖直方向是1阶(竖直方向使用1阶3维Ambisonic信号)，使用MOA技术，只需8个独立信号，带宽占用相当于Ambisonics技术的1/2。但是现在的MOA技术仍然存在空间分辨率精度不够高以及带宽占用过高的问题。
技术实现思路
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：本专利技术的实施例提供了一种VR音频处理的方法，包括：VR音频的发送端获取高保真立体声Ambisonics信号旋转角度，所述Ambisonics信号旋转角度是根据VR音频的接收端对应的第一设备旋转角度确定出的；根据获取的所述Ambisonics信号旋转角度，对Ambisonics信号进行旋转。本专利技术的实施例提供了一种VR音频的发送端设备，包括：获取模块，用于获取高保真立体声Ambisonics信号旋转角度，所述Ambisonics信号旋转角度是根据VR音频的接收端对应的第一设备旋转角度确定出的；旋转模块，用于根据所述Ambisonics信号旋转角度，对Ambisonics信号进行旋转。本专利技术的实施例提供了另一种VR音频处理的方法，包括：VR音频的接收端获取对应的第一设备旋转角度；将获取的所述第一设备旋转角度发送给VR音频的发送端，和/或根据对应的第一设备旋转角度以及当前网络时延信息预测第二设备旋转角度，并将第二设备旋转角度发送给所述VR音频的发送端。本专利技术的实施例提供了一种VR音频的接收端设备，包括：获取模块，用于获取对应的第一设备旋转角度；处理模块，用于将获取的第一设备旋转角度发送给VR音频的发送端，和/或根据第一设备旋转角度以及当前网络时延信息预测第二设备旋转角度，并将第二设备旋转角度发送给所述VR音频的发送端。本专利技术的实施例提供了又一种VR音频处理的方法，包括：VR音频的发送端获取根据VR音频的相关信息确定的混合阶高保真立体声MOA信号的阶数，所述相关信息包括下述至少一项：VR音频的内容相关信息、VR音频的播放相关信息、VR音频的传输相关信息；所述VR音频的发送端依据所述MOA信号的阶数，从高保真立体声Ambisonics信号中提取出MOA信号。本专利技术的实施例提供了另一种VR音频的发送端设备，包括：获取模块，用于获取根据VR音频的相关信息确定的混合阶高保真立体声MOA信号的阶数，所述相关信息包括下述至少一项：VR音频的内容相关信息、VR音频的播放相关信息、VR音频的传输相关信息；提取模块，用于依据所述MOA信号的阶数，从高保真立体声Ambisonics信号中提取出MOA信号。本专利技术的实施例提供了又一种VR音频处理的方法，包括：VR音频的接收端获取VR音频的相关信息，所述相关信息包括下述至少一项：VR音频的内容相关信息、VR音频的播放相关信息以及VR音频的传输相关信息；所述VR音频的接收端将获取的VR音频的相关信息发送给VR音频的发送端，或者根据获取的VR音频的相关信息确定出MOA信号的阶数，并将确定出的MOA信号的阶数发送给所述VR音频的发送端。本专利技术的实施例提供了另一种VR音频的接收端设备，包括：获取模块，用于获取VR音频的相关信息，所述相关信息包括下述至少一项：VR音频的内容相关信息、VR音频的播放相关信息以及VR音频的传输相关信息；处理模块，用于将获取的VR音频的相关信息发送给VR音频的发送端，或者根据获取的VR音频的相关信息确定出MOA信号的阶数，并将确定出的MOA信号的阶数发送给所述VR音频的发送端。本专利技术提供了一种VR音频处理的方法及相应设备，与现有技术相比，能够根据VR音频的接收端对应的设备旋转角度的变化，确定出Ambisonics信号旋转角度，并对Ambisonics信号进行旋转，从而可以使播放VR音频内容的终端设备或播放对应VR视频内容的终端设备非水平放置时，仍然具有很高的音频空间分辨率。此外，本专利技术技术方案中，可以获取根据VR音频的相关信息确定出的MOA信号的阶数，并依据该MOA信号的阶数提取MOA信号，从而可以提高空间分辨率的精度和/或降低带宽的占用。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为虚拟现实VR音频体验示意图；图2为不同阶数Ambisonics声场空间分辨率示意图；图3a为Ambisonics声场示意图；图3b为MOA声场示意图；图4为本专利技术实施例的虚拟现实VR音频处理的方法流程示意图；图5为用户注视平面示意图；图6为用户注视平面旋转角度示意图；图7为另一种本专利技术实施例的虚拟现实VR音频处理的方法流程示意图；图8为用户注视平面旋转角度预测示意图；图9为平滑滤波结果示意图；图10为又一种本专利技术实施例的虚拟现实VR音频处理的方法流程示意图；图11为又一种本专利技术实施例的虚拟现实VR音频处理的方法流程示意图；图12为又一种本专利技术实施例的虚拟现实VR音频处理的方法流程示意图；图13为一种确定第二用户旋转角度的流程示意图；图14为优选的一种本专利技术实施例的虚拟现本文档来自技高网...

【技术保护点】
1.一种虚拟现实VR音频处理的方法，其特征在于，包括：VR音频的发送端获取高保真立体声Ambisonics信号旋转角度，所述Ambisonics信号旋转角度是根据VR音频的接收端对应的第一设备旋转角度确定出的；根据获取的所述Ambisonics信号旋转角度，对Ambisonics信号进行旋转。

【技术特征摘要】
1.一种虚拟现实VR音频处理的方法，其特征在于，包括：VR音频的发送端获取高保真立体声Ambisonics信号旋转角度，所述Ambisonics信号旋转角度是根据VR音频的接收端对应的第一设备旋转角度确定出的；根据获取的所述Ambisonics信号旋转角度，对Ambisonics信号进行旋转。2.根据权利要求1所述的虚拟现实VR音频处理的方法，其特征在于，所述VR音频的发送端获取Ambisonics信号旋转角度，具体包括：所述VR音频的发送端接收所述VR音频的接收端根据对应的第一设备旋转角度以及当前网络时延信息预测得到的第二设备旋转角度，所述发送端根据接收到的第二设备旋转角度确定Ambisonics信号旋转角度；或者，所述VR音频的发送端接收所述VR音频的接收端发送的第一设备旋转角度，所述发送端根据接收到的第一设备旋转角度以及当前网络时延信息，预测第二设备旋转角度，所述发送端根据预测得到的第二设备旋转角度确定Ambisonics信号旋转角度；或者，所述VR音频的发送端接收VR音频的接收端发送的第一设备旋转角度以及根据当前网络时延信息预测得到的第二设备旋转角度，所述发送端根据接收到的第一设备旋转角度以及当前网络时延信息，预测第二设备旋转角度，所述发送端根据接收到的第二设备旋转角度以及自身预测的第二设备旋转角度，确定Ambisonics信号旋转角度。3.根据权利要求2所述的虚拟现实VR音频处理的方法，其特征在于，所述发送端接收到的第二设备旋转角度是所述接收端根据预测得到的第二设备旋转角度以及第一设备旋转角度分别对应的权重合成得到的；所述发送端根据预测得到的第二设备旋转角度确定Ambisonics信号旋转角度，具体包括：所述发送端根据预测得到的第二设备旋转角度以及第一设备旋转角度分别对应的权重进行合成，根据合成得到的第二设备旋转角度确定Ambisonics信号旋转角度；所述发送端根据接收到的第二设备旋转角度以及自身预测的第二设备旋转角度，确定Ambisonics信号旋转角度，具体包括：所述发送端根据自身预测得到的第二设备旋转角度以及接收到的第一设备旋转角度分别对应的权重进行合成，根据接收到的第二设备旋转角度以及合成得到的第二设备旋转角度，确定Ambisonics信号旋转角度。4.根据权利要求2所述的虚拟现实VR音频处理的方法，其特征在于，所述发送端根据接收到的第二设备旋转角度以及自身预测的第二设备旋转角度，确定Ambisonics信号旋转角度，具体包括：所述发送端根据下述信息中的至少一种，确定Ambisonics信号旋转角度：第二设备旋转角度在所述发送端和所述接收端之间的传输情况；第一设备旋转角度在所述发送端和所述接收端之间的传输情况；所述发送端和所述接收端之间的网络状况；所述发送端和/或所述接收端的处理能力。5.根据权利要求1-4任一项所述的虚拟现实VR音频处理的方法，其特征在于，还包括：所述VR音频的发送端获取根据VR音频的相关信息确定的混合阶高保真立体声MOA信号的阶数，所述相关信息包括下述至少一项：VR音频的内容相关信息、VR音频的播放相关信息以及VR音频的传输相关信息；所述VR音频的发送端依据所述MOA信号的阶数，从旋转后的Ambisonics信号中提取出MOA信号。6.根据权利要求5所述的虚拟现实VR音频处理的方法，其特征在于，所述VR音频的内容相关信息包括内容相关性信息、声源方向信息以及VR内容所属类型信息中的至少一种；所述VR音频的播放相关信息包括播放环境噪声信息、接收端的虚拟扬声器数量信息；所述VR音频的传输相关信息包括传输网络带宽信息、传输网络延时信息中的至少一种。7.根据权利要求6所述的虚拟现实VR音频处理的方法，其特征在于，VR音频的发送端获取根据VR音频的相关信息确定的MOA信号的阶数，具体包括：所述VR音频的发送端根据VR内容所属类型信息、传输网络带宽信息、传输网络延时信息、播放环境噪声信息、接收端的虚拟扬声器数量信息中的至少一种，确定MOA信号的总阶数；或者，根据VR音频的内容相关性信息、VR音频内容的声源方向信息中的至少一种，确定MOA信号中第一方向和/或第二方向的阶数。8.根据权利要求7所述的虚拟现实VR音频处理的方法，其特征在于，根据VR音频的内容相关性信息，确定MOA信号中第一方向和/或第二方向的阶数，具体包括：根据VR音频的内容相关性信息，分别确定Ambisonics信号在第一方向上的相关性信息和/或第二方向上的相关性信息；根据所述Ambisonics信号在第一方向上的相关性信息和/或第二方向上的相关性信息，确定MOA信号中第一方向和/或第二方向的阶数；根据VR音频内容的声源方向信息，确定MOA信号中第一方向和/或第二方向的阶数，具体包括：根据VR音频内容的声源方向信息，分别确定Ambisonics信号在第一方向的声源能量和/或在第二方向上的声源能量；根据所述Ambisonics信号在第一方向的声源能量和/或在第二方向上的声源能量，确定MOA信号中第一方向和/或第二方向的阶数。9.根据权利要求7所述的虚拟现实VR音频处理的方法及装置，其特征在于，根据VR内容所属类型信息、传输网络带宽信息、传输网络延时信息、播放环境噪声信息、接收端的虚拟扬声器数量信息中的至少一种，确定MOA信号的总阶数，具体包括：根据VR内容所属类型信息、传输网络带宽信息、传输网络时延信息、播放环境噪声信息、接收端的虚拟扬声器数量信息中的至少一种以及每种信息分别对应的权重，确定MOA信号的总阶数。10.根据权利要求5所述的虚拟现实VR音频处理的方法及装置，其特征在于，VR音频的发送端获取根据VR音频的相关信息确定的MOA信号的阶数，具体包括：所述VR音频的发送端接收所述VR音频的接收端根据所述VR音频的相关信息确定的MOA信号的阶数，所述发送端根据接收到的MOA信号的阶数确定最终的MOA信号的阶数。11.根据权利要求5-10任一项所述的虚拟现实VR音频处理的方法，其特征在于，所述方法还包括：所述VR音频的发送端根据当前网络状态，确定预设时刻的Ambisonics信号需要提前发送的阶数；所述VR音频的发送端根据确定的预设时刻的Ambisonics信号需要提前发送的阶数，从预设时刻的Ambisonics信号中，按照阶数由低到高的顺序以及确定出的需要提前发送的阶数提取信号，并将提取到的信号发送至所述VR音频的接收端；当到达所述预设时刻时，将所述预设时刻的MOA信号中除提取到的信号之外的残余信号发送给所述VR音频的接收端。12.一种VR音频的发送端设备，其特征在于，包括：第一获取模块，用于获取高保真立体声Ambisonics信号旋转角度，所述Ambisonics信号旋转角度是根据VR音频的接收端对应的第一设备旋转角度确定出的；旋转模块，用于根据所述Ambisonics信号旋转角度，对Ambisonics信号进行旋转。13.一种虚拟现实VR音频处理的方法，其特征在于，包括：VR音频的接收端获取对应的第一设备旋转角度；将获取的所述第一设备旋转角度发送给VR音频的发送端，和/或根据对应的第一设备旋转角度以及当前网络时延信息预测第二设备旋转角度，并将第二设备旋转角度发送给所述VR音频的发送端。14.根据权利要求13所述的虚拟现实VR音频处理的方法，其特征在于，将第二设备旋转角度发送给所述VR音频的...

【专利技术属性】
技术研发人员：杨磊，刘礼，王立众，刘长滔，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11