一种空间音频的播放方法及设备技术

本申请涉及沉浸式音频技术领域，提供一种空间音频的播放方法及设备，将目标音视频分离为目标视频和目标音频后，对目标音频进行了PCM处理并缓存，通过获取的声源位置信息和头部位姿信息，以及目标对象所在空间的环境参数，对初始PCM数据进行空间音效处理，得到目标PCM数据，经混合后与目标视频同步播放，由于目标PCM数据是经过空间音效处理后得到的，所以，混合后的PCM数据与目标视频同步播放时，声音可以随目标对象的运动而运动，随场景的切换而自适应变换，从而实现空间音频的效果，提升目标对象的沉浸式体验。标对象的沉浸式体验。标对象的沉浸式体验。

【技术实现步骤摘要】
一种空间音频的播放方法及设备


[0001]本申请涉及沉浸式音频
，尤其涉及一种空间音频的播放方法及设备。

技术介绍

[0002]空间音频(Spatial Audio)的本质是
″
计算音频
″
，它将声源模拟为空间中固定位置的音响设备，当用户头部转动或者设备移动时，仍能感受到身临其境的环绕声体验，如图1所示。在空间音频中，虚拟声源比立体声更宽广、更丰富。
[0003]具有空间音频功能的播放器，声音可以随用户的运动变化而变化，带来真正的沉浸式体验。目前，一些播放引擎(如：Unity/Unreal等3D游戏引擎)提供了空间音频插件(Plugin)扩展接口，然而，这些引擎却没有强大的功能模块来支撑虚拟现实(Virtual Reality，VR)音频播放器的开发，现有的主流播放器又不提供空间音频功能。因此，在播放器中实现空间音频功能以满足VR场景的需求成为了研究热点。

技术实现思路

[0004]本申请实施例提供了一种空间音频的播放方法及设备，用以实现空间音频的播放功能，提升沉浸式体验。
[0005]第一方面，本申请实施例提供一种空间音频的播放方法，包括：
[0006]从目标音视频中分离出目标视频和目标音频，并对所述目标音频进行脉冲编码调制PCM，得到初始PCM数据并缓存，所述初始PCM数据与所述目标音频的声道数相同；
[0007]按照预设帧率，同步获取声源位置信息和头部位姿信息；
[0008]在目标对象处于封闭空间时，获取所述目标对象所在空间的环境参数；
[0009]根据所述声源位置信息和所述头部位姿信息，以及所述环境参数，对所述初始PCM数据进行空间音效处理，得到目标PCM数据，所述目标PCM数据与所述初始PCM数据的声道数相同；
[0010]对所述目标PCM数据进行混合，得到声道数满足预设要求的混合PCM数据；
[0011]同步播放所述混合PCM数据和所述目标视频。
[0012]第二方面，本申请实施例提供一种音视频播放器，包括音视频分离单元、解码单元、预处理单元、立方体空间单元、音频混合单元、播放单元；
[0013]音视频分离单元将目标音视频分离为目标视频和目标音频，由解码单元对目标音频进行脉冲编码调制PCM，得到初始PCM数据，并通过第一接口将初始PCM数据发送给预处理单元；所述初始PCM数据与所述目标音频的声道数相同；
[0014]预处理单元对所述初始PCM数据进行缓存，并按照预设帧率，同步获取声源位置信息和头部位姿信息，将所述初始PCM数据、所述声源位置信息和所述头部位姿信息通过第二接口发送给所述空间音频单元；
[0015]当目标对象处于封闭空间时，立方体空间单元调用第三接口获取所述目标对象所在空间的环境参数，并通过第四接口发送给所述空间音频单元；
[0016]所述空间音频单元根据所述预处理单元发送的所述声源位置信息和所述头部位姿信息，以及所述立方体空间单元发送的所述环境参数，对所述初始PCM数据进行空间音效处理，得到目标PCM数据，并通过第五接口发送给所述音频混合单元，所述目标PCM数据与所述初始PCM数据的声道数相同；
[0017]所述音频混合单元对所述目标PCM数据进行混合，得到声道数满足预设要求的混合PCM数据；
[0018]所述播放单元同步播放混合PCM数据和所述目标视频。
[0019]第三方面，本申请实施例提供一种播放设备，包括存储器、处理器、扬声器、显示器，所述存储器、所述扬声器、所述显示器和所述处理器通过总线连接；
[0020]所述存储器中存储有计算机程序，所述处理器在执行所述计算机程序时，执行以下操作：
[0021]从目标音视频中分离出目标视频和目标音频，并对所述目标音频进行脉冲编码调制PCM，得到初始PCM数据并缓存，所述初始PCM数据与所述目标音频的声道数相同；
[0022]按照预设帧率，同步获取声源位置信息和头部位姿信息；
[0023]在目标对象处于封闭空间时，获取所述目标对象所在空间的环境参数；
[0024]根据所述声源位置信息和所述头部位姿信息，以及所述环境参数，对所述初始PCM数据进行空间音效处理，得到目标PCM数据，所述目标PCM数据与所述初始PCM数据的声道数相同；
[0025]对所述目标PCM数据进行混合，得到声道数满足预设要求的混合PCM数据；
[0026]由所述扬声器播放所述混合PCM数据，同时，由所述显示器显示所述目标视频。
[0027]第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使音视频播放器执行空间音频的播放方法。
[0028]本申请的上述实施例中，将目标音视频分离为目标视频和目标音频后，对目标音频进行了PCM处理并缓存，通过获取的声源位置信息和头部位姿信息，以及目标对象所在真实空间的第一环境参数和虚拟空间的第二环境参数，对初始PCM数据进行空间音效处理，得到目标PCM数据，经混合后与目标视频同步播放，由于目标PCM数据是经过空间音效处理后得到的，所以，混合后的PCM数据与目标视频同步播放时，声音可以随目标对象的运动而运动，随场景的切换而自适应变换，从而实现空间音频的效果，提升目标对象的沉浸式体验。
附图说明
[0029]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0030]图1示例性示出了本申请实施例提供的空间音频示意图；
[0031]图2示例性示出了本申请实施例提供的场景切换效果图；
[0032]图3示例性示出了本申请实施例提供的头部转动效果图；
[0033]图4示例性示出了本申请实施例提供的身体移动效果图；
[0034]图5示例性示出了本申请实施例提供的空间音频的播放方法流程图；
[0035]图6示例性示出了本申请实施例提供的完整的空间音频的播放方法流程图；
[0036]图7示例性示出了本申请实施例提供的空间音频播放方法的效果图；
[0037]图8示例性示出了本申请实施例提供的音视频播放器的功能架构图；
[0038]图9示例性示出了本申请实施例提供的播放设备的硬件结构。
具体实施方式
[0039]为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0040]基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空间音频的播放方法，其特征在于，包括：从目标音视频中分离出目标视频和目标音频，并对所述目标音频进行脉冲编码调制PCM，得到初始PCM数据并缓存，所述初始PCM数据与所述目标音频的声道数相同；按照预设帧率，同步获取声源位置信息和头部位姿信息；在目标对象处于封闭空间时，获取所述目标对象所在空间的环境参数；根据所述声源位置信息和所述头部位姿信息，以及所述环境参数，对所述初始PCM数据进行空间音效处理，得到目标PCM数据，所述目标PCM数据与所述初始PCM数据的声道数相同；对所述目标PCM数据进行混合，得到声道数满足预设要求的混合PCM数据；同步播放所述混合PCM数据和所述目标视频。2.如权利要求1所述的方法，其特征在于，在所述目标对象处于开阔空间时，则根据所述声源位置信息和所述VR设备位姿信息，对所述初始PCM数据进行空间音效处理。3.如权利要求1或2所述的方法，其特征在于，所述对所述初始PCM数据进行空间音效处理，包括：改变所述初始PCM数据相对于目标对象的方向和距离；和/或对所述初始PCM数据在空间中进行反射、衍射、遮挡、混响中的至少一项处理。4.如权利要求1所述的方法，其特征在于，所述环境参数以立方体为基础形态，包括立方体的大小、六个面的有无、材质、厚度、粗糙度、声音反射率、混响属性中的至少一个。5.如权利要求1或4所述的方法，其特征在于，所述环境参数为所述目标对象所在真实空间的环境参数，或所述目标对象所在虚拟空间的环境参数。6.一种音视频播放器，其特征在于，包括：音视频分离单元、解码单元、预处理单元、立方体空间单元、音频混合单元、播放单元；音视频分离单元将目标音视频分离为目标视频和目标音频，由解码单元对目标音频进行脉冲编码调制PCM，得到初始PCM数据，并通过第一接口将初始PCM数据发送给预处理单元；所述初始PCM数据与所述目标音频的声道数相同；预处理单元对所述初始PCM数据进行缓存，并按照预设帧率，同步获取声源位置信息和头部位姿信息，将所述初始PCM数据、所述声源位置信息和所述头部位姿信息通过第二接口发送给所述空间音频单元；当目标对象处于封闭空间时，立方体空间单元调用第三接口获取所述目标对象所在空间的环境参...

【专利技术属性】
技术研发人员：郭红，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：