【技术实现步骤摘要】
本申请涉及虚拟现实，尤其涉及一种音频信息的处理方法、介质、服务器、客户端及系统。
技术介绍
1、随着虚拟现实技术、计算机网络以及vr等技术的发展，多人连线的虚拟场景成为发展的热点，人们可以在虚拟空间中进行社交、会议、工作、游戏、娱乐等活动。
2、声音作为人们交流沟通的重要形式，在虚拟场景的建立中起着至关重要的作用。当某用户利用虚拟场景进行交互时，该用户的客户端可以收集用户发出的声音并将声音发送至服务器，服务器可以将该用户发出的声音发送至虚拟场景中其他用户所对应的客户端，以使其他用户能够听到该用户发出的声音。或者，服务器也可以将该虚拟场景所对应的场景声音发送至各用户所对应的客户端，例如鸟鸣声、溪水声等，以使用户有身临其境之感。但是，现有的虚拟场景中对声音的处理比较简单，只能让虚拟场景的用户听到场景声音和/或用户发出的声音，并不能带给用户贴近现实世界的沉浸感和真实感。
3、因此，需要一种能够在虚拟场景中带给用户沉浸感和真实感的音频信息的处理方案。
技术实现思路
1、本申请提供一种音频信息的处理方法、介质、服务器、客户端及系统，用以解决现有的虚拟场景不能带给用户贴近现实世界的沉浸感和真实感的技术问题。
2、第一方面，本申请提供一种音频信息的处理方法，所述方法包括：
3、获取虚拟环境中的声源的特征参数、环境特征参数和接收者的特征参数；
4、根据所述声源的特征参数、环境特征参数和接收者的特征参数，建立声场模型；
5、根据
6、本申请实施例提供的方法，可以获取虚拟环境中的声源的特征参数、环境特征参数和接收者的特征参数；根据声源的特征参数、环境特征参数和接收者的特征参数，建立声场模型；根据声场模型，分别选取与虚拟环境中每个接收者匹配的音频信息，并将音频信息发送给与接收者对应的客户端，以供客户端根据音频信息中的元数据，对音频信息中音频信号进行环境渲染和空间渲染处理，以获取并播放对应的输出数据。本申请的方法，首先根据声源的特征参数、环境特征参数和接收者的特征参数建立声场模型，使得声场模型能够包含声源、传播环境以及接收者的全部信息，便于之后音频信息的筛选和匹配。进一步，建立声场模型之后，可以针对不同的接收者在虚拟环境中的位置和偏好等信息，确定与其匹配的音频信息，使得音频信息与真实环境中接收者所能听到的声音信息相适配，提高接收者在虚拟环境中的沉浸感和真实感。进一步，在确定音频信息之后，接收者对应的客户端还会根据音频信息中的元数据，对音频信息中音频信号进行环境渲染和空间渲染处理，使得最终的输出数据能够充分考虑到传播环境对声音传递的影响，并且具备空间特性，即具备方向感和距离感，还能够根据虚拟场景的特点产生适合的混响效果。通过这样的渲染处理，使得接收者能够感知到声音的方向和距离，接收者即使处于虚拟环境也能够体验到与真实空间相适配的声音特点，进一步提高了接收者在虚拟环境中的沉浸感和真实感。
7、在一种可能的实施方式中，所述根据所述声源的特征参数、环境特征参数和接收者的特征参数，建立声场模型，包括：
8、根据所述声源的特征参数，建立声源子声场；
9、根据所述环境特征参数，建立传播环境子声场；
10、根据所述接收者的特征参数，建立接收者子声场；
11、根据所述声源子声场、传播环境子声场和接收者子声场，建立声场模型。
12、在一种可能的实施方式中，还包括：
13、获取客户端发送的编辑信息；
14、则所述根据所述接收者的特征参数，建立接收者子声场，包括：
15、根据所述接收者的特征参数以及所述编辑信息，建立接收者子声场。
16、在一种可能的实施方式中，所述根据所述声源子声场、传播环境子声场和接收者子声场，建立声场模型，包括：
17、根据所述声源子声场、传播环境子声场，和所述接收者子声场，将所述声源子声场转换至所述接收者子声场，以获取所述声场模型，使得所述声场模型中每个接收者根据所述接收者对应的环境的特征参数和所述接收者的特征参数与所述声源子声场中的部分声源建立匹配关系；或者使得所述声场模型中每个接收者根据所述接收者对应的环境的特征参数、所述接收者的特征参数和编辑信息，与所述声源子声场中的部分声源建立匹配关系。
18、在一种可能的实施方式中，所述根据所述声场模型，分别选取与所述虚拟环境中每个接收者匹配的音频信息，包括：
19、根据所述声场模型，分别选取与所述虚拟环境中每个接收者匹配的声音数据，以及所述声音数据对应的第一渲染参数；并分别根据每个接收者对应的声音数据和第一渲染参数，获取所述每个接收者对应的音频信息；其中，所述音频信息中包括与所述声音数据对应的音频信号，以及分别与所述第一渲染参数对应的元数据。
20、在一种可能的实施方式中，所述声场模型，分别选取与所述虚拟环境中每个接收者匹配的音频信息，包括：
21、根据所述声场模型，分别选取与所述虚拟环境中每个接收者匹配的声音数据，以及所述声音数据对应的第一渲染参数和第二渲染参数；并分别根据每个接收者对应的声音数据、第一渲染参数和第二渲染参数，获取所述每个接收者对应的音频信息；其中，所述音频信息中包括与所述声音数据对应的音频信号，以及分别与所述第一渲染参数和第二渲染参数对应的元数据。
22、在一种可能的实施方式中，所述第一渲染参数包括如下一种或者几种组合：声源位置、声源指向性、接收者位置、接收者朝向、虚拟源位置、虚拟环境空间大小，虚拟环境墙壁反射系数、吸声系数、声屏障、隔音系数、空气吸收系数、环境温度、环境湿度、频响曲线、相位曲线、灵敏度曲线、扬声器阵列的布局方式和扬声器个数。
23、在一种可能的实施方式中，所述编辑信息包括如下一种或者几种组合：增益调整、均衡调整、滤波、语音强化、声源重定位、背景化和变调；
24、则所述第二渲染参数包括如下一种或者几种组合：
25、声源增益调整、声源均衡调整、声源滤波调整、声源频域强化调整、声源重定位调整、声源频域背景化调整和声源变调调整。
26、在一种可能的实施方式中，所述声源的特征参数包括：声音数据、声源位置、声源形状、声源指向性、声源运动速度、声场传播范围、时频特性和声源内容。
27、在一种可能的实施方式中，所述根据所述环境特征参数，建立传播环境子声场，包括：
28、确定所述虚拟环本文档来自技高网...
【技术保护点】
1.一种音频信息的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述声源的特征参数、环境特征参数和接收者的特征参数，建立声场模型，包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述声源子声场、传播环境子声场和接收者子声场，建立声场模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述声场模型，分别选取与所述虚拟环境中每个接收者匹配的音频信息，包括：
6.根据权利要求4所述的方法，其特征在于，所述声场模型，分别选取与所述虚拟环境中每个接收者匹配的音频信息，包括：
7.根据权利要求5所述的方法，其特征在于，所述第一渲染参数包括如下一种或者几种组合：声源位置、声源指向性、接收者位置、接收者朝向、虚拟源位置、虚拟环境空间大小，虚拟环境墙壁反射系数、吸声系数、声屏障、隔音系数、空气吸收系数、环境温度、环境湿度、频响曲线、相位曲线、灵敏度曲线、扬声器阵列的布局方式和扬声器个数。
8.根据
9.根据权利要求2或3所述的方法，其特征在于，所述声源的特征参数包括：声音数据、声源位置、声源形状、声源指向性、声源运动速度、声场传播范围、时频特性和声源内容。
10.根据权利要求2或3所述的方法，其特征在于，所述根据所述环境特征参数，建立传播环境子声场，包括：
11.根据权利要求10所述的方法，其特征在于，还包括：根据所述虚拟环境中环境湿度和/或环境温度，获取所述虚拟环境中的传播介质对声音传播的第二影响的参数；其中，所述第二影响的参数包括阻尼和衰减；
12.根据权利要求2或3所述的方法，其特征在于，所述根据所述接收者的特征参数，建立接收者子声场，包括：
13.根据权利要求12所述的方法，其特征在于，还包括：获取所述虚拟环境中每个接收者对声音偏好的特征参数；
14.一种音频信息的处理方法，其特征在于，所述方法包括：
15.根据权利要求14所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行空间渲染处理，以获取所述音频信息对应的空间音频信号，包括：
16.根据权利要求14所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行空间渲染处理，以获取所述音频信息对应的空间音频信号，包括：
17.根据权利要求16所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行环境渲染和空间渲染处理，以获取所述音频信息对应的具有环境声学效果的空间音频信号，包括：
18.根据权利要求16所述的方法，其特征在于，还包括：
19.根据权利要求18所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行音频编辑、环境渲染和空间渲染处理，或者进行环境渲染、音频编辑和空间渲染处理，以获取所述音频信息对应的具有环境声学效果的空间音频信号，包括：
20.根据权利要求18所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行音频编辑、环境渲染和空间渲染处理，或者进行环境渲染、音频编辑和空间渲染处理，以获取所述音频信息对应的具有环境声学效果的空间音频信号，包括：
21.根据权利要求17至20任一所述的方法，其特征在于，根据所述第一标签对应的元数据对所述音频信号或者一级音频信号进行处理，获取一级音频信号和对应的元数据，或者获取二级音频信号和对应的元数据，包括：
22.根据权利要求14所述的方法，其特征在于，还包括：
23.根据权利要求17至20任一所述的方法，其特征在于，所述第三标签对应的元数据表示对音频自身编辑的元数据，包括如下一种或者几种组合：声源增益调整、声源均衡调整、声源滤波调整、声源频域强化调整、声源重定位调整、声源频域背景化调整和声源变调调整。
24.根据权利要求17至20任一所述的方法，其特征在于，所述第一标签对应的元数据表示对环境渲染的元数据，包括如下一种或者几种组合：声源位置、声源指向性、虚拟源位置、虚拟环境空间大小，虚拟环境墙壁反射系数、吸声系数、声屏障、隔音系数、空气吸收系数、环境温度和环境湿度。
25.根据权利要求17至20任一所述的方法，其特征在于，所述第二标签对应的元数据表示对空间...
【技术特征摘要】
1.一种音频信息的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述声源的特征参数、环境特征参数和接收者的特征参数，建立声场模型，包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述声源子声场、传播环境子声场和接收者子声场，建立声场模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述声场模型，分别选取与所述虚拟环境中每个接收者匹配的音频信息，包括：
6.根据权利要求4所述的方法，其特征在于，所述声场模型，分别选取与所述虚拟环境中每个接收者匹配的音频信息，包括：
7.根据权利要求5所述的方法，其特征在于，所述第一渲染参数包括如下一种或者几种组合：声源位置、声源指向性、接收者位置、接收者朝向、虚拟源位置、虚拟环境空间大小，虚拟环境墙壁反射系数、吸声系数、声屏障、隔音系数、空气吸收系数、环境温度、环境湿度、频响曲线、相位曲线、灵敏度曲线、扬声器阵列的布局方式和扬声器个数。
8.根据权利要求6所述的方法，其特征在于，所述编辑信息包括如下一种或者几种组合：增益调整、均衡调整、滤波、语音强化、声源重定位、背景化和变调；
9.根据权利要求2或3所述的方法，其特征在于，所述声源的特征参数包括：声音数据、声源位置、声源形状、声源指向性、声源运动速度、声场传播范围、时频特性和声源内容。
10.根据权利要求2或3所述的方法，其特征在于，所述根据所述环境特征参数，建立传播环境子声场，包括：
11.根据权利要求10所述的方法，其特征在于，还包括：根据所述虚拟环境中环境湿度和/或环境温度，获取所述虚拟环境中的传播介质对声音传播的第二影响的参数；其中，所述第二影响的参数包括阻尼和衰减；
12.根据权利要求2或3所述的方法，其特征在于，所述根据所述接收者的特征参数，建立接收者子声场，包括：
13.根据权利要求12所述的方法，其特征在于，还包括：获取所述虚拟环境中每个接收者对声音偏好的特征参数；
14.一种音频信息的处理方法，其特征在于，所述方法包括：
15.根据权利要求14所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行空间渲染处理，以获取所述音频信息对应的空间音频信号，包括：
16.根据权利要求14所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行空间渲染处理，以获取所述音频信息对应的空间音频信号，包括：
17.根据权利要求16所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行环境渲染和空间渲染处理，以获取所述音频信息对应的具有环境声学效果的空间音频信号，包括：
18.根据权利要求16所述的方法，其特征在于，还包括：
19.根据权利要求18所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行音频编辑、环境渲染和空间渲染处理，或者进行环境渲染、音频编辑和空间渲染处理，以获取所述音频信息对应的具有环境声学效果的空间音频信号，包括：
20.根据权利要求18所述的方法，其特征在于，所述根据所述音频信息中的元数据，对所述音频信息中音频信号进行音频编辑、环境渲染和空间渲染处理，或者进行环境渲染、音频编辑和空间渲染处理，以获取所述音频信息对应的具有环境声学效果的空间音频信号，包括：
21.根据权利要求17至20任一所述的方法，其特征在于，根据所述第一标签对应的元数据对所述音频信号或者一级音频信号进行处理，获取一级音频信号和对应的元数据，或者获取二级音频信号和对应的元数据，包括：
22.根据权利要求14所述的方法，其特征在于，还包括：
23.根据权利要求17至20任一所述的方法，其特征在于，所述第三标签对应的元数据表示对音频自身编辑的元数据，包括如下一种或者几种组合：声源增益调整、声源均衡调整、声源滤波调整、...
【专利技术属性】
技术研发人员：袁旭公，卫建清，潘兴德，黄旭，
申请(专利权)人：北京全景声信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。