音频处理方法及相关设备技术

本申请实施例提供了一种音频处理方法及相关设备，该方法包括：获取增强现实场景中的真实音频信号和虚拟音频信号；确定针对增强现实场景所配置的多种混音模式，并从多种混音模式中选取一个混音模式作为目标混音模式；不同混音模式用于实现真实音频信号和虚拟音频信号之间的不同混音效果；按照目标混音模式，对真实音频信号和虚拟音频信号进行混音处理，得到混音信号并输出。这样可从听觉维度实现增强现实场景中声音的融合，丰富了增强现实场景中的融合能力，且可提升用户在增强现实场景中的整体沉浸感。整体沉浸感。整体沉浸感。

【技术实现步骤摘要】
音频处理方法及相关设备


[0001]本申请涉及互联网技术，具体涉及计算机
，尤其涉及一种音频处理方法及相关设备。

技术介绍

[0002]随着增强现实(Augmented Reality，AR)技术的发展，增强现实设备（例如AR眼镜、AR耳机等）的功能越来越丰富和多样化。借助于增强现实设备（例如AR眼镜、AR耳机等）所提供的在视觉方面将现实世界和虚拟世界的图像进行融合的能力，人们能够沉浸在现实世界与虚拟世界结合所产生的增强现实场景中而带来一些新兴的体验。例如，用户佩戴AR眼镜后可以看到现实世界影像和虚拟世界影像的合成图像，并可以通过一些手势、语音等交互方式改变虚拟世界影像内容。还可以通过增强现实应用来检测和增强用户环境中的二维图像，例如在展会中可将产品海报进行增强。但是，以上仅仅是在视觉维度实现了增强现实场景中图像的融合，融合能力比较单一，用户在增强现实场景中的沉浸感还有待提升。

技术实现思路

[0003]本申请实施例提供一种音频处理方法及相关设备，可以从听觉维度实现增强现实场景中现实世界的声音和虚拟世界的声音之间的融合，丰富了增强现实场景中的融合能力，且可提升用户在增强现实场景中的整体沉浸感。
[0004]一方面，本申请实施例提供了一种音频处理方法，该方法包括：获取增强现实场景中的真实音频信号和虚拟音频信号，真实音频信号是指在增强现实场景所涉及的现实环境中采集到的音频信号，虚拟音频信号是指在增强现实场景所涉及的虚拟环境中构造出的音频信号；确定针对增强现实场景所配置的多种混音模式，并从多种混音模式中选取一个混音模式作为目标混音模式；其中，不同混音模式用于实现真实音频信号和虚拟音频信号之间的不同混音效果；按照目标混音模式，对真实音频信号和虚拟音频信号进行混音处理，得到混音信号；以及，输出混音信号。
[0005]一方面，本申请实施例提供了一种音频处理装置，该装置包括：获取单元，用于获取增强现实场景中的真实音频信号和虚拟音频信号，真实音频信号是指在增强现实场景所涉及的现实环境中采集到的音频信号，虚拟音频信号是指在增强现实场景所涉及的虚拟环境中构造出的音频信号；处理单元，用于确定针对增强现实场景所配置的多种混音模式，并从多种混音模式中选取一个混音模式作为目标混音模式；其中，不同混音模式用于实现真实音频信号和虚拟音频信号之间的不同混音效果；处理单元，还用于按照目标混音模式，对真实音频信号和虚拟音频信号进行混音处理，得到混音信号；以及，
输出单元，用于输出混音信号。
[0006]一方面，本申请实施例提供一种计算机设备，该计算机设备包括：处理器，适用于执行计算机程序；计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时，实现如上述音频处理方法。
[0007]一方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器加载并执行如上述音频处理方法。
[0008]一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机指令，该计算机程序或计算机指令被处理器执行时实现上述音频处理方法。
[0009]在本申请实施例中，可获取增强现实场景中的真实音频信号和虚拟音频信号，该真实音频信号是指在增强现实场景所涉及的现实环境中采集到的音频信号，该虚拟音频信号是指在增强现实场景所涉及的虚拟环境中构造出的音频信号。然后，可确定针对增强现实场景所配置的多种混音模式，并从多种混音模式中选取一个混音模式作为目标混音模式，其中，不同混音模式可用于实现真实音频信号和虚拟音频信号之间的不同混音效果，从而能够带来不同的听觉体验。通过确定针对增强现实场景的多种混音模式，可为目标混音模式的设置提供多样化的选择，并灵活地设置目标混音模式，从而能够应对需混音真实音频信号和虚拟音频信号的各种场景，也可满足用户的一些个性化的混音需求。接着，可按照目标混音模式，对真实音频信号和虚拟音频信号进行混音处理，得到混音信号，并输出该混音信号。由于目标混音模式可实现真实音频信号和虚拟音频信号之间的相应混音效果，通过在目标混音模式下控制真实音频信号和虚拟音频信号的混音处理，可从听觉维度实现增强现实场景中涉及的现实世界的声音和虚拟世界的声音之间的融合，增加听觉方面对增强现实场景中声音的融合，丰富了增强现实场景中的融合能力，且所得到的混音信号也具备目标混音模式对应的混音效果，最终通过输出混音信号可以使得用户更加直观地感受到增强现实场景中声音融合的效果，增强用户在增强现实场景中的沉浸感。
附图说明
[0010]图1a是本申请实施例提供的一种音频处理系统的架构图；图1b是本申请实施例提供的另一种音频处理系统的架构图；图2是本申请实施例提供的一种音频处理方法的流程示意图；图3是本申请实施例提供的一种音频采集设备的示意图；图4是本申请实施例提供的另一种音频处理方法的流程示意图；图5a是本申请实施例提供的一种设置目标混音模式的场景示意图；图5b是本申请实施例提供的一种对当前音频信号进行分帧的示意图；图5c是本申请实施例提供的一种经过语音有效判别处理前后的音频帧的关系示意图；图5d是本申请实施例提供的一种将音频帧进行划分为音频子块的示意图；图6a是本申请实施例提供的一种音量调节的流程示意图；图6b是本申请实施例提供的一种音频处理流程的示意图；
图7是本申请实施例提供的一种音频处理装置的结构示意图；图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0011]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0012]本申请提出了一种音频处理方法，该音频处理方法可通过从为增强现实场景配置的多种混音模式中选取出目标混音模式，并按照该目标混音模式对增强现实场景中的真实音频信号和虚拟音频信号进行混音处理，得到混音信号，从而实现在听觉方面AR场景中现实世界声音与虚拟世界声音之间的深度融合，丰富了增强现实场景的融合能力。之后，可输出混音信号，该混音信号具有目标混音模式对应的混音效果，在视觉方面融合图像的基础上，增加听觉方面对声音的融合，能够提升增强现实场景的整体氛围感和沉浸感，通过多维度的融合能力，使得增强现实场景的真实感得到进一步增强。
[0013]在本申请实施例中，增强现实(Augmented Reality，AR)场景是一种借助于增强现实技术实现的交互场景。按照交互的内容，该增强现实场景包括但不限于：社交场景、游戏场景、合唱场景及直播场景等等。其中，增强现实(Augmented Reality，AR)技术是一种将虚拟信息与现实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时监测及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频处理方法，其特征在于，包括：获取增强现实场景中的真实音频信号和虚拟音频信号，所述真实音频信号是指在所述增强现实场景所涉及的现实环境中采集到的音频信号，所述虚拟音频信号是指在所述增强现实场景所涉及的虚拟环境中构造出的音频信号；确定针对所述增强现实场景所配置的多种混音模式，并从所述多种混音模式中选取一个混音模式作为目标混音模式；其中，不同混音模式用于实现所述真实音频信号和所述虚拟音频信号之间的不同混音效果；按照所述目标混音模式，对所述真实音频信号和所述虚拟音频信号进行混音处理，得到混音信号；以及，输出所述混音信号。2.如权利要求1所述的方法，其特征在于，所述从所述多种混音模式中选取一个混音模式作为目标混音模式，包括：获取模式配置操作，并根据所述模式配置操作从所述多种混音模式中选取一个混音模式作为目标混音模式；其中，所述模式配置操作包括：针对增强现实应用中所显示的多个模式标识的选择操作，一个模式标识对应一种混音模式；或者，所述模式配置操作包括：通过操控增强现实设备上的物理按键所执行的模式选择操作。3.如权利要求1所述的方法，其特征在于，所述从所述多种混音模式中选取一个混音模式作为目标混音模式，包括：确定所述增强现实场景所涉及的现实环境的地理位置信息，并根据所述地理位置信息确定出所述现实环境所属的环境类型；根据确定出的环境类型对声音的融合需求，从所述多种混音模式中选取一个混音模式作为目标混音模式。4.如权利要求1所述的方法，其特征在于，所述按照所述目标混音模式，对所述真实音频信号和所述虚拟音频信号进行混音处理，得到混音信号，包括：按照所述目标混音模式，分别对所述真实音频信号和所述虚拟音频信号进行音量调节，得到音量调节后的真实音频信号和音量调节后的虚拟音频信号；混合所述音量调节后的真实音频信号以及所述音量调节后的虚拟音频信号，得到混音信号。5.如权利要求4所述的方法，其特征在于，音频信号的音量随着音频信号的幅值变化而发生变化；所述按照所述目标混音模式，分别对所述真实音频信号和所述虚拟音频信号进行音量调节，得到音量调节后的真实音频信号和音量调节后的虚拟音频信号，包括：遍历所述真实音频信号和所述虚拟音频信号，将当前遍历的音频信号作为当前音频信号，获取所述当前音频信号在所述目标混音模式下的幅值约束参数；对所述当前音频信号进行信号电平监测，得到所述当前音频信号的电平描述值；所述当前音频信号的电平描述值用于指示所述当前音频信号的幅值；根据获取到的幅值约束参数和所述当前音频信号的电平描述值，对所述当前音频信号的幅值所需的增益进行控制处理，得到所述当前音频信号的幅值增益；采用所述当前音频信号的幅值增益对所述当前音频信号的幅值进行增益处理，以调节所述当前音频信号的音量，得到音量调节后的当前音频信号。
6.如权利要求5所述的方法，其特征在于，所述获取所述当前音频信号在所述目标混音模式下的幅值约束参数，包括：获取预设映射表；所述预设映射表中包括多个模式标识以及每个模式标识所映射的参数组；任一模式标识所映射的参数组包括：虚拟音频信号在相应模式标识所标识的混音模式下的第一幅值约束参数，以及真实音频信号在相应模式标识所标识的混音模式下的第二幅值约束参数；按照所述目标混音模式的模式标识查询所述预设映射表，得到所述目标混音模式的模式标识所映射的参数组；若所述当前音频信号为所述虚拟音频信号，则从得到的参数组中选取第一幅值约束参数，作为所述当前音频信号在所述目标混音模式下的幅值约束参数；若所述当前音频信号为所述真实音频信号，则从得到的参数组中选取第二幅值约束参数，作为所述当前音频信号在所述目标混音模式下的幅值约束参数。7.如权利要求5所述的方法，其特征在于，所述多种混音模式包括以下至少两种：强现实混音模式、强虚拟混音模式、对等混音模式、关闭现实混音模式以及关闭虚拟混音模式；任一音频信号的幅值约束参数，与相应音频信号在进行音量调节后所具有的音量正相关；在所述强现实混音模式下，真实音频信号的幅值约束参数和虚拟音频信号的幅值约束参数均为有效值，且真实音频信号的幅值约束参数大于虚拟音频信号的幅值约束参数；在所述强虚拟混音模式下，真实音频信号的幅值约束参数和虚拟音频信号的幅值约束参数均为有效值，且虚拟音频信号的幅值约束参数大于真实音频信号的幅值约束参数；在所述对等混音模式下，真实音频信号的幅值约束参数和虚拟音频信号的幅值约束参数均为有效值，且虚拟音频信号的幅值约束参数等于真实音频信号的幅值约束参数；在所述关闭现实混音模式下，真实音频信号的幅值约束参数为无效值，且虚拟音频信号的幅值约束参数为有效值；在所述关闭虚拟混音模式下，真实音频信号的幅值约束参数为有效值，且虚拟音频信号的幅值约束参数为无效值。8.如权利要求5所述的方法，其特征在于，所述对所述当前音频信号进行信号电平监测，得到所述当前音频信号的电平描述值，包括：对所述当前音频信号进行分帧处理，得到所述当前音频信号的K个音频帧，K为大于1的整数；遍历所述K个音频帧，确定当前遍历的第i个音频帧，i∈[1，K]；对所述第i个音频帧进行信号电平监测，得到所述第i个音频帧的电平描述值；或者，对所述第i个音频帧进行语音有效判别处理，并在判定所述第i个音频帧为有效音频帧的情况下，对所述第i个音频帧进行信号电平监测，得到所述第i个音频帧的电平描述值；继续遍历，直至所述K个音频帧均被遍历，得到所述当前音频信号的电平描述值；所述当前音频信号的电平描述值包括：监测得到的各个音频帧的电平描述值。9.如权利要求8所述的方法，其特征在于，每个音频帧包括多个采样点以及各个采样点的幅值；所述对所述第i个音频帧进行信号电平监测，得到所述第i个音频帧的电平描述值，包括：对所述第i个音频帧中的各个采样点的幅值进行均值计算，得到所述第i个音频帧的信
号幅值均值；对所述第i个音频帧的信号幅值均值进行平滑处理，得到所述第i个音频帧的电平描述值。10.如权利要求9所述的方法，其特征在于，所述对所述第i个音频帧的信号幅值均值进行平滑处理，得到所述第i个音频帧的电平描述值，包括：在所述K个音频帧中查找所述第i个音频帧的参考音频帧，其中，若所述第i个音频帧未被进行语音有效判别处理，则所述参考音频帧包括第i
‑
1个音频帧；若所述第i个音频帧被进行了语音有效判别处理，则所述参考音频帧包括：位于所述第i个音频帧之前，且离所述第i个音频帧最近的有效音频帧；若未查找到所述参考音频帧，则将所述第i个音频帧的信号幅值均值作为所述第i个音频帧的电平描述值；若查找到所述参考音频帧，则采用所述参考音频帧的电平描述值，对所述第i个音频帧的信号幅值均值进行平滑处理，得到所述第i个音频帧的电平描述值。11.如权利要求5所述的方法，其特征在于，所述当前音频信号被分帧成K个音频帧；所述当...

【专利技术属性】
技术研发人员：梁俊斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：