一种音频处理方法以及音频处理设备技术

一种音频处理方法以及音频处理设备，用于提高3D空间中虚拟音源的方位定位准确度。方法包括：音频处理设备获取原始音频信号，原始音频信号对应的音源位置参数以及四个扬声器的位置参数(201)；音频处理设备根据音源位置参数处理原始音频信号得到目标双声道音频信号(202)；音频处理设备根据四个扬声器的位置参数和音源位置参数处理目标双声道音频信号得到四声道音频信号(203)；音频处理设备将四声道音频信号发送给四个扬声器进行播放(204)。

An audio processing method and audio processing equipment

【技术实现步骤摘要】
【国外来华专利技术】一种音频处理方法以及音频处理设备
本申请实施例涉及通信领域，尤其涉及一种音频处理方法以及音频处理设备。
技术介绍
当前虚拟现实领域研究非常广泛，其中虚拟音频方面的体验也越来越被重视。虚拟音频技术能够提高用户在虚拟现实场景中的体验，增强真实感和沉浸感。在虚拟音频技术中，除了要对虚拟环境的混响效果进行渲染之外，最重要的基础需求是能够对虚拟音源在三维(3dimension，3D)空间中的方位进行准确模拟。目前主流的3D音频技术通常使用左右双声道耳机，根据头部跟踪或者虚拟场景设定的声源位置得到声源的方位信息选取对应的头相关传递函数(head related transfer function，HRTF)数据，然后再根据时域卷积等价于频域卷积的原理，将HRTF数据与输入的时域音频信号的快速傅里叶变换FFT的变换结果相乘得到最终音频信号。在这种方式中，仅参考声源的方位信息，并根据声源的方位信息对应的HRTF数据计算得到最终的音频信号，而在实际应用中在对每个个体选取HRTF数据进行计算时会造成声音方向发生畸变，因此仅依靠声源的方位信息对于音源在3D空间的方位定位不准确。
技术实现思路
本申请实施例提供了一种音频处理方法以及音频处理设备，用于提高3D空间中虚拟音源的方位定位准确度。第一方面，本申请实施例提供一种音频处理方法，包括：该音频播放环境中包括音频处理设备和四个扬声器；设定该四个扬声器所处的平面为目标平面，该四个扬声器构成四边形，其中，该第一扬声器位于该第四扬声器的对侧，该第二扬声器位于该第三扬声器的对侧，即该四个扬声器的位置参数可以如下：该第一扬声器与该第二扬声器位于该目标平面的前方，该第三扬声器与该第四扬声器位于该目标平面的后方，该第一扬声器与该第三扬声器位于该目标平面的左方，该第二扬声器与该第四扬声器位于该目标平面的右方；该音频处理设备确定该四个扬声器的位置参数。然后在该音频处理设备在接收到原始音频信号的时候，同时确定该原始音频信号的音源位置参数。这时该音频处理设备根据该原始音频信号的音源位置参处理该原始音频信号得到目标双声道音频信号；然后该音频处理设备再根据该四个扬声器的位置参数和该音源位置参数处理该目标双声道音频信号得到四声道音频信号，该四声道音频信号与该四个扬声器一一对应；最后该音频处理设备将该四声道音频信号发送给该四个扬声器进行播放。本申请实施例中，该目标双声道音频信号包括左声道音频信号和右声道音频信号，该四声道音频信号包括左前方音频信号，右前方音频信号，左后方音频信号以及右后方音频信号。该目标双声道音频信号的时延用于指示该音源位置参数指示的音源的左右方位，该目标双声道音频信号的频域特征用于指示该音源的上下方位；该四声道音频信号的振幅用于指示该音源的前后方位，该四声道音频信号的时延用于指示该音源的左右方位，该四声道音频信号的频域特征用于指示该音源的上下方位。其中该目标双声道音频信号的时延为其左声道音频信号与右声道音频信号的时延；该四声道音频信号的时延指左前方音频信号与右前方音频信号的时延以及左后方音频信号与右后方音频信号的时延，该目标双声道音频信号与该四声道音频信号的振幅为各路信号的波形振幅，该目标双声道音频信号与该四声道音频信号的频域特征为各路信号的频率特征和幅度特征。本申请实施例提供的技术方案中，该音频处理设备在模拟该原始音频信号的音源位置的方位信息时，将该四个扬声器的位置参数同时进行考虑，并对该原始音频信号的音源位置的前后方位进行模拟，从而保证了该音频处理设备在确定该原始音频信号的音源位置的方位信息时更精确。可选的，该音频处理设备在根据该音源位置参数对该原始音频信号进行处理时，该音频处理设备可以具体采用如下方案：首先，该音频处理设备根据该原始音频信号，得到该原始音频信号对应的低频信号和该原始音频信号对应的高频信号；同时该音频处理设备还可以根据该原始音频信号的音源位置参数从已保存的HRTF数据库中确定与该音源位置参数相匹配的目标HRTF；然后该音频处理设备将该低频信号与该目标HRTF进行卷积得到第一双声道音频信号；同时该音频处理设备获取该音源位置参数中的高度参数对应的高度特征响应；然后该音频处理设备将该高频信号与该高度特征响应进行卷积得到目标音频信号；同时该音频处理设备根据该音源位置参数指示的音源位置通过刚球模型计算得到该音源位置到左耳位置的频域响应以及该音源位置到右耳位置的频域响应；该音频处理设备再将该频域响应根据逆快速傅里叶变换(inverse fast fourier transfer，IFFT)得到时域响应；该音频处理设备再将该目标音频信号的时域响应与该高频信号进行卷积得到第二双声道音频信号；最后该音频信号将该第一双声道音频信号与该第二双声道音频信号合并得到该目标双声道音频信号。本申请实施例提供的技术方案中，该左耳位置为位于第一扬声器与第三扬声器之间的位置，该右耳位置为位于第二扬声器与第四扬声器之间的位置，该音源位置根据该音源位置参数确定，该四个扬声器构成四边形，其中，该第一扬声器位于该第四扬声器的对侧，该第二扬声器位于该第三扬声器的对侧。本实施例中，该音频处理设备还可以通过低通滤波得到该原始音频信号的低频信号，通过高通滤波得到该原始音频信号的高频信号。本实施例中该音频处理设备获取该原始音频信号对应的低频信号和高频信号的方法很多，具体方式，此处不做限定。根据上述方案，本申请实施例中，该音频处理设备获取该音源位置参数中的高度参数对应的高度特征响应时可以采用如下方案：若该音源位置参数指示该音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧，则该音频处理设备根据第一公式计算该高度特征响应；若该音源位置参数指示指示该音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧，则该音频处理设备根据第二公式计算该高度特征响应；其中，该第一公式为：该第二公式为：其中，该θ为该音源位置相对于该水平面的高度信息，该HF_elve为该音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧时该音源位置对应的高度特征响应，该HB_elve为该音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧时该音源位置对应的高度特征响应，该HRTF(θ,0)为仰角为θ，方位角为0度对应的HRTF数据，该HRTF(0,0)为仰角为0度，方位角为0度对应的正前方HRTF数据，该HRTF(θ,180)为仰角为θ，方位角为180度对应的HRTF数据，该HRTF(0,180)为仰角为0度，方位角为180度对应的正后方HRTF数据。本申请实施例提供的技术方案中，该HF_elve也可以为该音源位置距离该第一中点的距离小于该音源位置距离该第二中点的距离时该音源位置对应的高度特征响应，该HB_elve为该音源位置距离第一中点的距离大于该音源位置距离第二中点的距离时该音源位置对应的高度特征响应，该第一中点为该第一扬声器与该第二扬声器之间的中点，该第二中点为该第三扬声器与该第四扬声器之间的本文档来自技高网...

【技术保护点】
一种音频处理方法，其特征在于，包括：/n音频处理设备获取原始音频信号，所述原始音频信号对应的音源位置参数以及四个扬声器的位置参数；/n所述音频处理设备根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号；/n所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号，所述四声道音频信号与所述四个扬声器一一对应，所述四个扬声器用于播放所述四声道音频信号中对应的声道信号。/n

【技术特征摘要】
【国外来华专利技术】一种音频处理方法，其特征在于，包括：
音频处理设备获取原始音频信号，所述原始音频信号对应的音源位置参数以及四个扬声器的位置参数；
所述音频处理设备根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号；
所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号，所述四声道音频信号与所述四个扬声器一一对应，所述四个扬声器用于播放所述四声道音频信号中对应的声道信号。


根据权利要求1所述的方法，其特征在于，所述音频处理设备根据所述音源位置参数处理所述原始音频信号得到目标双声道音频信号包括：
所述音频处理设备根据所述原始音频信号，得到所述原始音频信号对应的低频信号和所述原始音频信号对应的高频信号；
所述音频处理设备将所述低频信号与目标头相关传递函数HRTF进行卷积得到第一双声道音频信号，所述目标HRTF为所述音源位置参数对应的头相关传递函数HRTF；
所述音频处理设备获取所述音源位置参数中的高度参数对应的高度特征响应；
所述音频处理设备将所述高频信号与所述高度特征响应进行卷积得到目标音频信号；
所述音频处理设备将所述目标音频信号分别与音源位置至左耳位置的时域响应以及所述音源位置至右耳位置的时域响应进行卷积得到第二双声道音频信号，所述时域响应由所述音频处理设备根据所述音源位置利用刚球模型获得，所述左耳位置为位于第一扬声器与第三扬声器之间的位置，所述右耳位置为位于第二扬声器与第四扬声器之间的位置，所述音源位置根据所述音源位置参数确定，所述四个扬声器构成四边形，其中，所述第一扬声器与所述第四扬声器的连线为所述四边形的对角线，所述第二扬声器与所述第三扬声器的连线为所述四边形的对角线；
所述音频处理设备将所述第一双声道音频信号与所述第二双声道音频信号合并得到所述目标双声道音频信号。


根据权利要求2所述的方法，其特征在于，所述高度参数包括用于指示所述音源位置相对于水平面的高度信息，所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面，所述目标平面为所述四个扬声器所在的平面，所述音频处理设备获取所述音源位置参数中的高度参数对应的高度特征响应包括：
若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧，则所述音频处理设备根据第一公式计算所述高度特征响应；
若所述音源位置参数指示所述音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的另一侧，则所述音频处理设备根据第二公式计算所述高度特征响应；
其中，所述第一公式为：
所述第二公式为：
其中，所述θ为所述音源位置相对于所述水平面的高度信息，所述HF_elve为所述音源位置位于所述四个扬声器中所述第一扬声器与所述第二扬声器的一侧时所述音源位置对应的高度特征响应，所述HB_elve为所述音源位置位于所述四个扬声器中所述第三扬声器与所述第四扬声器的一侧时所述音源位置对应的高度特征响应，所述HRTF(θ,0)为仰角为θ，方位角为0度对应的HRTF数据，所述HRTF(0,0)为仰角为0度，方位角为0度对应的正前方HRTF数据，所述HRTF(θ,180)为仰角为θ，方位角为180度对应的HRTF数据，所述HRTF(0,180)为仰角为0度，方位角为180度对应的正后方HRTF数据。


根据权利要求2或3所述的方法，其特征在于，所述时域响应由所述音频处理设备根据所述音源位置利用刚球模型获得包括：
所述时域响应由所述音源位置至所述左耳位置的频域响应以及所述音源位置至所述右耳位置的频域响应经变换得到，所述频域响应由所述音频处理设备根据所述音源位置利用所述刚球模型得到，其中所述刚球模型包括：



其中，所述所述
其中所述为所述音源位置至所述左耳位置的频域响应，所述为所述音源位置至所述右耳位置的频域响应，所述ρ为归一化的所述刚球模型对应的球心位置至所述音源位置的距离，所述r为所述球心位置到所述音源位置的距离，所述a为所述刚球模型对应的球体的半径，所述μ为归一化的角频率，所述f为预设频率，所述c为声音传播速度，所述θL为所述球心位置与所述音源位置映射在所述水平面的位置的连线与所述球心位置与所述左耳位置的连线的夹角，所述θR为所述球心位置与所述音源位置映射在所述水平面的位置的连线与所述球心位置到所述右耳位置的连线的夹角，所述球体根据所述四个扬声器的位置参数确定，所述水平面为经过所述左耳位置与所述右耳位置的连线且平行于目标平面的平面，所述目标平面为所述四个扬声器所在的平面。


根据权利要求1至4中任一项所述的方法，其特征在于，所述四声道音频信号包括左前方音频信号，右前方音频信号，左后方音频信号和右后方音频信号，所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到用于四声道音频信号包括：
所述音频处理设备根据所述音源位置参数和所述四个扬声器的位置参数确定所述四个扬声器中所述第一扬声器和所述第二扬声器的第一权重值以及所述四个扬声器中所述第三扬声器和第四扬声器的第二权重值；所述音频处理设备根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左前方音频信号，根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右前方音频信号，根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左后方音频信号，根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右后方音频信号。


根据权利要求5所述的方法，其特征在于，所述音频处理设备根据所述音源位置参

数和所述四个扬声器的位置参数确定所述四个扬声器中所述第一扬声器和所述第二扬声器的第一权重值以及所述四个扬声器中所述第三扬声器和第四扬声器的第二权重值包括：
若所述音源位置参数指示所述原始音频信号的音源位置位于目标平面内的第一象限内，则所述音频处理设备确定所述第一权重值为1，所述第二权重值为0，所述目标平面为所述四个扬声器所在的平面；
若所述音源位置参数指示所述原始音频信号的音源位置位于所述目标平面内的第二象限内，则所述音频处理设备确定所述第一权重值为0，所述第二权重值为1；
若所述音源位置参数指示所述原始音频信号的音源位置的位于所述目标平面内的第三象限内，则所述音频处理设备根据第一夹角和第二夹角确定所述第一权重值和所述第二权重值，所述第一夹角为所述音源位置与中心位置映射在所述目标平面的位置的连线与前平面的夹角，所述第二夹角为所述第一扬声器与所述第四扬声器的连线与所述前平面的夹角或者所述第二夹角为所述第二扬声器与所述第三扬声器的连线与所述前平面的夹角，所述中心位置为所述第二扬声器与所述第三扬声器的连线与所述第一扬声器与所述第四扬声器的连线的交点，所述前平面为通过所述中心位置且垂直于所述目标平面的平面；
其中，所述目标平面被所述第一扬声器与所述第四扬声器的连线和所述第二扬声器与所述第三扬声器的连线分成四个象限，所述第一扬声器与所述第二扬声器之间的象限为所述第一象限，所述第三扬声器与所述第四扬声器之间的象限为所述第二象限，所述第一扬声器与所述第三扬声器之间的象限以及所述第二扬声器与所述第四扬声器之间的象限为所述第三象限。


根据权利要求6所述的方法，其特征在于，所述音频处理设备根据第一夹角和第二夹角确定所述第一权重值和所述第二权重值包括：
所述音频处理设备根据所述第一夹角和所述第二夹角利用第三公式计算所述第一权重值和所述第二权重值；
所述第三公式包括：
其中，所述为所述第一夹角，所述为所述第二夹角，所述g1为所述第一权重值，所述g2为所述第二权重值。


根据权利要求5所述的方法，其特征在于，所述音频处理设备根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左前方音频信号，根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右前方音频信号，根据所述第二权重值与所述目标双声道音频信号中的左声道音频信号计算得到所述左后方音频信号，根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号计算得到所述右后方音频信号包括：
所述音频处理设备根据所述第一权重值与所述目标双声道音频信号中的左声道音频信号利用第四公式计算得到所述左前方音频信号，根据所述第一权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右前方音频信号，根据所述第

二权重值与所述目标双声道音频信号中的左声道音频信号利用所述第四公式计算得到所述左后方音频信号，根据所述第二权重值与所述目标双声道音频信号中的右声道音频信号利用所述第四公式计算得到所述右后方音频信号；
其中，所述第四公式包括：



其中，所述FL'为所述左前方音频信号，所述FR'为右前方音频信号，所述BL'为所述左后方音频信号，所述BR'为所述右后方音频信号，所述L为所述目标双声道音频信号中的左声道音频信号，所述R为所述目标双声道音频信号中的右声道音频信号，所述g1为所述第一权重值，所述g2为所述第二权重值。


根据权利要求1至4任一项所述的方法，其特征在于，所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到四声道音频信号包括：
所述音频处理设备根据所述四个扬声器的位置参数和所述音源位置参数处理所述目标双声道音频信号得到中间四声道音频信号；
所述音频处理设备根据所述四个扬声器的位置参数获取所述四个扬声器到左耳位置以及右耳位置的近场补偿响应，所述左耳位置为所述第一扬声器与所述第三扬声器之间的位置，所述右耳位置为所述第二扬声器与所述第四扬声器之间的位置；
所述音频处理设备根据所述中间四声道音频信号和所述近场补偿响应的时域响应得到所述四声道音频信号。


根据权利要求9所述的方法，其特征在于，所述音频处理设备根据所述中间四声道音频信号和所述近场补偿响应的时域响应得到所述四声道音频信号包括：
所述音频处理设备根据所述中间四声道音频信号和所述近场补偿响应的时域响应利用第五公式得到所述四声道音频信号；
所述第五公式为：
FL＝FL′*hFL；
FR＝FR′*hFR；
BL＝BL′*hBL；
BR＝BR′*hBR；
所述FL为左前方音频信号，所述FR为右前方音频信号，所述BL为左后后音频信号，所述BR为右后方音频信号，所述hFL为所述第一扬声器到所述左耳位置所述近场补偿响应的时域响应，所述hFR为所述第二扬声器到所述右耳位置所述近场补偿响应的时域响应，所述hBL为所述第三扬声器到所述左耳位置所述近场补偿响应的时域响应，所述hBR为所述第四扬声器到所述右耳位置所述近场补偿响应的时域响应。


根据权利要求1至10中任一项所述的方法，其特征在于，所述四个扬声器构成四

边形，其中，第一扬声器位于第四扬声器的对侧，第二扬声器位于第三扬声器的对侧，所述四个扬声器的位置参数包括所述第一扬声器的出声口正对所述左耳位置的耳道，所述第一扬声器与所述左耳位置的耳道的水平距离为第一预设值，所述第一扬声器与所述左耳位置的耳道垂直距离为第二预设值；
所述第二扬声器的出声口正对所述右耳位置的耳道，所述第二扬声器与所述右耳位置的耳道的水平距离为所述第一预设值，所述第二扬声器与所述右耳位置的耳道垂直距离为所述第二预设值；
所述第三扬声器的出声口正对所述左耳位置的耳道，所述...

【专利技术属性】
技术研发人员：白鹤群，徐德著，赵翔宇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44