使用相位响应特征来双耳渲染的音频信号处理方法和装置制造方法及图纸

本公开涉及一种使用相位响应特征来双耳渲染的音频信号处理方法和装置。公开的是一种音频信号处理设备，该音频信号处理设备包括用于输出基于输入音频信号而生成的输出音频信号的处理器。该处理器可以被配置为基于与输入音频信号相对应的虚拟声源的位置，从包括与相对于收听者的每个具体位置相对应的头部相关传递函数(HRTF)的传递函数的第一集合获得包括第一同侧HRTF和第一对侧HRTF的第一HRTF对，以及通过执行基于第一HRTF对来双耳渲染该输入音频信号，从而生成输出音频信号。

An Audio Signal Processing Method and Device for Biaural Rendering Using Phase Response Characteristics

【技术实现步骤摘要】
使用相位响应特征来双耳渲染的音频信号处理方法和装置
本公开涉及一种用于有效地再现音频信号的信号处理方法和设备，并且更具体地说，涉及一种用于在头戴式显示器(HMD)中提供交互式和沉浸式三维音频信号的信号处理方法和设备。
技术介绍
双耳渲染技术基本上是在头戴式显示器(HMD)设备中提供沉浸式和交互式音频所必需的。双耳渲染表示对3D音频进行建模，这提供将给出存在于三维空间中的感觉的声音提供到要递送给人类的耳朵的信号中。收听者可以通过头戴式耳机、耳机等从双耳渲染的2声道音频输出信号体验到三个维度的感觉。双耳渲染的具体原理被描述如下。人类通过两只耳朵收听声音，并且根据声音辨识声源的位置和方向。因此，如果可以将3D音频建模到要递送给人类的两只耳朵的音频信号中，则可以在没有大量扬声器的情况下通过2声道音频输出来再现3D音频的三个维度。这里，当在要双耳渲染的音频信号中包括的声道的数目或目标增加时，可以增加对双耳渲染需要的计算的量和功耗。因此，在计算量和功耗方面限制的移动设备中要求用于对输入音频信号有效地执行双耳渲染的技术。此外，由于有限的存储器容量和测量过程中的约束，可以由音频信号处理设备获得的头部相关传输函数(HRTF)的数目可以是有限的。这可能引起音频信号处理设备的声音定位性能的劣化。因此，可能要求音频信号处理设备针对输入HRTF的附加处理，以增加正在三维空间上再现的音频信号的通信分辨率。此外，虚拟现实中的双耳渲染的音频信号可以与附加信号组合以改进可再现性。在这种情况下，当音频信号处理设备在时域中合成经双耳渲染的音频信号和附加信号时，输出音频信号的声音质量可以由于梳状滤波效果而劣化。这是因为音色可能由于双耳渲染和附加信号的不同延迟而失真。另外，当音频信号处理设备在频域中合成双耳渲染的音频信号和附加信号时，如与仅使用双耳渲染的情况相比较，要求附加的计算量。因此需要用于保存输入音频信号的音色同时减少进一步处理和合成中的计算量的技术。
技术实现思路
技术问题本公开的实施例的目的是为了在通过基于多个滤波器双耳渲染输入音频信号来生成输出音频信号时减少由于梳状滤波效果而导致的音色的失真。技术方案根据本公开的实施例的音频信号处理设备包括用于输出基于输入音频信号而生成的输出音频信号的处理器。处理器可以基于与输入音频信号相对应的虚拟声源的位置，从包括与相对于收听者的每个具体位置相对应的头部相关传递函数(HRTF)的传递函数的第一集合获得包括第一同侧HRTF和第一对侧HRTF的第一HRTF对，以及通过执行基于该第一HRTF对来双耳渲染输入音频信号，从而生成输出音频信号，并且其中，不管多个同侧HRTF中的每个的位置如何，在传递函数的第一集合中包括的多个同侧HRTF中的每个在频域中的相位响应都可以是相同的。第一同侧HRTF的相位响应可以是线性相位响应。可以基于与第一同侧HRTF的经修改的相位响应相对应的同侧组延迟来确定与第一对侧HRTF的相位响应相对应的对侧组延迟，并且第一对侧HRTF的相位响应可以是线性相位响应。对侧组延迟可以是通过使用相对于同侧组延迟的耳间时间差(ITD)信息确定的值。ITD信息可以是基于所测量的HRTF对而获得的值，并且所测量的HRTF对与虚拟声源相对于收听者的位置相对应。对侧组延迟可以是相对于同侧组延迟通过使用收听者的头部建模信息确定的值。同侧组延迟和对侧组延迟是根据时域中的采样频率的样本的整数倍。处理器可以被配置为在时域中通过分别基于对侧组延迟和同侧组延迟使输入音频信号延迟来生成输出音频信号。处理器可以被配置为在时域中基于相位响应修改的第一HRTF对和附加音频信号生成最终输出音频信号，并且输出最终输出音频信号。附加音频信号的同侧组延迟可以与第一同侧HRTF组延迟的同侧组延迟相同并且附加音频信号的对侧组延迟可以与第一对侧HRTF的对侧组延迟相同。处理器可以被配置为根据虚拟声源相对于收听者的位置来获得平移增益，基于该平移增益对输入音频信号进行滤波，并且基于第一同侧组延迟的同侧组延迟和第一对侧组延迟的对侧组延迟使经滤波的输入音频信号延迟，以生成附加音频信号。处理器可以被配置为通过基于第一HRTF对来双耳渲染输入音频信号，从而生成输出信号，通过基于包括同侧附加滤波器和对侧附加滤波器的附加滤波器对来对输入音频信号进行滤波，从而生成附加音频信号，并且通过在时域中混合输出音频信号和附加音频信号来生成最终输出音频信号。同侧附加滤波器的相位响应可以与第一同侧HRTF的相位响应相同，并且对侧附加滤波器的相位响应可以与第一对侧HRTF的相位响应相同。附加滤波器对可以是基于根据虚拟声源相对于收听者的位置的平移增益而生成的滤波器，并且同侧附加滤波器和对侧附加滤波器中的每个的频率响应的幅度分量可以是恒定的。附加滤波器对可以是基于由虚拟声源建模的目标的大小和从收听者到虚拟声源的距离而生成的滤波器。不管与多个HRTF中的每个相对应的位置如何，在传递函数的第一集合中包括的多个HRTF中的每个在频域中的相位响应都可以是彼此相同的。处理器可以被配置为在虚拟声源的位置可以是除与多个HRTF中的每个相对应的位置以外的位置时基于至少两个HRTF对获得第一HRTF对。该至少两个HRTF对可以基于虚拟声源的位置从传递函数的第一集合获得。处理器可以被配置为通过在时域中内插至少两个HRTF对来获得第一HRTF对。处理器可以被配置成基于虚拟声源的位置从除传递函数的第一集合以外的传递函数的第二集合获得包括第二同侧HRTF和第二对侧HRTF的第二HRTF对，并且基于第一HRTF对和第二HRTF对生成输出音频信号。第二同侧HRTF的相位响应可以与第一同侧HRTF的相位响应相同，并且第二对侧HRTF的相位响应可以与第一对侧HRTF的相位响应相同。一种用于音频信号处理设备输出基于输入音频信号而生成的输出音频信号的操作方法包括以下步骤：基于与输入音频信号相对应的虚拟声源的位置，从包括与相对于收听者的每个具体位置相对应的头部相关传递函数(HRTF)的传递函数的集合获得包括同侧HRTF和对侧HRTF的HRTF对；以及通过执行基于该HRTF对双耳渲染输入音频信号来生成输出音频信号。不管多个同侧HRTF中的每个的位置如何，在传递函数的集合中包括的多个同侧HRTF中的每个在频域中的相位响应都可以是相同的。根据本公开的实施例的音频信号处理设备包括用于输出基于输入音频信号而生成的输出音频信号的处理器。处理器可以被配置为基于与输入音频信号相对应的虚拟声源的位置从包括与相对于收听者的每个具体位置相对应的头部相关传递函数(HRTF)的传递函数的第一集合获得包括第一同侧HRTF和第一对侧HRTF的第一HRTF对，不管虚拟声源的位置如何，将第一同侧HRTF在频域中的相位响应修改为可以都是相同的具体相位响应，并且通过执行基于可以修改第一同侧HRTF的相位响应的第一HRTF对来双耳渲染输入音频信号，从而生成输出音频信号。处理器可以被配置为基于与第一同侧HRTF在时域中的经修改的相位响应相对应的同侧组延迟确定对侧组延迟，基于对侧组延迟修改第一对侧HRTF的相位响应，并且通过基于第一同侧HRTF和第一对侧的相位响应被修改的相位响应修改的第一HRTF对来双耳渲染输入音频信号，从而生成输出音频信号，并本文档来自技高网...

【技术保护点】
1.一种音频信号处理设备，所述音频信号处理设备包括：处理器，所述处理器用于输出基于输入音频信号而生成的输出音频信号，其中，所述处理器被配置为：基于与输入音频信号相对应的虚拟声源的位置，从包括与相对于收听者的每个具体位置相对应的头部相关传递函数(HRTF)的传递函数的第一集合获得包括第一同侧HRTF和第一对侧HRTF的第一HRTF对，并且通过执行基于所述第一HRTF对来双耳渲染所述输入音频信号，生成所述输出音频信号，以及其中，不管所述多个同侧HRTF中的每个的位置如何，在所述传递函数的第一集合中包括的所述多个同侧HRTF中的每个在频域中的相位响应都是相同的。

【技术特征摘要】
2017.12.21 KR 10-2017-0176720;2018.05.02 KR 10-2011.一种音频信号处理设备，所述音频信号处理设备包括：处理器，所述处理器用于输出基于输入音频信号而生成的输出音频信号，其中，所述处理器被配置为：基于与输入音频信号相对应的虚拟声源的位置，从包括与相对于收听者的每个具体位置相对应的头部相关传递函数(HRTF)的传递函数的第一集合获得包括第一同侧HRTF和第一对侧HRTF的第一HRTF对，并且通过执行基于所述第一HRTF对来双耳渲染所述输入音频信号，生成所述输出音频信号，以及其中，不管所述多个同侧HRTF中的每个的位置如何，在所述传递函数的第一集合中包括的所述多个同侧HRTF中的每个在频域中的相位响应都是相同的。2.根据权利要求1所述的音频信号处理设备，其中，所述第一同侧HRTF的相位响应是线性相位响应。3.根据权利要求2所述的音频信号处理设备，其中，与所述第一对侧HRTF的相位响应相对应的对侧组延迟是基于与所述第一同侧HRTF的经修改的相位响应相对应的同侧组延迟而确定的，并且所述第一对侧HRTF的相位响应是线性相位响应。4.根据权利要求3所述的音频信号处理设备，其中，所述对侧组延迟是通过使用相对于所述同侧组延迟的耳间时间差(ITD)信息确定的值。5.根据权利要求4所述的音频信号处理设备，其中，所述ITD信息是基于测量的HRTF对而获得的值，并且所述测量的HRTF对对应于所述虚拟声源相对于所述收听者的位置。6.根据权利要求3所述的音频信号处理设备，其中，所述对侧组延迟是相对于所述同侧组延迟通过使用所述收听者的头部建模信息而确定的值。7.根据权利要求3所述的音频信号处理设备，其中，所述同侧组延迟和所述对侧组延迟是根据所述时域中的采样频率的样本的整数倍。8.根据权利要求7所述的音频信号处理设备，其中，所述处理器被配置为：在所述时域中，通过分别基于所述对侧组延迟和所述同侧组延迟使所述输入音频信号延迟来生成所述输出音频信号。9.根据权利要求3所述的音频信号处理设备，其中，所述处理器被配置为：在所述时域中基于所述相位响应修改的第一HRTF对和附加音频信号来生成最终输出音频信号，并且输出所述最终输出音频信号，以及其中，所述附加音频信号的同侧组延迟与所述第一同侧HRTF组延迟的同侧组延迟相同，并且所述附加音频信号的对侧组延迟与所述第一对侧HRTF的对侧组延迟相同。10.根据权利要求9所述的音频信号处理设备，其中，所述处理器被配置为：根据所述虚拟声源相对于所述收听者的位置来获得平移增益，基于所述平移增益对所述输入音频信号进行滤波，并且基于所述第一同侧组延迟的同侧组延迟和所述第一对侧组延迟的对侧组延迟使经滤波的输入音频信号延迟，以生成所述附加音频信号。11.根据权利要求9所述的音频信号处理设备，其中，所述处理器被配置成：通过基于所述第一HRTF对双耳渲染所述输入音频信号，生成所述输出信号，通过基于包括同侧附加滤波器和对侧附加滤波器的附加滤波器对来对所述输入音频信号进行滤波，生成所述附加音频信号，并且通过在所述时域中混合所述输出音频...

【专利技术属性】
技术研发人员：朴奎泰，徐正勋，田相培，全世云，吴贤午，
申请(专利权)人：高迪音频实验室公司，
类型：发明
国别省市：韩国,KR