音频信号渲染方法和装置制造方法及图纸

技术编号:32346124 阅读:14 留言:0更新日期:2022-02-20 02:02
本申请提供一种音频信号渲染方法和装置。该音频信号渲染方法可以包括:一种音频信号渲染方法,其特征在于,包括:通过解码接收的码流获取待渲染音频信号;获取控制信息,该控制信息用于指示内容描述元数据、渲染格式标志信息、扬声器配置信息、应用场景信息、跟踪信息、姿态信息或位置信息中至少一项;根据所述控制信息对所述待渲染音频信号进行渲染,以获取渲染后的音频信号。本申请实施例可以提升渲染效果。果。果。

【技术实现步骤摘要】
音频信号渲染方法和装置


[0001]本申请涉及音频处理技术,尤其涉及一种音频信号渲染方法和装置。

技术介绍

[0002]随着多媒体技术的不断发展,音频在多媒体通信、消费电子、虚拟现实、人机交互等领域得到了广泛应用。用户对音频质量的需求越来越高。三维音频(3D audio)具有接近真实的空间感,能够给用户提供较好的浸入式体验,成为多媒体技术的新趋势。
[0003]以虚拟现实(Virtual Reality,VR)为例,一个具有沉浸感的VR系统,不仅需要震撼的视觉效果,还需要逼真的听觉效果配合,视听的融合能够大大提高虚拟现实的体验感,而虚拟现实的音频的核心是三维音频技术。基于声道,基于对象,基于场景是三维音频技术中比较常见的三种格式。通过对解码得到的基于声道,基于对象和基于场景的音频信号进行渲染,可以实现音频信号重放,以达到真实感和沉浸感的听觉体验。
[0004]其中,如何提升音频信号的渲染效果,成为一个亟需解决的技术问题。

技术实现思路

[0005]本申请提供一种音频信号渲染方法和装置,有益于提升音频信号的渲染效果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频信号渲染方法,其特征在于,包括:通过解码接收的码流获取待渲染音频信号;获取控制信息,所述控制信息用于指示内容描述元数据、渲染格式标志信息、扬声器配置信息、应用场景信息、跟踪信息、姿态信息或位置信息中至少一项;根据所述控制信息对所述待渲染音频信号进行渲染,以获取渲染后的音频信号;其中,所述内容描述元数据用于指示所述待渲染音频信号的信号格式,所述信号格式包括基于声道的信号格式、基于场景的信号格式或基于对象的信号格式中至少一项;所述渲染格式标志信息用于指示音频信号渲染格式,所述音频信号渲染格式包括扬声器渲染或双耳渲染;所述扬声器配置信息用于指示扬声器的布局;所述应用场景信息用于指示渲染器场景描述信息;所述跟踪信息用于指示渲染后的音频信号是否随着收听者的头部转动变化;所述姿态信息用于指示所述头部转动的方位和幅度;所述位置信息用于指示所述收听者的身体移动的方位和幅度。2.根据权利要求1所述的方法,其特征在于,所述根据所述控制信息对所述待渲染音频信号进行渲染,包括以下至少一项:根据所述控制信息对所述待渲染音频信号进行渲染前处理;或者,根据所述控制信息对所述待渲染音频信号进行信号格式转换;或者,根据所述控制信息对所述待渲染音频信号进行本地混响处理;或者,根据所述控制信息对所述待渲染音频信号进行群组处理;或者,根据所述控制信息对所述待渲染音频信号进行动态范围压缩;或者,根据所述控制信息对所述待渲染音频信号进行双耳渲染;或者,根据所述控制信息对所述待渲染音频信号进行扬声器渲染。3.根据权利要求2所述的方法,其特征在于,所述待渲染音频信号包括基于声道的音频信号,基于对象的音频信号或基于场景的音频信号中的至少一个;所述根据所述控制信息对所述待渲染音频信号进行渲染前处理,以获取渲染后的音频信号,包括:通过解码所述码流获取第一混响信息,其中,混响信息包括混响输出响度信息、直达声与早期反射声的时间差信息、混响持续时间信息、房间形状和尺寸信息、或声音散射度信息中至少一项;根据所述控制信息,对所述待渲染音频信号进行控制处理,以获取控制处理后音频信号,所述控制处理包括对所述基于声道的音频信号进行初始的三自由度3DoF处理、对所述基于对象的音频信号进行变换处理或对所述基于场景的音频信号进行初始的3DoF处理中至少一项;根据所述第一混响信息对所述控制处理后音频信号进行混响处理,以获取第一音频信号;对所述第一音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号。4.根据权利要求3所述的方法,其特征在于,所述对所述第一音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号,包括:根据所述控制信息对所述第一音频信号进行信号格式转换,获取第二音频信号;对所述第二音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号;
其中,所述信号格式转换包括以下至少一项:将所述第一音频信号中的基于声道的音频信号转换为基于场景或基于对象的音频信号;或者,将所述第一音频信号中的基于场景的音频信号转换为基于声道或基于对象的音频信号;或者,将所述第一音频信号中的基于对象的音频信号转换为基于声道或基于场景的音频信号。5.根据权利要求4所述的方法,其特征在于,所述根据所述控制信息对所述第一音频信号进行信号格式转换,包括:根据所述控制信息、所述第一音频信号的信号格式以及终端设备的处理性能,对所述第一音频信号进行信号格式转换。6.根据权利要求4所述的方法,其特征在于,所述对所述第二音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号,包括:获取第二混响信息,所述第二混响信息为所述渲染后的音频信号所在的场景的混响信息;根据所述控制信息和所述第二混响信息对所述第二音频信号进行本地混响处理,以获取第三音频信号;对所述第三音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号。7.根据权利要求6所述的方法,其特征在于,所述根据所述控制信息和所述第二混响信息对所述第二音频信号进行本地混响处理,以获取第三音频信号,包括:根据所述控制信息对所述第二音频信号中不同信号格式的音频信号分别进行聚类处理,获取基于声道的群信号、基于场景的群信号或基于对象的群信号中至少一项;根据所述第二混响信息,对所述基于声道的群信号、所述基于场景的群信号或所述基于对象的群信号中至少一项进行本地混响处理,以获取所述第三音频信号。8.根据权利要求6或7所述的方法,其特征在于,当所述根据所述控制信息对所述待渲染音频信号进行渲染,还包括根据所述控制信息对所述待渲染音频信号进行群组处理时,所述对所述第三音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号,包括:根据所述控制信息对所述第三音频信号中每一种信号格式的群信号进行3DoF处理,或,3DoF+处理,或六自由度6DoF处理,以获取第四音频信号;对所述第四音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号。9.根据权利要求8所述的方法,其特征在于,所述对所述第四音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号,包括:根据所述控制信息对所述第四音频信号进行动态范围压缩,获取第五音频信号;对所述第五音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号。10.根据权利要求1所述的方法,其特征在于,所述根据所述控制信息对所述待渲染音频信号进行渲染,以获取渲染后的音频信号,包括:根据所述控制信息对所述待渲染音频信号进行信号格式转换,获取第六音频信号;对所述第六音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号;其中,所述信号格式转换包括以下至少一项:将所述待渲染音频信号中的基于声道的音频信号转换为基于场景或基于对象的音频信号;或者,将所述待渲染音频信号中的基于场景的音频信号转换为基于声道或基于对象的音频信号;或者,将所述待渲染音频信号中
的基于对象的音频信号转换为基于声道或基于场景的音频信号。11.根据权利要求10所述的方法,其特征在于,所述根据所述控制信息对所述待渲染音频信号进行信号格式转换,包括:根据所述控制信息、所述待渲染音频信号的信号格式以及终端设备的处理性能,对所述待渲染音频信号进行信号格式转换。12.根据权利要求1所述的方法,其特征在于,所述根据所述控制信息对所述待渲染音频信号进行渲染,以获取渲染后的音频信号,包括:获取第二混响信息,所述第二混响信息为所述渲染后的音频信号所在的场景的混响信息,所述第二混响信息包括第二混响输出响度信息、第二直达声与早期反射声的时间差信息、第二混响持续时间信息、第二房间形状和尺寸信息、或第二声音散射度信息中至少一项;根据所述控制信息和所述第二混响信息对所述待渲染音频信号进行本地混响处理,以获取第七音频信号;对所述第七音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号。13.根据权利要求1所述的方法,其特征在于,所述根据所述控制信息对所述待渲染音频信号进行渲染,以获取渲染后的音频信号,包括:根据所述控制信息对所述待渲染音频信号中每一种信号格式的音频信号进行实时的3DoF处理,或,3DoF+处理,或六自由度6DoF处理,获取第八音频信号;对所述第八音频信号进行双耳渲染或扬声器渲染,以获取所述渲染后的音频信号。14.根据权利要求1所述的方法,其特征在于,所述根据所述控制信息对所述待渲染音频信号进行渲染,以获取渲染...

【专利技术属性】
技术研发人员:王宾加文
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1