音频生成方法、装置、电子设备及计算机可读存储介质制造方法及图纸

技术编号:35859366 阅读:13 留言:0更新日期:2022-12-07 10:48
本发明专利技术实施例涉及音源定位技术领域,公开了一种音频生成方法,该方法包括:根据虚拟音源的位置及数字分身的位置,得到带有位置效果的第一音频;根据所述数字分身所处的虚拟声学环境,对所述第一音频进行渲染,得到目标音频。通过上述方式,本发明专利技术实施例实现了提升了音源定位的准确性,使用户易产生沉浸感。使用户易产生沉浸感。使用户易产生沉浸感。

【技术实现步骤摘要】
音频生成方法、装置、电子设备及计算机可读存储介质


[0001]本专利技术实施例涉及音源定位
,具体涉及一种音频生成方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]目前,“元宇宙”通常被称为下一代互联网,元宇宙趋势意味着互联网的下一次发展即将到来。在元宇宙中可以将用户真实的外形以及画像映射至虚拟空间中,数字分身可以通过更切实的方式感知现实世界的各个方面,包括社交、娱乐和电子商务。
[0003]然而,专利技术人在实施本专利技术实施例的过程中发现,元宇宙做为新兴技术方向,现有技术中提出了较多的交互方案,同时提出了较多的视觉展示方案,但是却忽视了音频在元宇宙的重要作用。现阶段没有较为成熟的元宇宙音频生成方案,而是和传统游戏制作方案相似,只通过简单音频处理后的音源不能很好的贴合元宇宙的使用场景,音效较差。

技术实现思路

[0004]鉴于上述问题,本专利技术实施例提供了一种音频生成方法,用于解决现有技术中存在的元宇宙场景中音效较差的技术问题。
[0005]根据本专利技术实施例的一个方面,提供了一种音频生成方法,所述方法包括:
[0006]根据虚拟音源的位置及数字分身的位置,得到带有位置效果的第一音频;
[0007]根据所述数字分身所处的虚拟声学环境,对所述第一音频进行渲染,得到目标音频。
[0008]在一种可选的方式中,所述根据虚拟音源的位置及数字分身的位置,得到带有位置效果的第一音频,包括:根据虚拟音源的位置及数字分身的位置,确定所述虚拟音源相对于所述数字分身的方位信息;根据所述数字分身的身体特征及所述方位信息,进行听觉模型渲染,得到带有位置效果的第一音频。
[0009]在一种可选的方式中,所述根据所述数字分身的身体特征及所述方位信息,进行听觉模型渲染,得到带有位置效果的第一音频,包括:获取所述数字分身的听觉模型;根据所述数字分身的身体特征及所述方位信息,以及所述听觉模型,确定所述数字分身对应的目标参数;将所述目标参数与原始音频进行卷积,得到带有位置效果的第一音频。在一种可选的方式中,所述根据所述数字分身的身体特征及所述虚拟音源相对于所述数字分身的方位信息,进行听觉模型渲染,得到带有位置效果的第一音频,包括:获取所述数字分身的听觉模型;所述听觉模型包括所述身体特征及头相关变换函数HRTF参数;所述头相关变换函数参数包括以所述数字分身为中心的多组不同角度下的参数;根据所述数字分身的身体特征及所述方位信息,从所述头相关变换函数参数中确定一组最相似的目标参数;将所述目标参数与原始音频进行卷积,得到带有位置效果的第一音频。
[0010]在一种可选的方式中,所述方位信息为初始方位向量;所述根据所述数字分身的身体特征及所述方位信息,从所述头相关变换函数参数中确定一组最相似的目标参数,包
括:根据所述听觉模型,确定所述数字分身从地面到耳朵中心的高度;根据所述高度及所述初始方位向量,确定所述虚拟音源到所述数字分身的耳朵的实际方位向量;根据所述实际方位向量从所述听觉模型的头相关变换函数参数中确定一组最相似的目标参数。
[0011]在一种可选的方式中,所述获取所述数字分身的听觉模型之前,所述方法还包括:提取用户的身体特征点;将所述用户的身体特征点映射至数字分身中,得到所述数字分身的身体特征;根据所述身体特征点在所述用户360
°
方向音频模拟,计算所述虚拟音源传递到所述数字分身各个方向的实际声音,得到所述数字分身对应的头相关变换函数参数;根据所述数字分身的身体特征和所述头相关变换函数参数,构建所述数字分身的听觉模型。
[0012]在一种可选的方式中,所述听觉模型包括所述身体特征及头相关变换函数参数;所述方位信息为初始方位向量,包括所述音源相对于所述数字分身的方向及距离;所述根据所述数字分身的身体特征及所述方位信息,以及所述听觉模型,确定所述数字分身对应的目标参数,包括:根据所述听觉模型的所述身体特征,确定所述数字分身从地面到耳朵中心的高度;根据所述高度及所述初始方位向量,确定所述虚拟音源到所述数字分身的耳朵的实际方位向量;根据所述实际方位向量从所述听觉模型的头相关变换函数参数中确定一组最相似的参数作为目标参数。
[0013]在一种可选的方式中,所述根据所述数字分身所处的虚拟声学环境,对所述第一音频进行渲染,得到目标音频,包括:根据所述数字分身所处的虚拟声学环境,进行声学环境模拟,得到虚拟声学环境的目标声音反射模式;根据所述目标声音反射模式对所述第一音频进行二次渲染,得到目标音频。
[0014]在一种可选的方式中,所述根据所述数字分身所处的虚拟声学环境,进行声学环境模拟,得到虚拟声学环境的目标声音反射模式,包括:通过终端设备扫描用户周边的声学环境,获取所述虚拟声学环境的特征值;根据所述虚拟声学环境的特征值及所述数字分身的位置,计算环境距离;根据所述环境距离进行声学环境模拟,确定目标声音反射模式。
[0015]在一种可选的方式中,所述目标声音反射模式为所述虚拟声学环境的多个反射模式中的任一个;所示根据所述数字分身所处的虚拟声学环境,进行声学环境模拟,得到虚拟声学环境的目标声音反射模式之前,所述方法还包括:获取与用户不同距离的各个声学环境的各个声学参数;根据各个声学环境与用户的距离以及对应的声学参数,确定所述多个反射模式。
[0016]在一种可选的方式中,所述根据所述目标声音反射模式对所述第一音频进行二次渲染,得到目标音频之后,所述方法还包括:确定所述数字分身和/或所述虚拟音源是否发生移动;当所述数字分身移动和/或所述虚拟音源发生移动时,重新执行所述根据虚拟音源的位置及数字分身的位置,进行听觉模型渲染,得到带有位置效果的第一音频,根据所述数字分身所处的虚拟声学环境,对所述第一音频进行二次渲染,得到目标音频的步骤。
[0017]根据本专利技术实施例的另一方面,提供了一种元宇宙沉浸式音源定位装置,包括:
[0018]第一渲染模块,用于根据虚拟音源的位置及数字分身的位置,得到带有位置效果的第一音频;
[0019]二次渲染模块,用于根据所述数字分身所处的虚拟声学环境,对所述第一音频进行渲染,得到目标音频。
[0020]根据本专利技术实施例的另一方面,提供了一种电子设备,包括:处理器、存储器、通信
接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
[0021]所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如所述的音频生成方法的操作。
[0022]根据本专利技术实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令在电子设备上运行时,使得电子设备执行所述的音频生成方法的操作。
[0023]本专利技术实施例根据虚拟音源的位置及数字分身的位置,得到带有位置效果的第一音频;根据所述数字分身所处的虚拟声学环境,对所述第一音频进行渲染,得到目标音频,能够有效提升元宇宙场景中音频定位的准确性及音频效果的沉浸感。<本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种音频生成方法,其特征在于,所述方法包括:根据虚拟音源的位置及数字分身的位置,得到带有位置效果的第一音频;根据所述数字分身所处的虚拟声学环境,对所述第一音频进行渲染,得到目标音频。2.根据权利要求1所述的方法,其特征在于,所述根据虚拟音源的位置及数字分身的位置,得到带有位置效果的第一音频,包括:根据虚拟音源的位置及数字分身的位置,确定所述虚拟音源相对于所述数字分身的方位信息;根据所述数字分身的身体特征及所述方位信息,进行听觉模型渲染,得到带有位置效果的第一音频。3.根据权利要求2所述的方法,其特征在于,所述根据所述数字分身的身体特征及所述方位信息,进行听觉模型渲染,得到带有位置效果的第一音频,包括:获取所述数字分身的听觉模型;根据所述数字分身的身体特征及所述方位信息,以及所述听觉模型,确定所述数字分身对应的目标参数;将所述目标参数与原始音频进行卷积,得到带有位置效果的第一音频。4.根据权利要求3所述的方法,其特征在于,所述获取所述数字分身的听觉模型之前,所述方法还包括:提取用户的身体特征点;将所述用户的身体特征点映射至数字分身中,得到所述数字分身的身体特征点;根据所述身体特征点在所述用户360
°
方向音频模拟,计算所述虚拟音源传递到所述数字分身各个方向的实际声音,得到所述数字分身对应的头相关变换函数参数;根据所述数字分身的身体特征和所述头相关变换函数参数,构建所述数字分身的听觉模型。5.根据权利要求3所述的方法,其特征在于,所述听觉模型包括所述身体特征及头相关变换函数参数;所述方位信息为初始方位向量;所述根据所述数字分身的身体特征及所述方位信息,以及所述听觉模型,确定所述数字分身对应的目标参数,包括:根据所述听觉模型的所述身体特征,确定所述数字分身从地面到耳朵中心的...

【专利技术属性】
技术研发人员:雷岳甡李琳郑彬戈桂祖宏齐松
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1