一种虚拟场景中音频保真方法、装置及存储介质制造方法及图纸

技术编号:35908521 阅读:39 留言:0更新日期:2022-12-10 10:47
本文涉及音频处理技术领域,尤其是一种虚拟场景中音频保真方法、装置及存储介质,包括:采样虚拟代理当前姿态的头部位置数据以及姿态数据;接收虚拟代理所处虚拟场景中具有方向特征的环境音频数据;将环境音频数据、头部位置数据和姿态数据导入至头部传递公式,生成方向音频数据并发送至真实用户,其中,虚拟代理的姿态根据真实用户的姿态控制指令确定,实现了生成具有表征虚拟代理一系列动作的方向音频数据并发送至真实用户,进而令真实用户的感受与虚拟代理的感受一致,提升了真实用户的体验感。验感。验感。

【技术实现步骤摘要】
一种虚拟场景中音频保真方法、装置及存储介质


[0001]本专利技术涉及音频处理
,尤其是一种虚拟场景中音频保真方法、装置及存储介质。

技术介绍

[0002]在当前,头部追踪耳机为一体式,在用户进行使用时,头部追踪耳机通过地磁或陀螺仪检测真实用户的头部运动信息,根据头部运动信息调整音频的输出声压或相位,进而输出具有位置感知的音频。
[0003]然而,该头部追踪耳机因需要实际的物理参数检测真实用户的头部运动信息,而虚拟现实中的虚拟代理无法通过物理参数检测头部运动信息,因此不适用于虚拟现实中。
[0004]此外,该头部追踪耳机采集到真实用户的头部运动信息只有方位角与俯仰角,无法确定真实用户的高度信息,在虚拟现实的虚拟环境中,由于真实用户的虚拟行为会通过虚拟代理体现,例如弹跳、潜泳、射击或对打,因此现有的头部追踪耳机无法还原虚拟代理的一系列动作,导致虚拟代理与真实用户的感受被割裂,影响真实用户的体验感。

技术实现思路

[0005]针对现有技术的上述问题,本文的目的在于,提供一种虚拟场景中音频保真方法、装置及存储介质,以解决现有技术中头部追踪耳机无法还原虚拟代理的一系列动作,导致虚拟代理与真实用户的感受被割裂,影响真实用户的体验感的问题。
[0006]为了解决上述技术问题,本文的具体技术方案如下:
[0007]一方面,本文提供一种虚拟场景中音频保真方法,包括:
[0008]采样虚拟代理当前姿态的头部位置数据以及姿态数据;
[0009]接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据;
[0010]将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式,生成方向音频数据并发送至真实用户,其中,所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。
[0011]作为本文的一个实施例,所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式,生成方向音频数据并发送至真实用户,进一步包括:
[0012]分别确定所述环境音频数据中每一帧数据对应的音频初始坐标、头部位置数据对应的方向角和俯仰角以及姿态数据对应的空间坐标;
[0013]将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式,生成所述方向音频数据并发送至真实用户。
[0014]作为本文的一个实施例,所述空间坐标包括左空间坐标和右空间坐标;
[0015]所述将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式,生成所述环境音频数据并发送至真实用户,进一步包括:
[0016]将所述音频初始坐标、所述方向角、所述俯仰角和所述左空间坐标导入至所述头
部传递公式,生成左声道数据;
[0017]将所述左声道数据通过左声道发送至所述真实用户;
[0018]将所述音频初始坐标、所述方向角、所述俯仰角和所述右空间坐标导入至所述头部传递公式,生成右声道数据;
[0019]将所述右声道数据通过右声道发送至所述真实用户。
[0020]作为本文的一个实施例,所述头部传递公式根据约束条件以及声压函数确定,包括:
[0021][0022]其中,为所述约束条件,D为约束边界,V为约束边界内,P(r,k)为声压函数,k为波数,为边界法向的方向导数,r0为音频初始坐标,r包括所述方向角和所述俯仰角,r

为所述空间坐标;i为空气介质的密度,ω为角频率,ρ为单位时间内变化的相角弧度值;
[0023]G为格林函数,定义为G(r1,r2,k)=

exp(ik|r1‑
r2|)/4π|r1‑
r2|;其中r1和r2为任一点坐标,r1和r2∈r,r0,r


[0024]作为本文的一个实施例,在所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式,生成方向音频数据并发送至真实用户之前,包括:
[0025]将初始环境音频数据转换到频域,得到频域的初始环境音频数据;
[0026]将所述频域的初始环境音频数据进行低通滤波;
[0027]将低通滤波后的所述频域的初始环境音频数据转换到时域,得到所述环境音频数据。
[0028]作为本文的一个实施例,还包括:
[0029]当第一虚拟代理与第二虚拟代理发生交互时;
[0030]获取初始交互音频数据、所述第一虚拟代理的第一方向角和第一俯仰角和所述第二虚拟代理的第二方向角和第二俯仰角,其中所述初始交互音频数据具有交互位置坐标;
[0031]将所述初始交互音频数据、所述第一虚拟代理的第一方向角和第一俯仰角以及所述第一虚拟代理的姿态数据导入至所述头部传递公式,生成第一交互音频数据并发送至第一虚拟代理对应的第一真实用户,其中所述第一虚拟代理的姿态与所述第一真实用户的姿态对应;
[0032]将所述初始交互音频数据、所述第二虚拟代理的第二方向角和第二俯仰角以及所述第二虚拟代理的姿态数据导入至所述头部传递公式,生成第二交互音频数据并发送至第二虚拟代理对应的第二真实用户,其中所述第二虚拟代理的姿态与所述第二真实用户的姿态对应。
[0033]作为本文的一个实施例,所述姿态数据对应的空间坐标的确定方法包括:
[0034]获取所述姿态数据中所述虚拟代理所处虚拟场景的坐标方向,以及确定所述虚拟代理在所述虚拟场景中的体积参数和虚拟坐标;
[0035]根据所述坐标方向、所述体积参数和所述虚拟坐标确定所述虚拟代理的所述空间
坐标。
[0036]作为本文的一个实施例,所述根据所述坐标方向、所述体积参数和所述虚拟坐标确定所述虚拟代理的所述空间坐标,进一步包括:
[0037]根据公式
[0038]其中,X、Y和Z为所述坐标方向,L、W和H为所述体积参数,X1、Y1和Z1为所述虚拟坐标,X
r
、Y
r
和Z
r
为所述虚拟代理的所述空间坐标。
[0039]另一方面,本文还提供一种虚拟场景中音频保真装置,包括:
[0040]采样单元,用于采样虚拟代理当前姿态的头部位置数据以及姿态数据;
[0041]接收单元,用于接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据;
[0042]合成单元,用于将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式,生成方向音频数据并发送至真实用户,其中,所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。
[0043]另一方面,本文还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现任一项所述的虚拟场景中音频保真方法。
[0044]采用上述技术方案,本文通过采样虚拟代理当前姿态的头部位置数据以及姿态数据,实现了获取虚拟代理当前的运动姿态,以及表征运动姿态的头部位置数据以及姿态数据;通过本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种虚拟场景中音频保真方法,其特征在于,包括:采样虚拟代理当前姿态的头部位置数据以及姿态数据;接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据;将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式,生成方向音频数据并发送至真实用户,其中,所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。2.根据权利要求1所述的虚拟场景中音频保真方法,其特征在于,所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式,生成方向音频数据并发送至真实用户,进一步包括:分别确定所述环境音频数据中每一帧数据对应的音频初始坐标、头部位置数据对应的方向角和俯仰角以及姿态数据对应的空间坐标;将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式,生成所述方向音频数据并发送至真实用户。3.根据权利要求2所述的虚拟场景中音频保真方法,其特征在于,所述空间坐标包括左空间坐标和右空间坐标;所述将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式,生成所述环境音频数据并发送至真实用户,进一步包括:将所述音频初始坐标、所述方向角、所述俯仰角和所述左空间坐标导入至所述头部传递公式,生成左声道数据;将所述左声道数据通过左声道发送至所述真实用户;将所述音频初始坐标、所述方向角、所述俯仰角和所述右空间坐标导入至所述头部传递公式,生成右声道数据;将所述右声道数据通过右声道发送至所述真实用户。4.根据权利要求2所述的虚拟场景中音频保真方法,其特征在于,所述头部传递公式根据约束条件以及声压函数确定,包括:其中,为所述约束条件,D为约束边界,V为约束边界内,P(r,k)为声压函数,k为波数,为边界法向的方向导数,r0为音频初始坐标,r包括所述方向角和所述俯仰角,r

为所述空间坐标;i为空气介质的密度,ω为角频率,ρ为单位时间内变化的相角弧度值;G为格林函数,定义为G(r1,r2,k)=

exp(ik|r1‑
r2|)/4π|r1‑
r2|;其中r1和r2为任一点坐标,r1和r2∈r,r0,r

。5.根据权利要求1所述的虚拟场景中音频保真方法,其特征在于,在所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式,生成方向音频数据并发送至真实用户之前,包括:将初始环境音频数据转换到频域,得到频域的初始环境音...

【专利技术属性】
技术研发人员:马士超
申请(专利权)人:雷欧尼斯北京信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1