音频处理方法、装置、设备、介质及产品制造方法及图纸

技术编号:43111010 阅读:17 留言:0更新日期:2024-10-26 09:51
本申请实施例提供一种音频处理方法、装置、设备、介质及产品,包括:获取用户输入的视频数据,视频数据包括P帧第一图像;针对P帧第一图像中的第j帧第一图像,获取与第j帧第一图像对应的音频,音频包括声源对象的对象音频和背景音频,j大于等于1;响应于接收到的触发事件,获取声源对象的第一对象位置,并基于声源对象的第一对象位置对声源对象的对象音频进行空间渲染,得到空间渲染后的对象音频;基于空间渲染后的对象音频和背景音频,生成目标音频。本申请实施例,能够根据用户输入的视频数据,自动化地生成与之匹配的空间音频。

【技术实现步骤摘要】

本申请属于空间音频渲染,尤其涉及一种音频处理方法、装置、设备、介质及产品


技术介绍

1、空间音频的本质是“计算音频”,也即空间音频能够将声源模拟为空间中固定位置的音响设备,当用户头部转动或设备移动时,声音能够随着用户的运动变化而变换,仍能使得用户能够感受到身临其境的环绕声体验。

2、随着虚拟现实(virtual reality,vr)行业的兴起,空间音频作为vr视频中的重要组成部分,其在vr领域内的发展与应用显得尤为重要。因此,如何快速生成适用于vr视频的音频是至关重要的。


技术实现思路

1、本申请实施例提供一种音频处理方法、装置、设备、介质及产品,能够根据用户输入的视频数据,自动化地生成与之匹配的空间音频。

2、第一方面,本申请实施例提供一种音频处理方法,方法包括:

3、获取用户输入的视频数据,视频数据包括p帧第一图像;

4、针对p帧第一图像中的第j帧第一图像,获取与第j帧第一图像对应的音频,音频包括声源对象的对象音频和背景音频,j大于等于1;

本文档来自技高网...

【技术保护点】

1.一种音频处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述音频包括声源对象的对象音频;

3.根据权利要求2所述的方法,其特征在于,所述针对所述P帧第一图像中的第j帧第一图像,确定所述第j帧第一图像中的声源对象,以及所述声源对象的对象标签,包括:

4.根据权利要求1所述的方法,其特征在于,所述音频还包括背景音频;

5.根据权利要求4所述的方法,其特征在于,所述针对所述P帧第一图像中的第j帧第一图像,确定所述第j帧第一图像的场景标签,包括:

6.根据权利要求4或5所述的方法,其特征在于,当j=1...

【技术特征摘要】

1.一种音频处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述音频包括声源对象的对象音频;

3.根据权利要求2所述的方法,其特征在于,所述针对所述p帧第一图像中的第j帧第一图像,确定所述第j帧第一图像中的声源对象,以及所述声源对象的对象标签,包括:

4.根据权利要求1所述的方法,其特征在于,所述音频还包括背景音频;

5.根据权利要求4所述的方法,其特征在于,所述针对所述p帧第一图像中的第j帧第一图像,确定所述第j帧第一图像的场景标签,包括:

6.根据权利要求4或5所述的方法,其特征在于,当j=1时,所述基于所述第j帧第一图像的场景标签,确定所述第j帧第一图像的背景音频,包括:

7.根据权利要求4或5所述的方法,其特征在于,当j大于等于2时,所述基于所述第j帧第一图像的场景标签,确定所述第j帧第一图像的背景音频,包括:

8.根据权利要求1所述的方法,其特征在于,所述响应于接收到的触发事件,获取所述声源对象的第一对象位置,...

【专利技术属性】
技术研发人员:何婷婷李达吕亚兰罗云钟
申请(专利权)人:中移杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1