从传统视听媒体中确定空间化虚拟声学场景制造技术

音频系统从具有二维(2

【技术实现步骤摘要】
【国外来华专利技术】从传统视听媒体中确定空间化虚拟声学场景
[0001]背景
[0002]本公开总体上涉及头戴装置(headset)处的音频呈现，并且具体涉及从传统(legacy)视听媒体中确定空间化虚拟声学场景。
[0003]人类能够通过下意识地比较每只耳朵感知到的声音来确定声源的定位(location)。根据声源相对于每个用户的方向和定位以及感知声音的房间的周围环境，在两个用户的耳朵处感知到的声音可以不同。然而，除了从声源到麦克风的直达声(direct sound)之外，在具有声学反射表面的环境中的记录还包含从这些反射表面的方向反射的声音。当这些记录被混合成单声道(mono)或立体声(stereo)时，反射中包含的空间信息会被毁坏并丢失。因此，许多最初为立体声扬声器或头戴式耳机(headphone)制作的传统视频媒体不包括完整的音频空间化。
[0004]概述
[0005]根据本专利技术，提供了一种方法，该方法包括：由音频处理系统将视频的音频分量分割成视频中第一声源的第一音频和视频中第二声源的第二音频，其中音频分量是二维音频；从第一音频和第二音频中去除混响，以获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由音频处理系统将视频的音频分量分割成所述视频中第一声源的第一音频和所述视频中第二声源的第二音频，其中所述音频分量是二维音频；从所述第一音频和所述第二音频中去除混响，以获得所述第一音频和所述第二音频的直达声分量；对于与所述视频相关联的局部区域，获得所述局部区域的声学特性；和由所述音频处理系统使用所述局部区域的声学特性，利用所述第一音频和所述第二音频的直达声分量生成所述视频的三维音频。2.根据权利要求1所述的方法，其中获得所述局部区域的声学特性包括：从所述视频的视觉分量中识别所述局部区域的视觉特征；将所述局部区域的所识别的视觉特征与存储在数据库中的现实世界空间的视觉特征进行比较，所述数据库包括现实世界空间的视觉特征与现实世界空间的声学特性的映射；和响应于所识别的视觉特征与存储在所述数据库中的现实世界空间的视觉特征相匹配，使用现实世界空间的声学特性来生成所述第一音频和所述第二音频的所述三维音频。3.根据权利要求1所述的方法，其中获得所述局部区域的声学特性包括：分析所述视频的视觉分量以识别所述局部区域的视觉特征；和基于所述局部区域的视觉特征来估计所述局部区域的声学特性。4.根据权利要求3所述的方法，其中基于所述局部区域的视觉特征来估计所述局部区域的声学特性包括：将机器学习模型应用于所述局部区域的视觉特征，所述机器学习模型将已知空间的视觉特征与所述已知空间的声学特性相关联。5.根据任一前述权利要求所述的方法，其中获得所述局部区域的声学特性还包括：分析所述音频分量以识别所述第一音频和所述第二音频的混响；和根据所述第一音频和所述第二音频的混响确定所述局部区域的声学特性。6.根据任一前述权利要求所述的方法，其中生成所述三维音频包括：为所述第一声源和所述第二声源生成局部区域脉冲响应，以将所述第一音频和所述第二音频与在所述视频中捕获的所述局部区域的声学特性相匹配。7.根据权利要求6所述的方法，还包括：从用户佩戴的头戴装置获得所述头戴装置的位置或定向中的至少一个的数据，所述位置或定向中的至少一个对应于用户相对于所述视频的观看视角；和基于所述头戴装置的位置或定向中的至少一个的数据和在所述视频中捕获的所述局部区域的声学特性，调整所述第一声源和所述第二声源的局部区域脉冲响应。8.根据任一前述权利要求所述的方法，以下任一项或更多项成立：a)其中生成所述视频的三维音频还包括：使用双耳合成来组合所述第一声源和所述第二声源中的每一个声源的脉冲响应；或者b)其中生成所述视频的三维音频使得所述第一音频被用户感知为源自所述局部区域内的第一对象，而所述第二音频被用户感知为源自所述局部区域内的第二对象。9.一种方法，包括：
获得包括视觉分量和音频分量的视频，其中所述音频分量是二维音频；从所述音频分量识别声源；从所述音频分量中去除混响以获得所述二维音频的直达声分量；对于与所述视频相关联的局部区域，获得所述局部区域的声学特性；和使用所述局部区域的声学特性，利用所述二维音频的直达声分量生成所述视频的三维音频。10.根据权利要求9所述的方法，其中生成所述三维音频包括：生成所述声源的局部区域脉冲响应，以将所述音频分量与所述视频中捕获...

【专利技术属性】
技术研发人员：菲利普，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：