【技术实现步骤摘要】
【国外来华专利技术】使用深度学习图像分析的房间声学仿真
[0001]优先权要求
[0002]本申请要求2018年12月24日提交的美国临时专利申请No.62/784,648的优先权,该申请的全部内容通过引用并入本文。
[0003]本公开涉及对图像进行分类以用于增强现实。
技术介绍
[0004]增强现实(AR)是合并真实世界和虚拟世界以生成新的环境和可视化,其中实际的或真实的物理对象和数字的或虚拟的对象共存,并且可以实时地相互作用。AR利用逼真的视觉和音频将虚拟世界带到用户的真实世界环境中。AR将来自虚拟声音对象的虚拟声音与真实的声学环境中的真实声音混合。来自虚拟声音对象的虚拟声音应与通过耳机向用户播放的等效的真实世界的声音匹配以确保令人愉快的AR体验。否则,用户经历AR体验的劣化。常规的技术使用复杂的多步处理来使虚拟声音与等效的真实世界的声音匹配。这样的复杂性将显著的听觉延迟引入到AR仿真中,这可能劣化用户体验。而且,该复杂性不利地提高了对于AR设备的处理要求,因此提高了AR设备的成本。
附图说明
[0005]图1A是被配置为向用户提供AR体验的示例性扩展现实(XR)系统的高级框图。
[0006]图1B是可以被用户穿戴并且被配置为向用户传递AR体验的示例性AR设备或系统的透视图。
[0007]图2是对于XR系统可以基于声学预设置仿真的环境的示例性声音响应的例示。
[0008]图3是可由XR系统执行的、与来自虚拟声音对象的声音的渲染组合的基于机器学习(ML)的分类的示例性方法的例示。 ...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法,包括:接收真实世界环境的图像;使用机器学习分类器,对所述图像进行分类以生成与用于声学环境仿真的声学预设置相关联的分类,所述声学预设置均包括表示声音混响的声学参数;以及基于所述分类,在所述声学预设置当中选择声学预设置。2.根据权利要求1所述的方法,进一步包括:基于所述声学预设置的声学参数来执行声学环境仿真。3.根据权利要求2所述的方法,其中,执行声学环境仿真包括基于所述声学预设置的声学参数来对虚拟地放置在真实世界环境中的一个或多个虚拟声音对象的声音混响进行建模。4.根据权利要求2所述的方法,进一步包括:使用所述机器学习分类器,对所述图像或一个或多个进一步的图像进行分类,以生成一个或多个声学参数修改符;以及基于所述一个或多个声学参数修改符来修改所述声学预设置的声学参数,以生成经修改的声学预设置,所述经修改的声学预设置包括用于声学环境仿真的经修改的声学参数,其中,执行声学环境仿真包括使用所述经修改的声学参数来执行声学环境仿真。5.根据权利要求1所述的方法,其中:所述声学参数包括以下中的一个或多个:频率相关的衰减时间、房间大小、反射延迟、早期起始时间和扩散水平。6.根据权利要求1所述的方法,其中,所述分类包括直接将所述图像分类到所述分类和相关联的声学预设置。7.根据权利要求1所述的方法,其中:所述分类包括对所述图像进行分类,以生成所述分类使得所述分类具有相应的置信水平;并且所述选择包括选择所述声学预设置使得所述声学预设置与所述分类当中具有相应的置信水平中的最高的置信水平的分类相关联。8.根据权利要求7所述的方法,进一步包括:接收所述真实世界环境的第二图像;使用所述机器学习分类器,对所述第二图像进行分类以生成具有相应的第二置信水平的第二分类;确定所述第二分类中的一个或多个是否具有超过置信水平阈值的相应的第二置信水平;以及如果所述第二分类中的一个或多个具有超过所述置信水平阈值的相应的第二置信水平,则基于所述第二分类,在所述声学预设置当中选择第二声学预设置,并且用第二声学预设置替换所述声学预设置以用于声学环境仿真。9.根据权利要求8所述的方法,进一步包括:如果所述第二分类中的一个或多个不具有超过所述置信水平阈值的对应的第二置信水平,则不选择所述第二声学预设置,并且不替换用于声学环境仿真的声学预设置。10.根据权利要求1所述的方法,其中,所述接收真实世界环境的图像包括接收作为所
述真实世界环境的360度图像的图像。11.根据权利要求1所述的方法,其中,所述图像表示不同图像的合成物。12.根据权利要求1所述的方法,其中,所述声学预设置的声学参数是通过算法从声学脉冲响应推导得到的,所述声学脉冲响应表示其上训练过所述机器学习分类器的训练图像中表示的真实世界环境。13.根据权利要求1所述的方法,其中,所述声学预设置的声学参数是基于主观声音设计而开发的。14.根据权利要求1所述的方法,进一步包括:对所述声学预设置执行声学参数安全性检查。15.根据权利要求1所述的方法,其中,所述机器学习分类器是在用相应的声学预设置贴标签的真实世界环境的训练图像上训练的。16.根据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。