音频处理制造技术

一种方法，包括：使得在三维虚拟视觉空间中显示声源虚拟视觉对象；使得在三维虚拟视觉空间中显示多个互连的虚拟视觉对象，其中，多个互连虚拟视觉对象中的至少一些在视觉上互连声源虚拟视觉对象和用户控制的虚拟视觉对象，其中，每个互连的虚拟视觉对象的视觉外观取决于与互连虚拟视觉对象互连的声源虚拟视觉对象相关联的声音对象的一个或多个特性，并且其中，声音对象的音频处理以产生渲染的声音对象取决于与用户控制的虚拟视觉对象的用户交互以及在声源虚拟视觉对象与用户控制的虚拟视觉之间的互连虚拟视觉对象的用户控制互连。

Audio processing

A method includes: displaying a sound source virtual visual object in a three-dimensional virtual visual space; displaying a plurality of interconnected virtual visual objects in a three-dimensional virtual visual space, in which at least some of the interconnected virtual visual objects are visually interconnected with a sound source virtual visual object and a user-controlled virtual visual object, in which each interconnected virtual visual pair is a virtual visual pair. The visual appearance of an image depends on one or more characteristics of the sound object associated with the sound source virtual visual object interconnected with the sound source virtual visual object interconnected with the sound object, and the audio processing of the sound object to produce the rendered sound object depends on the user interaction with the user-controlled virtual visual object and the interconnection between the sound source virtual visual object and the user-controlled virtual vision. \u865a\u62df\u89c6\u89c9\u5bf9\u8c61\u7684\u7528\u6237\u63a7\u5236\u4e92\u8fde\u3002

【技术实现步骤摘要】
【国外来华专利技术】音频处理
本专利技术的实施例涉及音频处理。一些但并非全部的示例涉及音频处理的自动控制。
技术介绍
空间音频渲染(rendering)包括渲染声音场景，其中声音场景包括在相应位置处的声音对象。因此，每个声音场景包括由收听者听觉处理的大量信息。用户将不仅了解声音对象的存在，还将了解其在声音场景中以及相对于其它声音对象的位置。
技术实现思路
根据本专利技术的各种但并非全部的实施例，提供一种方法，该方法包括：使得渲染包括在相应位置处的声音对象的声音场景；通过以下操作来自动控制第一声音场景到第二声音场景的转换，其中，第一声音场景包括在第一组相应位置处的第一组声音对象，第二声音场景与第一声音场景不同并包括在第二组相应位置处的第二组声音对象：使得渲染包括在第一组相应位置处的第一组声音对象的第一声音场景；然后使得改变第一组声音对象中的至少一些声音对象的相应位置，以在转换前阶段中将第一声音场景渲染为适配的第一声音场景，其中，适配的第一声音场景包括在与第一组相应位置不同的第一适配组相应位置处的第一组声音对象；然后使得在转换后阶段中将第二声音场景渲染为适配的第二声音场景，其中，适配的第二声音场景包括在与第二组相应位置不同的第二适配组相应位置处的第二组声音对象；然后使得改变第二组声音对象中的至少一些声音对象的相应位置，以将第二声音场景渲染为在第二组相应位置处的第二组声音对象。根据本专利技术的各种但并非全部的实施例，提供一种方法，该方法包括：使得渲染包括在相应位置处的声音对象的声音场景；通过以下操作来自动控制第一声音场景到第二声音场景的转换，其中，第一声音场景包括在第一组相应位置处的第一组声音对象，第二声音场景与第一声音场景不同并包括在第二组相应位置处的第二组声音对象：创建至少一个中间声音场景，其包括在与第一组相应位置不同的第一适配组相应位置处的第一组声音对象中的至少一些声音对象，或者包括在与第二组相应位置不同的第二适配组相应位置处的第二组声音对象中的至少一些声音对象。根据本专利技术的各种但并非全部的实施例，提供一种方法，该方法包括：使得渲染包括在相应位置处的声音对象的声音场景；通过以下操作来自动控制第一声音场景到第二声音场景的转换，其中，第一声音场景包括在第一组相应位置处的第一组声音对象，第二声音场景与第一声音场景不同并包括在第二组相应位置处的第二组声音对象：创建至少一个中间声音场景，其包括在与第一组相应位置不同的第一适配组相应位置处的第一组声音对象中的至少一些声音对象并且不包括第二组声音对象中的任何一个。根据本专利技术的各种但并非全部的实施例，提供一种方法，该方法包括：使得渲染包括在相应位置处的声音对象的声音场景；通过以下操作来自动控制第一声音场景到第二声音场景的转换，其中，第一声音场景包括在第一组相应位置处的第一组声音对象，第二声音场景与第一声音场景不同并包括在第二组相应位置处的第二组声音对象：创建至少一个中间声音场景，其包括在与第二组相应位置不同的第二适配组相应位置处的第二组声音对象中的至少一些声音对象并且不包括第一组声音对象中的任何一个。根据本专利技术的各种但并非全部的实施例，提供了根据所附权利要求中要求保护的示例。因此，减少了当一个声音场景转换到另一个声音场景发生时对用户的影响。附图说明为了更好地理解对理解
技术实现思路
有用的各种示例，现在将仅通过示例的方式参考附图，其中：图1A-1C和2A-2C示出介导现实的示例，其中，图1A、1B、1C示出相同的虚拟视觉空间和不同的视点，图2A、2B、2C示出从相应视点的角度观看的虚拟视觉场景；图3A示出真实空间的示例，图3B示出与图1B的虚拟视觉场景部分对应的真实视觉场景的示例；图4示出可操作以实现介导现实和/或增强现实和/或虚拟现实的设备的示例；图5A示出用于实现介导现实和/或增强现实和/或虚拟现实的方法的示例；图5B示出用于更新增强现实的虚拟视觉空间的模型的方法的示例；图6A和6B示出使能向用户显示至少部分虚拟视觉场景的装置的示例；图7A示出真实空间中的姿势的示例，图7B示出真实空间中的姿势在虚拟视觉场景中渲染的对应表示；图8示出用于修改渲染的声音场景的系统的示例；图9示出例如可用于执行系统的定位块、定向块和距离块的功能的模块的示例；图10示出使用装置实现的系统/模块的示例；图11A示出使能自动控制声音场景之间的转换的方法的示例；图11B示出通过使用其中声音对象处于适配的位置的转换前阶段和转换后阶段来自动控制声音场景之间的转换的方法的示例；图12A示出包括声音对象的声音空间的示例；图12B示出包括多个渲染的声音对象的渲染的声音场景的示例；图13A-13D示出经由至少一个中间声音场景(例如，第一声音场景的转换前阶段(图13B)和/或第二声音场景的转换后阶段(图13C))从第一声音场景(图13A)到第二声音场景(图13D)的间接转换的示例；图14A-14D示出经由至少一个中间声音场景(例如，第一声音场景的转换前阶段(图14B)和/或第二声音场景的转换后阶段(图14C))从第一声音场景(图14A)到第二声音场景(图14D)的间接转换的另一示例；图15A-15C示出第二声音场景的两级转换后阶段的示例；图16A-16C示出第一声音场景的两级转换前阶段的示例；图17A和17B示出转换之前(图17A)和转换之后(图17B)的视觉场景的示例。定义“人工环境”是已经被记录或生成之物。“虚拟视觉空间”是指可以被观看的完全或部分人工环境，其可以是三维的。“虚拟视觉场景”是指从虚拟视觉空间内的特定视点观看的虚拟视觉空间的表示。“虚拟视觉对象”是虚拟视觉场景内的可视虚拟对象。“真实空间”是指真实环境，其可以是三维的。“真实视觉场景”是指从真实空间内的特定视点观看的真实空间的表示。本文中的“介导现实”是指当装置至少部分地向用户显示虚拟视觉场景时，用户在视觉上体验完全或部分人工环境(虚拟视觉空间)。虚拟视觉场景由虚拟视觉空间内的视点和视场确定。显示虚拟视觉场景意思是以用户可以看到的形式提供虚拟视觉场景。本文中的“增强现实”是指当虚拟视觉场景包括由装置向用户显示的一个或多个视觉元素补充的物理真实世界环境(真实空间)的真实视觉场景时，其中用户在视觉上体验部分人工环境(虚拟视觉空间)的一种介导现实形式。本文中的“虚拟现实”是指当装置向用户显示虚拟视觉场景时，其中用户在视觉上体验完全人工环境(虚拟视觉空间)的一种介导现实形式。应用于介导现实、增强现实或虚拟现实的“视角介导(perspective-mediated)”意思是用户动作确定虚拟视觉空间内的视点，从而改变虚拟视觉场景。应用于介导现实、增强现实或虚拟现实的“第一人视角介导”意思是具有附加约束的视角介导，其中用户的真实视点确定虚拟视觉空间内的视点。应用于介导现实、增强现实或虚拟现实的“第三人视角介导”意思是具有附加约束的视角介导，其中用户的真实视点不确定虚拟视觉空间内的视点。应用于介导现实、增强现实或虚拟现实的“用户交互”意思是用户动作至少部分地确定虚拟视觉空间内发生的情况。“显示”意思是以用户在视觉上感知(观看)的形式提供。“渲染”意思是以用户感知的形式提供。“声音空间”是指三维空间中的声源的布置。可以关于记录声音定义声音空间(记录的声音空间)以及关于渲染声音定义声音空间本文档来自技高网...

【技术保护点】
1.一种方法，包括：使得渲染包括在相应位置处的声音对象的声音场景；通过以下操作来自动控制第一声音场景到第二声音场景的转换，其中，所述第一声音场景包括在第一组相应位置处的第一组声音对象，所述第二声音场景与所述第一声音场景不同并包括在第二组相应位置处的第二组声音对象：使得渲染包括在所述第一组相应位置处的所述第一组声音对象的所述第一声音场景；然后在所述第一组声音对象中选择至少一个第一声音对象；然后使得改变所述第一组声音对象中的至少一些声音对象相对于第一声音对象的相应位置，以在转换前阶段中将所述第一声音场景渲染为适配的第一声音场景，其中，所述适配的第一声音场景包括在与所述第一组相应位置不同的第一适配组相应位置处的所述第一组声音对象；然后在所述第二组声音对象中选择至少一个第二声音对象；然后使得在转换后阶段中将所述第二声音场景渲染为适配的第二声音场景，其中，所述适配的第二声音场景包括在与所述第二组相应位置不同的第二适配组相应位置处的所述第二组声音对象；然后使得改变所述第二组声音对象中的至少一些声音对象相对于第二声音对象的相应位置，以将所述第二声音场景渲染为在所述第二组相应位置处的所述第二组声音对象。...

【技术特征摘要】
【国外来华专利技术】2016.09.13 EP 16188437.41.一种方法，包括：使得渲染包括在相应位置处的声音对象的声音场景；通过以下操作来自动控制第一声音场景到第二声音场景的转换，其中，所述第一声音场景包括在第一组相应位置处的第一组声音对象，所述第二声音场景与所述第一声音场景不同并包括在第二组相应位置处的第二组声音对象：使得渲染包括在所述第一组相应位置处的所述第一组声音对象的所述第一声音场景；然后在所述第一组声音对象中选择至少一个第一声音对象；然后使得改变所述第一组声音对象中的至少一些声音对象相对于第一声音对象的相应位置，以在转换前阶段中将所述第一声音场景渲染为适配的第一声音场景，其中，所述适配的第一声音场景包括在与所述第一组相应位置不同的第一适配组相应位置处的所述第一组声音对象；然后在所述第二组声音对象中选择至少一个第二声音对象；然后使得在转换后阶段中将所述第二声音场景渲染为适配的第二声音场景，其中，所述适配的第二声音场景包括在与所述第二组相应位置不同的第二适配组相应位置处的所述第二组声音对象；然后使得改变所述第二组声音对象中的至少一些声音对象相对于第二声音对象的相应位置，以将所述第二声音场景渲染为在所述第二组相应位置处的所述第二组声音对象。2.根据权利要求1所述的方法，还包括：通过将所述第一组声音对象中的所述至少一些声音对象移动到所选择的第一声音对象的第一预定距离内来改变所述第一组声音对象中的所述至少一些声音对象的位置；和/或通过将所述第二组声音对象中的所述至少一些声音对象移动到所选择的第二声音对象的第二预定距离内来改变所述第二组声音对象中的所述至少一些声音对象的位置。3.根据权利要求1或2所述的方法，还包括：基于以下标准中的一个或多个，自动选择所述第一声音对象和/或所述第二声音对象：所述第一声音对象和/或所述第二声音对象是用于单人表演的；所述第一声音对象相对于所述第一声音场景内的位置和/或音量是突出的，和/或所述第二声音对象相对于所述第二声音场景内的位置和/或音量是突出的；所述第一声音对象和所述第二声音对象在音乐上相似；所述第一个声音对象是用户关注的主题；所述第一声音对象和所述第二声音对象涉及相同的声源；所述第一声音对象和所述第二声音对象在相应的所述第一声音场景和所述第二声音场景内占据相似的位置；所述第一声音对象和所述第二声音对象在相应的所述第一声音场景和所述第二声音场景内具有相似的音量或相对的音量。4.根据前述任一项权利要求所述的方法，其中，响应于从所述第一声音场景到所述第二声音场景的声音场景的改变的直接或间接的用户指定，自动控制所述第一声音场景到所述第二声音场景的转换。5.根据前述任一项权利要求所述的方法，其中，所述第一声音场景的所述转换前阶段与在所述转换前阶段之前的所述第一声音场景的不同之处仅在于：所述第一声音对象中的至少一些声音对象的位置或位置和音量在刚好在所述转换前阶段之前的所述第一声音场景与所述第一声音场景的所述转换前阶段之间是不同的；和/或其中，所述第二声音场景的所述转换后阶段与在所述转换后阶段之后的所述第二声音场景的不同之处仅在于：所述第二声音对象中的至少一些声音对象的位置或位置和音量在刚好在所述转换后阶段之后的所述第二声音场景与所述第二声音场景的所述转换后阶段之间是不同的。6.根据前述任一项权利要求所述的方法，其中，所述第一组声音对象中的至少一些声音对象的位置的改变以在所述转换阶段中渲染所述第一声音场景包括：对所述第一组声音对象中的所述至少一些声音对象中的不同声音对象的不同的位置...

【专利技术属性】
技术研发人员：A·莱蒂尼米，A·埃罗宁，J·利柏伦，J·阿拉斯沃里，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI