自由视点渲染中的音频对象修改制造技术

一种方法，包括：在向用户自由视点渲染期间，以及在自由视点渲染中的用户的位置与音频对象之间的相对移动期间，检测音频对象与用户位置之间的位置冲突异常，其中自由视点渲染包括音频对象的渲染；以及基于位置冲突异常的检测，改变音频对象的渲染，其中改变基于至少一个预先确定的异常修改参数。

Audio Object Modification in Free View Rendering

A method includes: detecting the abnormal position conflict between the audio object and the user's position during the rendering to the user's free view and during the relative movement between the user's position and the audio object in the free view rendering, in which the free view rendering includes the rendering of the audio object; and changing the rendering of the audio object based on the detection of the abnormal position conflict. Change the modification parameter based on at least one predefined exception.

【技术实现步骤摘要】
【国外来华专利技术】自由视点渲染中的音频对象修改
示例性的和非限制性的实施例一般涉及音频对象，更具体地，涉及修改音频对象。
技术介绍
在视听消费中的自由视点，指的是能够在内容消费空间中移动的用户。非自由视点虚拟现实体验限于改变视点的方向(旋转)，但是自由视点渲染允许经由移动(平移)改变渲染点以及改变视点的方向(旋转)。在自由视点渲染中提供一个音频对象是已知的。因此，对于自由视点渲染而言，几何变换包括3D旋转和2D平移或3D平移。
技术实现思路
以下概述仅是示例性的。该
技术实现思路
不旨在限制权利要求的范围。根据一个方面，示例方法包括，在向用户进行自由视点渲染期间，以及在所述自由视点渲染中的所述用户的位置与所述自由视点渲染中的所述音频对象之间的相对移动期间，检测所述自由视点渲染中的所述音频对象与所述用户的位置之间的位置冲突异常，其中所述自由视点渲染包括音频对象的渲染；以及基于所述位置冲突异常的所述检测，改变所述音频对象的所述渲染，其中所述改变基于至少一个预先确定的异常修改参数。根据另一方面，示例装置包括至少一个处理器；以及至少一个包括计算机程序代码的非瞬态存储器，所述至少一个存储器以及计算机程序代码被配置为与所述至少一个处理器一起使得所述装置：在向用户进行自由视点渲染期间，以及在所述自由视点渲染中的所述用户的位置与所述自由视点渲染中的所述音频对象之间的相对移动期间，检测所述自由视点渲染中的所述音频对象与所述用户的位置之间的位置冲突异常，其中所述自由视点渲染包括音频对象的渲染；以及基于所述位置冲突异常的所述检测，改变所述音频对象的所述渲染，其中所述改变基于至少一个预先确定的异常修改参数。根据另一方面，示例装置包括一种由机器能够读取的非瞬态程序存储设备，其有形地体现了由所述机器能够执行的用于执行操作的程序指令，所述操作包括：在向用户进行自由视点渲染期间，以及在所述自由视点渲染中的所述用户的位置与所述自由视点渲染中的所述音频对象之间的相对移动期间，检测所述自由视点渲染中的所述音频对象与所述用户的位置之间的位置冲突异常，其中所述自由视点渲染包括音频对象的渲染；以及基于所述位置冲突异常的所述检测，改变所述音频对象的所述渲染，其中所述改变基于至少一个预先确定的异常修改参数。附图说明结合附图，前述方面和其他特征将在以下描述中被解释，其中：图1是包括示例实施例的特征的现实系统的示意图；图2是示出了在图1中所示出的系统的一些组件的示意图；图3是从第三人视角的虚拟现实场景的示例说明；图4是类似于图3的示意图，示出了在自由视点渲染中音频对象与用户位置之间的位置冲突异常的说明；图5A-5D示出了针对在自由视点渲染中音频对象与用户位置之间的位置冲突异常的不同结果；图6是在图1和2中所示系统的一些组件的示意图；图7是用于示例性实施例的特征进行编程的用户界面的示例；图8示出了用于处理图4中所示的位置冲突异常的一些示；图9是示例方法的示意图；图10是示出了有效距离参数的示例的示意图；图10A-10B是有效距离参数的示例场强的示意图；图11是一个示例方法的示意图；图12是一个示例方法的示意图；图13是一个示例方法的示意图；图14是一个示例方法的示意图；以及图15是一个示例方法的示意图。具体实施方式图1示出了结合示例实施例的特征的现实系统10的示意图。例如，用户可以将现实系统10用于增强现实(AR)、虚拟现实(VR)、或存在捕获(PC)体验和内容消费。尽管将参考附图中示出的示例性实施例来描述这些特征，但是应该理解，特征可以以许多替换形式的实施例来实现。系统10被配置为向用户提供自由视点渲染。系统10通常包括视觉系统12、音频系统14和相对位置系统16。视觉系统12被配置为向用户提供视觉图像。例如，视觉系统12可包括一个虚拟现实(VR)头戴式耳机、护目镜或眼镜。音频系统14被配置为向用户提供音频声音，诸如，通过一个或多个扬声器、一个VR头戴式耳机或耳塞。相对位置系统16被配置为感测用户的位置(诸如例如用户的头部)，并且确定用户在现实内容消费空间场景中的位置。现实内容消费空间中的移动可以基于用户实际移动、用户控制的移动和/或一些其他外部控制的移动或预先确定的移动，或这些移动的任意组合。用户能够在自由视点的内容消费空间中移动。相对位置系统16可以能够基于用户在现实世界中的移动来改变用户看到和听到的内容；现实世界的移动改变了用户在自由视点渲染中看到和听到的内容。参考图2，现实系统10通常包括一个或多个控制器18、一个或多个输入20以及一个或多个输出22。输入20可以包括，例如，相对位置系统16的位置传感器、来自另一设备(诸如通过因特网，或用于将信息输入至系统10的任何其他合适的设备)的现实信息。输出22可以包括，例如，视觉系统12的VR头戴式耳机上的显示器、音频系统14的扬声器、和一个与另一设备通信信息的通信输出。控制器18可包括一个或多个处理器24和一个或多个包括软件28的存储器26。参考图3，示出了自由视点介导现实体验的快照。在该示例中，体验包括树32、鸟34和具有蜂巢38和蜜蜂40的树枝36。图3示出了一个正在体验自由视点视频和音频的用户。该示例示出了一个用户，被描绘为在现实空间中佩戴头戴式显示器(HMD)和组合耳机；被介导现实体验所包围。换句话说，图3呈现了一个第三人视角，其将用户和用户当前体验的介导现实空间进行组合。用户在体验中的位置由30表示。介导现实空间由现实空间的视频表示和音频对象声源32、34、38、40组成。在该示例中，用户体验到一个自然场景，他在其中看到并听到鸟儿在他周围歌唱、蜜蜂在用户面前的蜂巢周围嗡叫。参考图4，示出了用户已经从介导现实体验中的图3中所示的定位中移动到了一个新的位置。然而，在图4中所示的新位置，用户已经进入或者通过了音频对象或源；即，用户30的头部31显示在蜂巢38内。这示出了自由视点渲染中的音频对象38与用户的位置之间的位置冲突异常。在现实世界中，在不破坏蜂巢的情况下，一个人的头部不能在蜂巢中。图中所示的蜂巢示例内的头部仅仅是位置冲突异常的一个示例。另一可能的示例是，例如，用户靠近炉子，来自该位置的炉子的热量将超过现实生活中的人可以承受的热量。基于该位置冲突异常，炉子的声音的音频对象可以基于一个或多个参数而被修改。音频对象修改也可以应用于任何音频对象交互；不一定限于那些在现实世界中不可能、危险或不舒服的场景。本文描述的特征可以被用于新的音频-对象交互检测和定义，以改善自由视点音频的用户体验。例如，可以将特征与增强现实(AR)、虚拟现实(VR)和存在捕获(PC)体验和内容消费一起使用。特别地，这些特征可以与空间音频(诸如基于对象的音频)，以及用户交互和用户界面一起使用。利用视听消费中的自由视点，用户可以移动，例如，连续地或以离散的步伐在对应于捕获的点(诸如NOKIAOZO设备的定位)周围的区域中移动，或者例如，在至少两个这样的捕获点之间移动。用户可以在允许的移动区域中的每个位置处以每个方向以自然的方式感知视听场景。当体验的至少一部分被模拟时(诸如，通过计算机生成的附加效果或所捕获的视听信息的修改来模拟时)，这些体验可以总称为术语“介导现实体验”。内容可以被捕获(因此对应于感知的现实)、可以由计算机生成、或者可以是两者的组本文档来自技高网...

【技术保护点】
1.一种方法，包括：在向用户进行自由视点渲染期间以及在所述自由视点渲染中的所述用户的位置与所述自由视点渲染中的音频对象之间的相对移动期间，检测所述自由视点渲染中的所述音频对象与所述用户的位置之间的位置冲突异常，其中所述自由视点渲染包括所述音频对象的渲染；以及基于所述位置冲突异常的所述检测，改变所述音频对象的所述渲染，其中所述改变基于至少一个预先确定的异常修改参数。

【技术特征摘要】
【国外来华专利技术】2016.10.14 US 15/293,6071.一种方法，包括：在向用户进行自由视点渲染期间以及在所述自由视点渲染中的所述用户的位置与所述自由视点渲染中的音频对象之间的相对移动期间，检测所述自由视点渲染中的所述音频对象与所述用户的位置之间的位置冲突异常，其中所述自由视点渲染包括所述音频对象的渲染；以及基于所述位置冲突异常的所述检测，改变所述音频对象的所述渲染，其中所述改变基于至少一个预先确定的异常修改参数。2.根据权利要求1所述的方法，其中所述改变包括所述音频对象的大小、位置、比例、旋转和放大中的至少一个。3.根据权利要求1或2所述的方法，其中所述改变包括均衡、指向性、时移、粘性以及音频对象乘法中的至少一个。4.根据权利要求1至3任一项所述的方法，其中所述自由视点渲染包括第二音频对象的渲染，以及检测所述自由视点渲染中的所述第二音频对象与所述自由视点渲染中的所述用户的所述位置之间的第二位置冲突异常；以及基于所述第二位置冲突异常的所述检测，改变所述第二音频对象的所述渲染，其中所述第二音频对象的所述渲染的所述改变基于至少一个不同的预先确定的异常修改参数。5.根据权利要求1至4任一项所述的方法，其中所述至少一个预先确定的异常修改参数包括所述预先确定的异常修改参数中的至少两个预先确定的异常修改参数。6.根据权利要求1至5任一项所述的方法，还包括：基于所述音频对象，通过一个修改调整，来通过针对所述音频对象的所述渲染的改变的所述至少一个预定的异常修改参数来更改效果。7.根据权利要求6所述的方法，其中所述修改调整将时间间隔和/或比例改变应用于所述至少一个预先确定的异常修改参数。8.根据权利要求6所述的方法，其中所述修改调整是关于所述自由视点渲染中的所述音频对象与所述自由视点渲染中的所述用户的所述位置之间的距离的有效距离修改调整。9.根据权利要求6所述的方法，其中所述修改调整是基于随后的对至少部分地去除所述位置冲突异常的所述检测的一个可逆性的修改调整。10.根据权利要求1至9中任一项所述的方法，还包括基于检测到的所述位置冲突异常的类型来选择所述至少一个预先确定的异常修改参数。11.根据权利要求10所述的方法，还包括基于检测到的所述位置冲突异常的特征为所选择的至少一个预先确定的异常修改参数来选择一个值。12.根据权利要求1至11中任一项所述的方法，其中对所述位置冲突异常的所述检测包括使用渲染位置跟踪。13.根据权利要求12所述的方法，其中所述位置冲突异常的所述检测还包括使用所述用户的头部的头部跟踪。14.根据权利要求1至13所述的方法，其中所述相对移动包括所述自由视点渲染中的所述用户的第一位置改变至所述自由视点渲染中的所述用户的第二不同位置，其中所述位置冲突异常在所述自由视点渲染中的所述音频对象和所述用户的...

【专利技术属性】
技术研发人员：L·拉克索南，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI