多视点多用户音频用户体验制造技术

一种装置，包括：用于接收包括多个视点的空间媒体内容文件的模块(700)；用于从所述多个视点确定用于消费所述空间媒体内容文件的第一用户的第一视点的模块(702)；用于接收影响用于所述第一用户的第一视点的音频渲染的指示的模块，其中所述指示与消费所述空间媒体内容文件的至少一个第二用户的一个或多个动作相关联(704)；用于响应于接收所述指示基于以下至少一项来控制用于所述第一用户的所述第一视点的音频渲染的模块：所述第一用户的位置和/或取向，以及所述第二用户的所述一个或多个动作(706)。多个动作(706)。多个动作(706)。

【技术实现步骤摘要】
【国外来华专利技术】多视点多用户音频用户体验


[0001]各种示例实施例通常涉及音频渲染，并且更具体地涉及沉浸式音频内容信令和渲染。

技术介绍

[0002]沉浸式音频和/或视觉内容通常允许用户以与用户的方位和/或位置一致的方式体验内容。例如，沉浸式音频内容可以允许用户以与用户的旋转运动(例如，俯仰、偏航和翻滚)一致的方式来体验音频。这种沉浸式音频通常称为3DoF(三个自由度)内容。针对翻滚、俯仰和偏航具有完全自由度而针对平移运动自由度却有限的沉浸式内容，通常被称为3DoF+。自由视点音频(也可以称为6DoF)通常允许用户在音频(或通常是视听或媒介现实)空间中来回移动并以正确对应于其在该音频空间的位置和方向的方式体验音频空间。沉浸式音频和视频内容通常具有例如在媒介内容环境中的位置和/或对齐这样的属性来允许这样做。
[0003]运动图像专家组(MPEG)目前正在对名为MPEG
‑
I的沉浸式媒体技术进行标准化，其中包括用于各种虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)用例的方法。另外，第三代合作伙伴计划(3GPP)正在研究沉浸式视听服务以实现标准化，例如用于VR(例如3DoF)内容传递的多视点流式传输。
附图说明
[0004]现在将参考附图描述一些示例实施例。
[0005]图1是其中可以实践各种示例实施例的一种可能的且非限制性的示例性装置的框图；
[0006]图2表示根据一些示例实施例的视听体验文件的多视点内容空间200；
[0007]图3示出了多视点内容文件的多用户内容消耗的示例；
[0008]图4是根据一些示例实施例的高级过程流程图；
[0009]图5表示根据一些示例实施例的视听体验文件的多视点内容空间；
[0010]图6A和图6B示出了根据一些示例实施例的多视点文件的不同切换实现方式；以及
[0011]图7是根据各种示例实施例的逻辑流程图，并且示出了示例性方法的操作、具体化在计算机可读存储器上的计算机程序指令的执行结果、由以硬件实现的逻辑执行的功能、和/或用于执行根据示例性实施例的功能的互连的模块。
具体实施方式
[0012]在说明书和/或附图中可以找到的下列缩写定义如下：
[0013]定义如下：
[0014]3DoF
ꢀꢀꢀ
3自由度(头部旋转)
[0015]3DoF+
ꢀꢀ
具有附加的有限平移运动的3DoF(例如，头部运动)
[0016]6DoF
ꢀꢀꢀ
6个自由度(头部旋转和平移运动)
[0017]3GPP
ꢀꢀꢀ
第三代合作伙伴计划
[0018]AR
ꢀꢀꢀꢀꢀ
增强现实
[0019]DAW
ꢀꢀꢀꢀ
数字音频工作站
[0020]DisEv
ꢀꢀ
中断事件
[0021]DisEvR 中断事件响应
[0022]MPEG
ꢀꢀꢀ
运动图像专家组
[0023]MR
ꢀꢀꢀꢀꢀ
混合现实
[0024]VR
ꢀꢀꢀꢀꢀ
虚拟现实
[0025]本文的各种示例性实施例描述了用于控制多视点全向内容中的音频的技术。在描述了其中可以使用示例性实施例的系统之后，呈现了这些技术的附加描述。
[0026]在图1中示出了装置100
‑
1，其包括通过一个或多个总线112互连的一个或多个处理器101，一个或多个存储器104。一个或多个总线112可以是地址、数据或控制总线，并且可以包括任何互联机构，例如主板或集成电路上的一系列线路、光纤或其他光通信设备等。一个或多个存储器104包括计算机程序代码106。装置100
‑
1可以包括现实模块，所述现实模块包括可以以多种方式实现的部件108
‑
1和/或108
‑
2中的一个或两个。所述现实模块可以在硬件中被实现为现实模块108
‑
2，诸如被实现为一个或多个处理器101的一部分。现实模块108
‑
2还可以被实现为集成电路或通过诸如可编程门阵列的其他硬件来实现。在另一示例中，现实模块可以被实现为现实模块108
‑
2，其被实现为计算机程序代码106并且由一个或多个处理器101执行。例如，一个或多个存储器104和计算机程序代码106可被配置为与一个或多个处理器101一起使装置100
‑
1执行本文所描述的一个或多个操作。
[0027]一个或多个计算机可读存储器104可以是适合于本地技术环境的任何类型，并且可以使用任何合适的数据存储技术来实现，例如基于半导体的存储设备、闪存、磁存储设备和系统、光存储设备和系统、固定存储器和可移动存储器。计算机可读存储器104可以是用于执行存储功能的模块。作为非限制性示例，处理器101可以是适合本地技术环境的任何类型，并且可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器体系结构的处理器中的一个或多个。处理器101可以是用于执行功能——诸如控制装置100
‑
1和本文所述的其他功能——的模块。
[0028]在一些实施例中，装置100
‑
1可以包括一个或多个输入110和/或输出112。输入110可以包括用于向计算机系统提供用户输入的任何公知设备，例如鼠标、键盘、触摸板、相机、触摸屏和/或换能器。输入110还可以包括用于将信息输入到装置100
‑
1中的任何其他合适的设备，例如另一个设备。
[0029]在一些实施例中，装置100
‑
1可以包括一个或多个输入110和/或输出112。输入110可以包括用于向计算机系统提供用户输入的任何公知设备，例如鼠标、键盘、触摸板、相机、触摸屏和/或换能器。输入端110还可以包括用于将信息输入到装置100
‑
1中的任何其他合适的设备，例如GPS接收器、传感器和/或其他计算设备。传感器可以是陀螺仪传感器、压力传感器、地磁传感器、光传感器、气压计、霍尔传感器等。输出112可以包括例如一个或多个公知的显示器(诸如投影仪显示器、近眼显示器、VR头戴式受话器显示器等)、扬声器以及向另一设备传送信息的通信输出。如图1所示，另一设备可以是装置100
‑
2，其可以与针对装置
100
‑
1所示类似地实现。
[0030]输入110/输出112可以包括用于有线和/或无线通信(例如WiFi，蓝牙，蜂窝，NFC，以太网和/等)的接收器和/或发送器，其可以用于例如在装置100
‑
1和100
‑
2之间的通信。在一些实施例中，一个或多个输入110和/或一个或多个输出112中的每一个可以整体地、物理地或无线地连接到装置100
‑
1。
[0031]通常，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收包括多个视点的空间媒体内容文件；从所述多个视点确定用于消费所述空间媒体内容文件的第一用户的第一视点；接收影响用于所述第一用户的第一视点的音频渲染的指示，其中，所述指示与消费所述空间媒体内容文件的至少一个第二用户的一个或多个动作相关联；以及响应于接收所述指示，基于以下至少一项来控制用于所述第一用户的所述第一视点的音频渲染：所述第一用户的位置和/或取向，以及所述第二用户的所述一个或多个动作。2.根据权利要求1所述的方法，其中，接收所述指示是基于以下之一：当所述至少一个第二用户存在于所述第一视点处时，所述第一用户进入所述第一视点；以及当所述第一用户存在于所述第一视点处时，所述至少一个第二用户进入所述第一视点。3.根据权利要求1和2中任一项所述的方法，其中所述至少一个第二用户的所述一个或多个动作包括以下至少一个：在切换到所述第一视点之前，所述至少一个第二用户存在于所述多个视点中的所述一个或多个其他视点处；在切换到所述第一视点之前所述至少一个第二用户访问所述多个视点中的一个或多个其他视点的顺序；在切换到所述第一视点之前，在所述多个视点中的一个或多个其他视点上花费的时间；所述至少一个第二用户与所述空间媒体内容文件的所述多个视点中的一个或多个视点中的虚拟对象和/或虚拟角色的用户交互；和所述至少一个第二用户在所述多个视点中的一个或多个视点处感知到所述空间媒体内容文件中所述一个或多个事件的发生，其中所述一个或多个事件没有被所述第一用户感知到。4.根据权利要求1至3中任一项所述的方法，其中，控制用于所述第一用户的所述第一视点的音频渲染包括：基于与一个或多个第一音频对象相关联的信令，修改与所述第一视点相关联的所述一个或多个第一音频对象的渲染。5.根据权利要求1至4中任一项所述的方法，其中，控制用于所述第一用户的所述第一视点的音频渲染包括：基于与一个或多个第二音频对象相关联的信令来渲染一个或多个第二音频对象，其中所述一个或多个第二音频对象与在切换到所述第一视点之前由所述至少一个第二用户先前访问的至少一个或多个其他视点相关联。6.根据权利要求4至5中的任一项所述的方法，其中，与所述一个或多个第一音频对象和/或所述一个或多个第二音频对象相关联的信令指示一个或多个条件，所述一个或多个条件涉及是否要渲染与信令相关联的音频对象，以及如何渲染与信令相关联的音频对象。7.根据前述权利要求中的任一项所述的方法，还包括向所述第一用户呈现所述音频渲染。8.一种装置，包括：用于接收包括多个视点的空间媒体内容文件的模块；
用于从所述多个视点确定用于消费所述空间媒体内容文件的第一用户的第一视点的模块；用于接收影响用于所述第一用户的第一视点的音频渲染的指示的模块，其中所述指示与消费所述空间媒体内容文件的至少一个第二用户的一个或多个动作相关联；和用于响应于接收所述指示，基于以下至少一项来控制用于所述第一用户的所述第一视点的音频渲染的模块：所述第一用户的位置和/或取向，以及所述第二用户的所述一个或多个动作。9.根据权利要求8所述的装置，其中，所述用于接收所述指示的模块基于以下之一：当所述至少一个第二用户存在于所述第一视点处时，所述第一用户进入所述第一视点；以及当所述第一用户存在于所述第一视点处时，所述至少一个第二用户进入所述第一视点。10.根据权利要求8和9中的任一项所述的装置，其中，所述至少一个第二用户的所述一个或多个动作包括以下至少一个：在切换到所述第一视点之前，至少一个第二用户存在于所述多个视点中的所述一个或多个其他视点处；在切换到所述第一视点之前所述至少一个第二用户访问所述多个视点中的一个或多个其他视点的顺序；在切换到所述第一视点之前，在所述多个视点中的一个或多个其他视点上花费的时间；所述至少一个第二用户与所述空间媒体内容文件的所述多个视点中的一个或多个视点中的虚拟对象和/或虚拟角色的用户交互；和所述至少一个第二用户在所述多个视点中的...

【专利技术属性】
技术研发人员：L，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：