用于在沉浸式现实中提供音频内容的方法和装置制造方法及图纸

描述了提供和接收音频内容的方法(700、800)和装置(160

【技术实现步骤摘要】
【国外来华专利技术】或“360
°
图像”。通常，3DoF VR是从一组面向(facing)外的相机中导出的，其中来自该组中的相机的图像(或视频)被扭曲和拼接以形成单个合成图像(或合成视频)，该图像(或合成视频)表示围绕视点(或中心点)的所有方向上的视图，该视点(或中心点)是相机组的位置。在360
°
视频的情况下，该视点可以移动，例如在过山车列车上移动，在这种情况下，所得到的360
°
视频捕获过山车乘坐者的有利地位。可以扭曲和修剪所得到的合成图像或视频以给出来自该有利地位的一个方向上的视图，但是当用户转向面向不同的方向时，所述扭曲和修剪被更新，使得呈现来自该新方向的视图。当用户使用VR观看器或HMD(例如中国台湾HTC公司的Vive或Google公司的Cardboard)通过适当配置的智能电话进行观看时，则仅通过用户转动他们的头以面向新的方向，所述视图就被更新到新的方向。作为替代，这种360
°
媒体可在智能电话或计算机工作站上被观看，其中通过移动鼠标或在触摸屏或其他用户界面上拖动来实现面向的改变，使得显示通过来自新面向的视点的视图而被更新。
[0007]在一些情况下(其中相机的数量和覆盖足够)，这样的360
°
沉浸式媒体可以是立体的(即，3D)。当使用立体观看器观看时，可产生两个视图，这两个视图都基于相同的面向，但是一个面向用户的左眼，一个面向用户的右眼，产生在所述面向方向上来自有利地位的3D视图。360
°
视频的许多示例出现在由加利福尼亚州Mountain View的Google公司的YouTube网站提供的虚拟现实频道上。
[0008]所述3D DOF VR不限于360
°
图像或由相机捕获的视频。这样的内容可以是动画的或计算机生成的。这样的沉浸式媒体可以是交互式的。例如，(可能在特定时间)在VR中面向特定方向可以改变表现，如在动画或非动画场景中，其可以保持相当静态直到用户面向VR中提供路径视图的方向，在该点，视点可以沿着该路径前进，可能直到需要某种决定，或者直到需要路径选择处的某个下一个特定面向或其他交互。

技术实现思路

[0009]根据本公开的一个方面，提供了一种方法，该方法包括：接收来自第一用户的第一音频内容；基于所述第一用户面向视听内容的至少一个第一区段(section)的第一观看方向并且基于第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。
[0010]根据本公开的一个方面，提供了一种装置，该装置包括处理器和耦合到处理器的至少一个存储器，所述处理器被配置为：接收来自第一用户的第一音频内容；基于第一用户面向视听内容的至少一个第一区段的第一观看方向和基于第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。
[0011]根据本公开的一个方面，提供了一种方法，该方法包括：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及，输出所述经处理的第一音频内容以用于音频回放。
[0012]根据本公开的一个方面，提供了一种装置，该装置包括处理器和耦合到处理器的至少一个存储器，所述处理器被配置为接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方
向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及，输出所述经处理的第一音频内容以用于音频回放。
[0013]根据本公开的一个方面，提供了一种携带软件程序的计算机可读存储介质，所述软件程序包括用于以下操作的程序代码指令：接收来自第一用户的第一音频内容；基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。
[0014]根据本公开的一个方面，提供了一种携带软件程序的计算机可读存储介质，所述软件程序包括以下操作的程序代码指令：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及输出所述经处理的第一音频内容以用于音频回放。
[0015]根据本公开的一个方面，提供了一种有形地体现计算机可读程序代码指令的非暂时性制品，所述计算机可读程序代码指令在被执行时使计算机：接收来自第一用户的第一音频内容；基于第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。
[0016]根据本公开的一个方面，提供了一种有形地体现计算机可读程序代码指令的非暂时性制品，当执行所述计算机可读程序代码指令时，所述计算机可读程序代码指令使计算机：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及输出所述经处理的第一音频内容以用于音频回放。
[0017]根据本公开的一个方面，一种计算机程序产品，其包括可由处理器执行的代码指令，用于：接收来自第一用户的第一音频内容；基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。
[0018]根据本公开的一个方面，一种计算机程序产品，其包括可由处理器执行的代码指令，用于：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及输出所述经处理的第一音频内容以用于音频回放。
[0019]以上给出了本主题的简化概述，以便提供对本主题实施例的一些方面的基本理解。本
技术实现思路
不是对本主题的详尽综述。其并非旨在标识实施例的关键或重要元件或界定本主题的范围。其唯一目的是以简化形式给出本主题的一些概念，作为稍后给出的更详细描述的序言。
[0020]从以下参照附图进行的对说明性实施例的详细描述中，本公开的附加特征和优点将变得显而易见。
附图说明
根据下面简要描述的示例性附图，可以更好地理解本公开：图1示出了根据本公开的实施例的示例性沉浸式现实系统的简化框图；图2示出了根据本公开的实施例的与头戴式显示设备的用户交互；图3示出了根据本公开的实施例的适合于作为沉浸式现实内容呈现的360
°
平面视图的图；图4示出了根据本公开的实施例的在沉浸式现实本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法(700)，包括：接收(710)来自第一用户的第一音频内容；基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理(720)所述第一音频内容；以及基于所述第一观看方向与所述第二观看方向之间的差异，以一方向性向所述第二用户提供(730)所述经处理的第一音频内容。2.一种装置(160-1、181、184、220、600、156、105)，包括处理器(172、660、110)和耦合到所述处理器的至少一个存储器(176、670、125)，所述处理器被配置为：接收来自第一用户的第一音频内容；基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及基于所述第一观看方向与所述第二观看方向之间的差异，以一方向性将所述经处理的第一音频内容提供给所述第二用户。3.一种方法(800)，包括：接收(810)来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及基于所述第一观看方向与所述第二观看方向之间的差异，以一方向性向所述第二用户输出(820)所述经处理的第一音频内容以用于音频回放。4.一种装置(160-1、181、184、220、600、156、105)，包括处理器(172、660、110)和耦合到所述处理器的至少一个存储器(176、670、125)，所述处理器被配置为：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个区段的第二观看方向；以及基于所述第一观看方向和所述第二观看方向之间的差异，以一方向性向所述第二用户输出所述经处理的第一音频内容以用于音频回...

【专利技术属性】
技术研发人员：威廉，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：