用于基于场景的沉浸式媒体的流式传输的智能客户端制造技术

提供了用于在由计算装置执行的媒体流会话期间流式传输基于场景的媒体资产的方法

【技术实现步骤摘要】
【国外来华专利技术】用于基于场景的沉浸式媒体的流式传输的智能客户端
[0001]相关申请的交叉引用
[0002]本申请基于
2022
年4月
14
日提交的标题为“Smart Client for Streaming of Scene
‑
Based Immersive Media”的美国临时专利申请第
63/331,152
号并要求其优先权，以及基于
2023
年3月8日提交的标题为“Smart Client for Streaming of Scene
‑
Based Immersive Media”的美国专利申请第
18/119,074
号的继续申请并要求其优先权，其公开内容通过引用整体并入本文中
。


[0003]本公开内容描述了总体上涉及向客户端装置分发媒体的系统和网络的架构
、
结构和组件的实施方式，所述媒体包括视频
、
音频
、
几何
(3D)
对象
、
触觉
、
相关联的元数据或其他内容
。
特定实施方式涉及用于向异构沉浸式和交互式客户端装置分发媒体内容的系统
、
结构和架构
。

技术介绍

[0004]沉浸式媒体通常是指这样的媒体，所述媒体刺激任何或所有人类感官系统
(
例如，视觉
、
听觉
、
体感
>、
嗅觉以及可能的味觉
)
以创建或增强用户在媒体体验中物理存在的感知，即超出现有
(
例如，“传统”)
商业网络上针对时序二维
(two
‑
dimensional
，
2D)
视频和相应音频所分发的感知；这样的时序媒体也被称为“传统媒体”。
沉浸式媒体还可以被定义为这样的媒体，所述媒体试图通过动力学和物理定律的数字模拟来创建或模仿物理世界，从而刺激任何或所有人类感官系统以创建用户在描绘真实或虚拟世界的场景内物理存在的感知
。
[0005]具有沉浸式媒体能力
(immersive media
‑
capable)
的呈现装置可以指代配备有足够资源和能力以访问
、
解译和呈现沉浸式媒体的装置
。
这样的具有沉浸式媒体能力的装置支持多个
、
多种格式的媒体，并且还支持大规模分发沉浸式媒体所需的多个网络资源
。“大规模”可以指代由服务提供商进行媒体的分发，所述服务提供商通过网络实现与传统视频和音频媒体的分发等同的分发，例如
Netflix、Hulu、Comcast
订阅和
Spectrum
订阅
。
[0006]相比之下，传统呈现装置例如膝上型计算机显示器
、
电视和移动手持式显示器在其能力上是同质的，因为所有这些装置都包括将
2D
矩形视频或静止图像作为其主要视觉媒体格式来消费的矩形显示屏
。
传统呈现装置中通常使用的一些视觉媒体格式可以包括高效视频编码
/H.265、
高级视频编码
/H.264
和通用视频编码
/H.266。
[0007]术语“基于帧的”媒体是指视觉媒体包括一个或更多个连续的矩形图像帧的特性
。
相比之下，“基于场景的”媒体是指由“场景”组织的视觉媒体，其中每个场景是指共同描述视觉场景的各个资产
。
[0008]在示出森林的视觉媒体的情况下，说明了基于帧的视觉媒体与基于场景的视觉媒体之间的比较示例
。
在基于帧的表示中，使用摄像装置诸如移动电话上设置的摄像装置捕获森林
。
用户使摄像装置能够聚焦在森林上，并且手机捕获的基于帧的媒体与用户通过手机上设置的摄像装置视口看到的内容相同，包括用户发起的摄像装置的任何移动
。
所得到
的森林的基于帧的表示是由摄像装置通常以每秒
30
帧或每秒
60
帧的标准速率记录的一系列
2D
图像帧
。
每个图像帧是像素的集合，其中存储在每个像素中的信息是全等
(
一个像素到下一个像素
)
的
。
[0009]森林的基于场景的表示包括描述森林中的对象中的每个对象的各个资产
。
例如，基于场景的表示可以包括称为“树”的各个对象，其中每棵树包括称为“树干”、“树枝”和“树叶”的较小资产的集合
。
每个树干可以进一步由以下单独描述：描述树干的完整
3D
几何形状的网格和应用于树干网格以捕获树干的颜色和辐射特性的纹理
。
此外，树干可以伴随有附加信息，该附加信息在树干的平滑度或粗糙度或反射光的能力方面来描述树干的表面
。
构成场景的各个资产在存储在每个资产中的信息的类型和量方面有所不同
。
[0010]任何媒体在网络上的分发都可以采用下述媒体递送系统和架构：所述媒体递送系统和架构将媒体从输入格式或网络“摄取”媒体格式重新格式化并且
/
或者转换成分发媒体格式，其中，该分发媒体格式不仅适于由目标客户端装置及其应用摄取，而且有助于在网络上被“流式传输”。
网络通常对摄取的媒体执行两个过程：
1)
将媒体从格式
A
变换成适于由目标客户端摄取的格式
B
，即基于客户端摄取某些媒体格式的能力，以及
2)
准备要进行流式传输的媒体
。
[0011]媒体的“流式传输”广义上是指媒体的分段和
/
或打包，使得可以在网络上以根据媒体的时间结构或空间结构中的一者或两者逻辑地组织和排序的连续较小尺寸的组块来递送媒体
。
将媒体从格式
A“变换”(
也称为“转码”)
成格式
B
可以是在将媒体分发至客户端之前通常由网络或由服务提供商执行的过程
。
这样的转码可以包括基于下述先验知识将媒体从格式
A
转换成格式
B
：格式
B
是目标客户端可以摄取的优选格式或唯一格式，或者更适合在资源受限的网络例如商业网络上分发
。
媒体的变换的一个示例是将媒体从基于场景的表示转换成基于帧的表示
。
在一些情况下，反而，在客户端可以接收和处理媒体之前，变换媒体和准备要进行流式传输的媒体的两个步骤是必要的
。
[0012]网络对所摄取的媒体采取行动的上述一个或两个步骤过程
——
即在将媒体分发至客户端本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于在由计算装置执行的媒体流会话期间流式传输基于场景的媒体资产的方法，所述方法包括：提供用于在网络服务器与充当客户端装置的计算装置之间传送关于基于场景的媒体资产的信息的双向接口；以及当被请求时，经由所述接口向所述网络服务器提供客户端装置属性和与客户端装置资源的可用性相关的对应信息，其中，所述客户端装置属性和所述信息被所述计算装置用于渲染所述基于场景的媒体资产
。2.
根据权利要求1所述的方法，其中，所述方法还包括：经由所述接口从所述网络服务器接收请求，所述请求标识要被流式传输的一个或更多个基于场景的媒体资产；响应于所述请求，访问本地存储的
、
先前流式传输的基于场景的媒体资产的列表，以确定所请求的一个或更多个基于场景的媒体资产是否要从所述网络服务器流式传输；以及经由所述接口将所述确定发送至所述网络服务器，其中，所述网络服务器被配置成根据所述确定将关于所述一个或更多个基于场景的媒体资产的信息分发至所述计算装置
。3.
根据权利要求2所述的方法，其中，所述网络服务器被配置成：根据不需要从所述网络服务器流式传输所请求的基于场景的媒体资产的确定，针对所请求的基于场景的媒体资产生成代理，并且将所述代理插入到所述媒体流会话中
。4.
根据权利要求2所述的方法，其中，在所请求的一个或更多个基于场景的媒体资产已经由所述网络服务器生成的确定之后，在所述网络服务器处生成所述请求
。5.
根据权利要求2所述的方法，其中，在所请求的一个或更多个基于场景的媒体资产已经由所述网络服务器生成的确定之前，在所述网络服务器处生成所述请求
。6.
根据权利要求5所述的方法，其中，所述方法还包括：经由所述接口向所述网络服务器发送所述客户端装置属性和关于客户端装置资源的可用性的相关信息，其中，所述网络服务器被配置成根据所述客户端装置属性和关于客户端装置资源的可用性的相关信息将关于所述一个或更多个基于场景的媒体资产的信息分发至所述计算装置
。7.
根据权利要求1所述的方法，其中，所述方法还包括：从所述客户端装置的用户接收用户请求，所述用户请求标识要被流式传输的一个或更多个基于场景的媒体资产；以及经由所述接口将所述用户请求转发至所述网络服务器
。8.
根据权利要求7所述的方法，其中，所述方法还包括：经由所述接口从所述网络服务器接收由所述网络服务器在所述媒体流会话中生成的所述一个或更多个基于场景的媒体资产；以及将所述一个或更多个基于场景的媒体资产存储在所述客户端装置能够访问的媒体存储中
。9.
一种计算装置，包括：至少一个存储器，其被配置成存储计算机程序代码；以及至少一个处理器，其被配置成执行所述计算机程序代码以执行在媒体流会话期间流式传输基于场景的媒体资产的方法，所述方法包括：
提供用于在网络服务器与充当客户端装置的计算装置之间传送关于基于场景的媒体资产的信息的双向接口；以及当被请求时，经由所述接口向所述网络服务器提供客户端装置属性和与客户端装置资源的可用性相关的对应信息，其中，所述客户端装置属性和所述信息被所述计算装置用于渲染所述基于场景的媒体资产
。10.
根据权利要求9所述的计算装置，其中，所述方法还包括：经由所述接口从所述网络服务器接收请求，所述请求标识要被流式传输的一个或更多个基于场景的媒体资产；响应于所述请求，访问本地存储的
、
先前流式传输的基于场景的媒体资产的列表，以确定所请求的一个或更多个基于场景的媒体资产是否要从所述网络服务器流式传输；以及经由所述接口将所述确定发送至所述网络服务器，其中，所述网络服务器被配置...

【专利技术属性】
技术研发人员：阿芮亚娜，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：