流式传输的媒体数据定义的虚拟交互场景中的虚拟相机的相机控制数据制造技术

一种用于检索媒体数据的示例设备包括：存储器，被配置为存储媒体数据；以及一个或多个处理器，在电路中实施并被配置为执行呈现引擎，该呈现引擎被配置为：接收表示包括至少一个虚拟实体对象的虚拟三维场景的流式传输的媒体数据；接收三维场景的相机控制数据，该相机控制数据包括定义阻止虚拟相机穿过至少一个虚拟实体对象的限制的数据；接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据；以及使用相机控制数据，阻止虚拟相机响应于相机移动数据穿过至少一个虚拟实体对象。拟实体对象。拟实体对象。

【技术实现步骤摘要】
【国外来华专利技术】流式传输的媒体数据定义的虚拟交互场景中的虚拟相机的相机控制数据
[0001]相关申请的交叉引用
[0002]本申请要求于2022年3月8日提交的第17/654,020号美国专利申请和于2021年3月10日提交的第63/159,379号美国临时申请的优先权，其中的每一个的全部内容通过引用并入本申请。于2022年3月8日提交的第17/654,020号美国专利申请要求于2021年3月10日提交的第63/159,379号美国临时申请的利益。


[0003]本公开涉及编码视频数据的存储和传输。

技术介绍

[0004]数字视频功能可纳入到广泛的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型计算机或台式计算机、数码相机、数字录音设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星广播电话、视频电话会议设备等。数字视频设备实施视频压缩技术(例如由MPEG
‑
2、MPEG
‑
4、ITU
‑
T H.263或ITU
‑
T H.264/MPEG
‑
4、第10部分、高级视频编解码(AVC)、ITU
‑
T H.265(也称为高效视频编码(HEVC))以及这些标准的扩展所定义的标准中描述的技术)，以更高效地发送和接收数字视频信息。
[0005]视频压缩技术执行空间预测和/或时间预测，以减少或消除视频序列中固有的冗余。对于基于块的视频编解码，视频帧或切片(slice)可以被分割为宏块。每个宏块还可被进一步分割。帧内编码(I)帧或切片中的宏块使用相对于相邻宏块的空间预测进行编码。帧间编码(P或B)帧或切片中的宏块可使用相对于同一帧或切片中相邻宏块的空间预测，或相对于其他参考帧的时间预测。
[0006]在视频数据经编码之后，视频数据可以被打包用于发送或存储。视频数据可以被组合成符合各种标准(例如，国际标准化组织(ISO)的基本媒体文件格式及其扩展格式，如AVC)的视频文件。

技术实现思路

[0007]大体上，本公开内容介绍了与流式传输交互式媒体数据有关的技术。例如，这种交互式媒体数据可以是虚拟现实、增强现实或其他此类交互式内容，例如，其他三维视频内容。最近的MPEG场景描述元素包括对glTF 2.0中定时媒体的支持。媒体访问功能(MAF)为呈现引擎提供了应用编程接口(API)，呈现引擎可通过该接口请求定时媒体。执行MAF的检索单元可以处理检索到的定时媒体数据，并且通过循环缓冲区将经处理的媒体数据以所需格式传递给呈现引擎。当前的MPEG场景描述允许用户以6自由度(6DoF)消费场景媒体数据。因此，用户通常可以在3D场景中自由移动(例如，穿过3D场景中显示的墙)。然而，内容作者可能希望对观看者在某些区域的移动施加限制，例如，阻止穿过显示的墙或其他对象。本公开描述了施加此类限制的技术，这些技术可以改善用户的体验，因为通过阻止用户穿过虚拟
世界中的障碍物，可以使用户的体验更加逼真。
[0008]在一个示例中，检索媒体数据的方法包括：由呈现引擎接收表示包括至少一个虚拟实体对象的虚拟三维场景的流式传输的媒体数据；由呈现引擎接收三维场景的相机控制数据，该相机控制数据包括定义限制的数据，以阻止虚拟相机穿过至少一个虚拟实体对象；由呈现引擎接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据；以及使用相机控制数据，由呈现引擎阻止虚拟相机响应于相机移动数据穿过至少一个虚拟实体对象。
[0009]在另一个示例中，用于检索媒体数据的设备包括存储器，该存储器被配置为存储媒体数据；以及在电路中实施并被配置为执行呈现引擎的一个或多个处理器，该呈现引擎被配置为：接收表示包括至少一个虚拟实体对象的拟三维场景的流式传输的媒体数据；接收三维场景的相机控制数据，该相机控制数据包括定义限制的数据，以阻止虚拟相机穿过至少一个虚拟实体对象；接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据；以及使用相机控制数据，阻止虚拟相机响应于相机移动数据穿过至少一个虚拟实体对象。
[0010]在另一个示例中，计算机可读存储介质其上存储有指令，当这些指令被执行时，使客户端设备的处理器：接收表示包括至少一个虚拟实体对象的拟三维场景的流式传输的媒体数据；接收三维场景的相机控制数据，该相机控制数据包括定义限制的数据，以阻止虚拟相机穿过至少一个虚拟实体对象；接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据；以及使用相机控制数据，阻止虚拟相机响应于相机移动数据穿过至少一个虚拟实体对象。
[0011]在另一个示例中，用于检索媒体数据的设备包括：用于接收表示虚拟三维场景的流式传输的媒体数据的装置模块，该虚拟三维场景包括至少一个虚拟实体对象；用于接收三维场景的相机控制数据的装置模块，该相机控制数据包括定义限制条件的数据，以阻止虚拟相机穿过至少一个虚拟实体对象；用于接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据的装置模块；以及用于使用相机控制数据，阻止虚拟相机响应于相机移动数据穿过至少一个虚拟实体对象的装置模块。
[0012]在另一个示例中，检索媒体数据的方法包括：由呈现引擎接收表示包括至少一个虚拟实体对象的虚拟三维场景的流式传输的媒体数据；由呈现引擎接收表示至少一个虚拟实体对象的边界的对象碰撞数据；由呈现引擎接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据；以及使用对象碰撞数据，由呈现引擎阻止虚拟相机响应于相机移动数据穿过至少一个虚拟实体对象。
[0013]在另一个示例中，用于检索媒体数据的设备包括存储器，该存储器被配置为存储媒体数据；以及在电路中实施并被配置为执行呈现引擎的一个或多个处理器，该呈现引擎被配置为：接收表示包括至少一个虚拟实体对象的虚拟三维场景的流式传输的媒体数据；接收表示至少一个虚拟实体对象的边界的对象碰撞数据；接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据；以及使用对象碰撞数据，阻止虚拟相机响应于相机移动数据穿过至少一个虚拟实体对象。
[0014]在另一个示例中，计算机可读存储介质其上存储有指令，当这些指令被执行时，使客户端设备的处理器：接收表示包括至少一个虚拟实体对象的虚拟三维场景的流式传输的
媒体数据；接收表示至少一个虚拟实体对象的边界的对象碰撞数据；接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据；以及使用对象碰撞数据，阻止虚拟相机响应于相机移动数据穿过至少一个虚拟实体对象。
[0015]在另一个示例中，用于检索媒体数据的设备包括：用于接收表示包括至少一个虚拟实体对象的虚拟三维场景的流式传输的媒体数据的装置模块；用于接收表示至少一个虚拟实体对象的边界的对象碰撞数据的装置模块；用于接收请求虚拟相机移动通过至少一个虚拟实体对象的来自用户的相机移动数据的装置模块；以及用于使用相机控制数据，阻止虚拟相机响应于相机移动数据穿过至少一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种检索媒体数据的方法，所述方法包括：由呈现引擎接收表示包括至少一个虚拟实体对象的虚拟三维场景的流式传输的媒体数据；由所述呈现引擎接收所述三维场景的相机控制数据，所述相机控制数据包括定义虚拟相机的准许位置的数据；由所述呈现引擎接收请求所述虚拟相机移动通过所述至少一个虚拟实体对象的来自用户的相机移动数据；以及使用所述相机控制数据，由所述呈现引擎更新所述虚拟相机的位置，以确保所述虚拟相机保持在所述准许位置内。2.根据权利要求1所述的方法，其中，更新所述虚拟相机的位置包括阻止所述虚拟相机穿过所述至少一个虚拟实体对象。3.根据权利要求1所述的方法，其中，所述流式传输的媒体数据包括glTF 2.0媒体数据。4.根据权利要求1所述的方法，其中，接收所述流式传输的媒体数据包括经由应用编程接口(API)向检索单元请求所述流式传输的媒体数据。5.根据权利要求1所述的方法，其中，所述相机控制数据被包括在MPEG场景描述中。6.根据权利要求1所述的方法，其中，所述相机控制数据包括定义两个或更多个锚点和所述锚点之间的一个或多个分段的数据，所述分段表示所述虚拟相机的准许的相机移动矢量，并且其中，更新所述虚拟相机的位置包括允许所述虚拟相机仅穿越所述锚点之间的分段。7.根据权利要求1所述的方法，其中，所述相机控制数据包括定义表示所述虚拟相机的准许的相机移动体的边界体的数据，并且其中，更新所述虚拟相机的位置包括允许所述虚拟相机仅穿越所述准许的相机移动体。8.根据权利要求7所述的方法，其中，定义所述边界体的所述数据包括定义圆锥体、截锥体或球体中的至少一个的数据。9.根据权利要求1所述的方法，其中，所述相机控制数据被包括在MPEG_camera_control扩展中。10.根据权利要求9所述的方法，其中，所述MPEG_camera_control扩展包括以下中的一个或多个：表示所述虚拟相机的准许路径的锚点的数量的锚点数据；表示所述锚点之间的准许路径的路径分段的数量的分段数据；表示所述虚拟相机的边界体的边界体数据；指示是否在所述锚点中的每一个处修改相机参数的固有参数；以及表示提供所述相机控制数据的访问器的索引的访问器数据。11.根据权利要求1所述的方法，其中，所述至少一个虚拟实体对象包括虚拟墙、虚拟椅子或虚拟桌子中的一个。12.根据权利要求1所述的方法，还包括从所述相机控制数据确定所述虚拟相机的准许路径，其中更新所述虚拟相机的位置包括确保所述虚拟相机仅沿着所述相机控制数据中定义的所述准许路径内的虚拟路径移动。
13.根据权利要求1所述的方法，其中，所述相机控制数据被包括在MPEG_mesh_collision扩展中。14.一种用于检索媒体数据的设备，所述设备包括：存储器，被配置为存储媒体数据；和一个或多个处理器，在电路中实施并被配置为执行呈现引擎，所述呈现引擎被配置为：接收表示包括至少一个虚拟实体对象的虚拟三维场景的流式传输的媒体数据；接收所述三维场景的相机控制数据，所述相机控制数据包括定义虚拟相机的准许位置的数据；接收请求所述虚拟相机移动通过所述至少一个虚拟实体对象的来自用户的相机移动数据；以及使用所述相机控制数据，更新所述虚拟相机的位置，以确保所述虚拟相机保持在所述准许位置内。15.根据权利要求14所述的设备，其中，所述呈现引擎被配置为阻止所述虚拟相机穿过所述至少一个虚拟实体对象。16.根据权利要求14所述的设备，其中，所述流式传输的媒体数据包括glTF 2.0媒体数据。17.根据权利要求14所述的设备，其中，所述呈现引擎被配置为经由应用编程接口(API)向检索单元请求所述流式传输的媒体数据。18.根据权利要求14所述的设备，其中，所述相机控制数据被包括在MPEG场景描述中。19.根据权利要求14所述的设备，其中，所述相机控制数据包括定义两个或更多个锚点和所述锚点之间的一个或多个分段的数据，所述分段表示所述虚拟相机的准许的相机移动矢量，并且其中，为了更新所述虚拟相机的位置，所述呈现引擎被配置为允许所述虚拟相机仅穿越所述锚点之间的分段。20.根据权利要求14所述的设备，其中，所述相机控制数据包括定义表示所述虚拟相机的准许的相机移动体的边界体的数据，并且其中，为了更新所述虚拟相机的位置，所述呈现引擎被配置为允许所述虚拟相机仅穿越所述准许的相机移动体。21.根据权利要求20所述的设备，其中，定义所述边界体的所述数据包括定义圆锥体、截锥体或球体中的至少一个的数据。22.根据权利要求14所述的设备，其中，所述相机控制数据被包括在MPEG_camera_control扩展中。23.根据权...

【专利技术属性】
技术研发人员：I，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：