非线性媒体的基于客户端的自适应流式传输制造技术

用于非线性媒体的基于客户端的自适应流式传输的方法包括接收包括限定回放时段的元数据的清单文件，回放时段包括至少一个适配集；元数据还包括至少包含与第一回放时段的第一适配集关联的第一区域描述符的空间回放信息，第一区域描述符限定目的地标识符和第一适配集的视频帧中的第一区域，目的地标识符用信号通知客户端：第一区域被链接到第二适配集；客户端通过请求网络节点传输第一适配集的分段而使用元数据来回放第一适配集的视频数据；在所请求分段的回放期间接收或确定与第一适配集的视频帧中的至少第二区域关联的信息，第二区域限定客户端的用户的ROI；客户端基于第一和第二区域来选择用于在第一适配集的回放结束之后回放的第二适配集。

【技术实现步骤摘要】
非线性媒体的基于客户端的自适应流式传输
本专利技术涉及包括非线性全方位视频的非线性媒体的自适应流式传输，并且特别地但不排他地涉及用于非线性媒体的基于客户端的自适应流式传输的方法和系统、用于非线性媒体的基于客户端的自适应流式传输的客户端装置和服务器装置、使得能实现非线性视频的基于客户端的自适应流式传输的数据结构以及使用这样的方法的计算机程序产品。
技术介绍
相机和图像处理技术二者中的进步不仅使得能够以越来越高的分辨率进行记录，而且使得能够将多个相机的输出拼接在一起。这样，一组相机可以一起以高于8Κx4Κ的分辨率、以全景和/或全方位格式进行记录。视频表示（representation）包括被投影在曲面上的视频，诸如全方位视频或360度视频（其可被称为球面视频），或者更具体的视频表示，诸如柱面视频。这些新的视频表示使得能实现新的用户体验，诸如虚拟现实（VR）、增强现实（AR）和混合现实，所述新的用户体验当前在该行业中增加势头。然而，流式传输高质量的非平面视频内容仍然带来挑战，所述挑战包括所需的高带宽要求和适合于用比特流表示球面内容的格式。随着这些新的视频表示的日益普及，开发了新应用以用于进一步增加用户体验的沉浸感。这些新应用中的一个是所谓的交互式360视频应用，其有时被称为非线性视频的回放。US2017/0053675描述了一种被适配成创建交互式360度视频文件的内容创建系统，所述交互式360度视频文件包含多个被链接的360度视频剪辑。内容创建器系统使得能够将第一360视频剪辑中的链接插入到第二360视频剪辑。该链接可具有所谓的“热点”的形式，通常是以视频上的图形覆盖的形式的指示符，其可以由用户激活。这样，可通过使用光标激活热点来回放内容，所述光标跟随佩戴HMD的用户的观看方向，即视点。内容创建器系统因而使用热点链接了360个视频剪辑，并通过将被链接的剪辑转码为单个交互式360视频文件而创建了一个交互式360视频文件。这样，360视频内容可以经由不同的回放路径来回放。与引用的内容创建器系统相关的问题是它不生成可以以可伸缩的方式分发并且与现有技术水平的流式传输协议（包括例如比如MPEGDASH和HLS之类的HTTP自适应流式传输协议）和诸如内容分发网络（CDN）之类的内容分发系统兼容的内容。这样的特征对于大规模内容递送而言是必不可少的。为了高效的内容流式传输而优化CDN，其中内容文件的不同部分（例如流行和非流行内容、广告内容、频繁使用的图块流等）以分布式方式（即在网络中的不同位置处）存储和/或缓存。涉及内容创建器系统的另一问题是该技术在创作方面不太灵活。一旦视频文件被创建，链接和内容（视频剪辑）就被固定。该技术不允许灵活创作和动态引入360视频的新链接块和/或在回放期间移除到现有360视频的链接。在个性化内容（例如定向广告）的背景下，缺少这样的功能性特别不利，所述个性化内容需要在回放期间动态插入媒体。Krishnamoorthi等人的文章“Empoweringthecreativeuser:personalHTTP-basedadaptivestreamingofmulti-pathnonlinearvideo”第53-58页描述一种能够回放一个类型的非线性媒体的自适应流式传输方案。流式传输过程基于Adobe的HTTP动态流式传输（HDS）协议，其中源视频被划分成一系列所谓的视频片段（即，短持续时间的视频文件，其在其它标准中可被称为大块（chunk）或（媒体）分段（segment））。每个视频片段具有序列号，其中后续视频片段的序列号随回放时间线单调增加。可以以所谓的HDS分段（即视频片段的序列）在逻辑上对表示源视频的视频片段的序列进行格式化，其中每个视频片段可仅是一个分段的部分。描述视频片段和相关联的HDS分段的元数据被存储在清单文件中，并且HDS客户端设备使用清单文件来依据HDS分段中的视频片段的序列号来检索和回放所述视频片段。该文章的作者用下载管理器扩展了HDS客户端设备，所述下载管理器被适配成接收限定HDS分段的不同序列的另一元数据文件，其中HDS分段的每个序列通过顺序地排序的视频片段来限定回放路径。通过HDS分段的序列的不同的回放路径可以用包括分支的树结构来表示，其中在分支处，HDS客户端可以基于某些规则在不同的HDS分段之间进行选择。与以上引用的自适应流式传输方案相关的问题是它在创作、修改回放路径和使回放路径个性化方面仅具有有限的灵活性。由于基于序列号来寻址视频片段的事实，该方案不允许重复回放已经在回放路径中较早回放的一个或多个HDS分段。这在可以回放视频的方式方面提供实质性限制，尤其是在处理球面视频时。以上引用的自适应流式传输方案也没有提供其中作者可以在已经存在的回放方案中灵活地插入不同的替代分段的方案。另一问题是没有提供用于非线性球面视频的自适应流式传输的方案。因此，从以上由此得出结论，在本领域中存在对用于非线性媒体的自适应流式传输的改进的方法和系统的需要。特别地，在本领域中存在对与现有技术水平的内容递送网络兼容的用于非线性媒体的自适应流式传输的方法和系统的需要。此外，在本领域中存在对允许灵活地生成非线性媒体（例如视频和音频数据）的用于非线性媒体的自适应流式传输的方法和系统的需要，其中在流式传输期间，客户端设备可从不同的媒体路径中进行选择，其中每个媒体路径可与不同的媒体体验相关联。
技术实现思路
如由本领域技术人员将领会的，本专利技术的方面可体现为系统、方法或计算机程序产品。因此，本专利技术的方面可采取完全硬件实施例、完全软件实施例（包括固件、驻留软件、微代码等）、或者组合软件和硬件方面的实施例的形式，它们在本文中一般都可被称为“电路”、“模块”或“系统”。本公开中所描述的功能可被实现为由计算机的微处理器执行的算法。此外，本专利技术的方面可采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，所述计算机可读介质有计算机可读程序代码体现（例如存储）在其上。可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以例如是但不限于电子、磁、光学、电磁、红外或半导体系统、装置或设备，或者前述的任何合适的组合。计算机可读存储介质的更具体示例（非详尽列表）将包括以下：具有一根或多根电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪存）、光纤、便携式光盘只读存储器（CD-ROM）、光学存储设备、磁存储设备或者前述的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储用于由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何有形介质。计算机可读信号介质可包括有计算机可读程序代码体现在其中（例如在基带中或作为载波的部分）的传播的数据信号。这样的传播的信号可采取多种形式中的任何形式，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以为不是计算机可读存储介质并且可以传送、传播或输送用于由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何计算机可读介质。计算机可读介质上体现的程序代码可使用任何适当本文档来自技高网...

【技术保护点】
1.一种用于非线性视频的自适应流式传输的方法，包括：客户端装置接收包括限定一个或多个回放时段的元数据的第一清单文件，回放时段限定预定回放持续时间的视频数据，回放时段包括限定多个表示的至少一个适配集，每个表示限定一组分段标识符，每个分段标识符标识包括视频数据的分段，视频数据包括一系列视频帧；元数据进一步包括空间回放信息，所述空间回放信息至少包括与第一回放时段的第一适配集相关联的第一区域描述符，第一区域描述符限定目的地标识符以及第一适配集的视频帧中的第一区域，目的地标识符用信号通知客户端装置：第一区域被链接到第二适配集，优选地，第二适配集与第二区域描述符相关联，第二区域描述符包括与目的地标识符匹配的源标识符；客户端装置通过请求一个或多个网络节点传输第一适配集的分段而使用元数据来回放第一适配集的视频数据；并且，在所请求的分段的回放期间，接收或确定与第一适配集的视频帧中的至少第二区域相关联的信息，第二区域限定客户端装置的用户的感兴趣区域（ROI）；以及，客户端装置基于第一和第二区域来选择用于在第一适配集的回放结束之后回放的第二适配集，所述选择基于第一和第二区域之间的距离或重叠。

【技术特征摘要】
2017.10.03 EP 17194555.31.一种用于非线性视频的自适应流式传输的方法，包括：客户端装置接收包括限定一个或多个回放时段的元数据的第一清单文件，回放时段限定预定回放持续时间的视频数据，回放时段包括限定多个表示的至少一个适配集，每个表示限定一组分段标识符，每个分段标识符标识包括视频数据的分段，视频数据包括一系列视频帧；元数据进一步包括空间回放信息，所述空间回放信息至少包括与第一回放时段的第一适配集相关联的第一区域描述符，第一区域描述符限定目的地标识符以及第一适配集的视频帧中的第一区域，目的地标识符用信号通知客户端装置：第一区域被链接到第二适配集，优选地，第二适配集与第二区域描述符相关联，第二区域描述符包括与目的地标识符匹配的源标识符；客户端装置通过请求一个或多个网络节点传输第一适配集的分段而使用元数据来回放第一适配集的视频数据；并且，在所请求的分段的回放期间，接收或确定与第一适配集的视频帧中的至少第二区域相关联的信息，第二区域限定客户端装置的用户的感兴趣区域（ROI）；以及，客户端装置基于第一和第二区域来选择用于在第一适配集的回放结束之后回放的第二适配集，所述选择基于第一和第二区域之间的距离或重叠。2.根据权利要求1所述的方法，其中第一区域描述符进一步包括时段标识符，时段标识符用信号通知客户端装置：在第二回放时段的元数据中限定第二适配集。3.根据权利要求1或2所述的方法，其中第一区域描述符进一步包括第一区域的位置信息，并且可选地包括与第一区域的尺寸和/或形状相关联的信息，优选地，位置信息包括第一适配集的视频帧中的第一区域的坐标或者用来确定第一适配集的视频帧中的第一区域的坐标的信息。4.根据权利要求1-3中任一项所述的方法，其中空间回放信息进一步包括动态区域参数，动态区域参数用信号通知客户端装置：第一区域的位置作为时间的函数而改变，优选地，与第一区域的位置相关联的坐标被存储作为第一回放时段的视频数据的元数据。5.根据权利要求1-4中任一项所述的方法，其中第一适配集与限定第一适配集的视频帧中的多个区域的位置的多个区域描述符相关联，区域描述符中的每个用信号通知客户端装置：所述多个区域中的每个被链接到另一适配集，客户端装置基于所述多个区域的位置以及客户端装置的用户的感兴趣区域（ROI）的位置来选择第二适配集。6.根据权利要求1-5中任一项所述的方法，其中第一清单文件进一步包括限定第二适配集的元数据，并且可选地，方法进一步包括：客户端装置请求一个或多个网络节点传输第二适配集的分段。7.根据权利要求1-6中任一项所述的方法，其中空间回放信息，优选地是至少第一区域描述符，进一步包括清单文件引用标识符或用于确定清单文件引用标识符的信息，清单文件引用标识符包括限定网络节点的位置的信息，优选地是URL或URI，清单文件引用标识符用信号通知客户端装置请求网络节点将第二适配集的元数据传输到客户端设备，优选地，清单文件引用标识符限定与第二适配集相关联的MPD链锁元素。8.根据权利要求7所述的方法，进一步包括：客户端装置使用清单文件引用标识符来请求网络节点传输包括第二适配集的元数据的第二清单文件，元数据包括分段标识符或与第二适配集相关联的用于确定分段标识符的信息；以及，客户端装置使用第二清单文件来请求网络节点传输第二适配集的分段。9.根据权利要求1-8中任一项所述的方法，其中自适应流式传输基于HTTP自适应流式传输协议，优选地，协议是以下中的一个：通过HTTP的MPEG动态自适应流式传输（MPEGDASH）、3GPPDASH或MPEG常用媒体应用格式（CMAF）；和/或，其中回放时段被限定为如在MPEGDASH标准中限定的时段或如在CMAF标准中限定的CMAF呈现，优选地，时段包括一个或多个适配集，适配集包括一个或多个表示，表示包括包含预定视频质量的视频数据的分段，并且CMAF呈现包括一个或多个CMAF交换集，CMAF交换集包括一个或多个CMAF轨道，轨道包括包含预定视频质量的视频数据的CMAF片段。10.一种客户端装置，包括：具有以其体现的计...

【专利技术属性】
技术研发人员：A德斯瓦普拉塔斯加百列，EDR汤玛斯，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰,NL