当前位置: 首页 > 专利查询>皇家KPN公司专利>正文

基于媒体流来形成拼块化视频制造技术

技术编号:18826660 阅读:21 留言:0更新日期:2018-09-01 14:40
描述了基于拼块流由客户端计算机形成视频拼接的方法。所述方法可以包括:从第一组拼块流标识符中确定与第一拼块位置相关联的第一拼块流标识符和从第二组拼块流标识符中确定与第二拼块位置相关联的第二拼块流标识符;所述第一和第二组分别与第一和第二视频内容相关联;拼块流标识符与包括媒体数据和拼块位置信息的拼块流相关联,所述拼块位置信息用于发信号通知与所述客户端计算机相关联的解码器模块以生成包括拼块位置处的拼块的视频帧,所述拼块定义所述视频帧的图像区域中的视觉内容的子区域;基于所确定的第一拼块流标识符请求第一拼块流的一个或多个网络节点传输,并且基于所选择的所确定的第二拼块流标识符请求第二拼块流的传输;以及将第一和第二媒体数据与第一和第二拼块位置信息组合成由所述解码器模块可解码的比特流,所述第一和第二拼块位置信息发信号通知所述解码器模块将所述比特流解码成包括在第一拼块位置处的第一拼块和在第二拼块位置处的第二拼块的视频拼接的视频帧。

【技术实现步骤摘要】
【国外来华专利技术】基于媒体流来形成拼块化视频
本专利技术涉及基于媒体流来形成拼块化(tiled)视频,并且具体地但非排他地涉及用于基于拼块流(tilestream)来形成拼块化视频的方法和系统、用于形成拼块化视频的客户端计算机、用于使得客户端计算机能够形成拼块化视频的数据结构以及用于使用如上面所提及的方法的计算机程序产品。
技术介绍
诸如视频拼接(videomosaic)之类的拼块化视频是在一个或多个显示设备上组合呈现视觉上不相关的或相关的视频内容的多个视频流的示例。此类视频拼接的示例包括电视频道拼接,其包括在单个拼接视图中的多个电视频道以用于快速频道选择以及包括在单个拼接中的多个安全视频馈送以用于紧凑概览的安全相机拼接。当不同的人员需要不同的视频拼接时,视频拼接的个性化常常是所期望的,例如:个性化的电视频道拼接,其中每个用户可以具有他自己的优选的电视频道集合,个性化的交互式电子节目指南(EPG),其中每个用户能够组成与由EPG指示的电视节目相关联的视频拼接,或者个性化的安全相机拼接,其中每个安全官员可以具有他自己的一组安全馈送。在视频拼接示出当前最受关注的电视频道时的情况下,在用户电视频道偏好可能改变时或当电视频道收视率波动时个性化可随时间而改变,并且当安全官员改变位置时,其他安全视频馈送可针对该安全官员而变成相关的。另外地和/或替代地,视频拼接可以是交互式的,即被配置成响应于用户输入。例如,当用户从电视频道拼接中选择特定拼块时,电视可以切换到特定频道。WO2008/088772描述了用于生成视频拼接的传统过程。该过程包括选择处理所选视频的不同视频和服务器应用,使得表示视频拼接的视频流可以被传输到客户端设备。视频处理可以包括对视频进行解码,在解码域中空间地组合和拼连所选视频的视频帧,并将视频帧重新编码成单个视频流。这个过程在解码/编码和缓存方面需要很多资源。此外,双重编码过程首先在视频源处并其次在服务器处导致原始源视频的质量降级。Sanchez等人的文章“LowComplexitycloud-video-mixingusingHEVC”,第十一届每年IEEECCNC——多媒体联网、服务和应用2014、第214-218页描述了一种用于创建用于视频会议和监视应用的视频拼接的系统。该文章描述了基于符合标准的HEVC视频压缩标准的视频混合器解决方案。通过重写与这些视频流中的NAL单元相关联的元数据,在网络中将与不同视频内容相关联的不同HEVC视频流组合。因此,服务器重写包括视频流的编码视频内容的传入NAL单元,并将那些组合/对接成表示拼块化HEVC视频流的NAL单元的传出流,其中每个HEVC拼块表示视频拼接的图像区域的子区域。视频混合器的输出可以通过对编码器模块放置特殊约束而由符合标准的HEVC解码器模块来进行解码。因此,Sanchez描述了一种用于在编码域中组合视频内容的解决方案,使得消除或至少大大减少对包括解码域中的解码、拼连、以及重新编码的资源密集型过程的需求。由Sanchez提出的解决方案的问题是:所创建的视频拼接需要在服务器上的专门过程,因此所需的服务器处理能力仅仅随着用户数目线性地(即差劲地)缩放。在以大规模提供此类服务时,这是主要的可缩放性问题。此外,客户端-服务器信令协议引入了延迟,因为发送对特定拼接的请求并且然后-响应于该请求-组成该视频拼接并将视频拼接传输给客户端需要花费时间。另外,服务器形成针对该服务器所递送的所有流的单点故障以及单点控制两者,这在隐私和安全方面构成风险。最后,由Sanchez等人提出的系统不允许第三方内容提供者。提供给客户端的所有内容都需要被负责组合视频的中央服务器知晓。将Sanchez的视频混合器功能传送到客户端侧可以部分地解决上述问题。然而,这将需要客户端解析HEVC编码比特流、检测相关参数和头部、并重写NAL单元的头部。这样的能力要求超越了商用现成的符合标准的HEVC解码器模块的数据储存和处理能力。此外,当前HEVC技术不提供用于选择与不同拼块位置和不同内容源相关联的不同HEVC拼块流所需的功能性。例如,在2014年3月的ISO稿件ISO/IECJTC1/SC29/WG11MPEG2014中,描述了空间相关的HEVC拼块如何可以用信号通知给DASH客户端设备(例如,被配置用于使用DASH来接收流的客户端设备或计算机)以及如何可以下载这样的HEVC拼块而无需下载所有其他拼块的场景。此文件描述了其中一个视频源被编码在HEVC拼块中的场景,所述HEVC拼块作为存储在服务器上的单个文件(由一个编码过程产生的单个ISOBMFF数据容器)中的HEVC拼块轨道而被存储。描述数据容器中的HEVC拼块的清单文件(在DASH中被称为媒体呈现描述或MPD)可用于选择和播出所存储的HEVC拼块轨道中的一个。类似地,WO2014/057131描述了用于基于MPD从源自一个单一视频(即,通过对单一视频源进行编码而形成的HEVC拼块)的HEVC拼块集合中选择HEVC拼块的子集(感兴趣区域)的过程。MITSUHIROHIRABAYASHI等人:“关于DASHSRD的MPD中的HEVC拼块轨道的考虑”,108.MPEGMEETING;31-03-2014-4-4-2014;VALENCIA;运动图像专家组或ISO/IECJTC1/SC29/WG11,m33085,2014年3月29日(2014-03-29)描述了用于在DASHSRD上映射HEVC流的HEVC拼块轨道的方式。描述了两个用例。一个用例假设所有HEVC拼块轨道和相关联的HEVC基础轨道都被包括在单个MP4文件中。在此情况下,建议将所有HEVC拼块轨道和HEVC基础轨道映射到SRD中的子表示。其它用例假设HEVC拼块轨道和HEVC基础轨道中的每个被包括在单独的MP4文件中。在这种情况下,建议将所有HEVC拼块轨道MP4文件和HEVC基础轨道MP4文件映射到适配集合(AdaptationSet)内的表示。应该注意的是,根据2.3节和2.3.1节,描述拼块视频的所有HEVC拼块轨道都涉及相同的HEVC流,这意味着它们是单个HEVC编码过程的结果。这进一步意味着所有这些HEVC拼块轨道都与进入HEVC编码器的相同输入(视频)流相关。2014年10月22日(2014-10-22)的GB2513139A(佳能株式会社[JP])公开了一种使用DASH标准来流式传输视频数据的方法,将视频的每一帧划分成n个空间拼块,n是整数,以便创建n个独立的视频子轨道。该方法包括:由服务器将(MPD)媒体呈现描述文件传输到客户端设备,所述描述文件包括关于n个视频子轨道的空间组织的数据和分别指定每个视频子轨道的至少n个URL;由客户端设备根据由客户端设备或客户端设备的用户所选择的一个感兴趣区域来选择一个或多个URL;由服务器从客户端设备接收用于请求所得到数目的视频子轨道的一个或多个请求消息,每个请求消息包括由客户端设备选择的URL之一,并且响应于请求消息,由服务器将与所请求的视频子轨道相对应的视频数据传输到客户端设备。2015年1月29日(2015-01-01)的WO2015/011109A1(佳能株式会社[JP]);佳能欧洲有限公司(GB)公开了在服务器中封装分区定时媒本文档来自技高网...

【技术保护点】
1.一种从多个拼块流形成解码视频流的方法,所述方法包括:‑客户端计算机从第一组拼块流标识符中选择与第一拼块位置相关联的至少第一拼块流标识符和从第二组拼块流标识符中选择与第二拼块位置相关联的至少第二拼块流标识符,所述第一拼块位置不同于所述第二拼块位置;所述第一组拼块流标识符识别包括第一视频内容的至少一部分的已编码媒体数据的拼块流,并且所述第二组拼块流标识符识别包括第二视频内容的至少一部分的已编码媒体数据的拼块流,所述第一和所述第二视频内容是不同的视频内容,优选地,组中的每个拼块流标识符与不同的拼块位置相关联;拼块流包括媒体数据和拼块位置信息,所述拼块位置信息被布置用于发信号通知解码器将所述拼块流的媒体数据解码成拼块化视频帧,拼块化视频帧包括由所述拼块位置信息指示的拼块位置处的至少一个拼块,拼块表示所述拼块化视频帧的图像区域中的视觉内容的子区域;‑所述客户端计算机基于所选择的第一拼块流标识符请求优选地一个或多个网络节点将与第一拼块位置相关联的第一拼块流传输到所述客户端计算机,并且基于所选择的第二拼块流标识符请求将与第二拼块位置相关联的第二拼块流传输到所述客户端计算机;‑所述客户端计算机将至少所述第一和第二拼块流的媒体数据和拼块位置信息组合成由所述解码器可解码的比特流,并且‑所述解码器通过将所述比特流解码成拼块化视频帧来形成解码视频流,每个拼块化视频帧包括表示所述第一拼块流的媒体数据的视觉内容的在所述第一拼块位置处的第一拼块以及表示所述第二拼块流的媒体数据的视觉内容的在所述第二拼块位置处的第二拼块。...

【技术特征摘要】
【国外来华专利技术】2015.08.20 EP 15181677.41.一种从多个拼块流形成解码视频流的方法,所述方法包括:-客户端计算机从第一组拼块流标识符中选择与第一拼块位置相关联的至少第一拼块流标识符和从第二组拼块流标识符中选择与第二拼块位置相关联的至少第二拼块流标识符,所述第一拼块位置不同于所述第二拼块位置;所述第一组拼块流标识符识别包括第一视频内容的至少一部分的已编码媒体数据的拼块流,并且所述第二组拼块流标识符识别包括第二视频内容的至少一部分的已编码媒体数据的拼块流,所述第一和所述第二视频内容是不同的视频内容,优选地,组中的每个拼块流标识符与不同的拼块位置相关联;拼块流包括媒体数据和拼块位置信息,所述拼块位置信息被布置用于发信号通知解码器将所述拼块流的媒体数据解码成拼块化视频帧,拼块化视频帧包括由所述拼块位置信息指示的拼块位置处的至少一个拼块,拼块表示所述拼块化视频帧的图像区域中的视觉内容的子区域;-所述客户端计算机基于所选择的第一拼块流标识符请求优选地一个或多个网络节点将与第一拼块位置相关联的第一拼块流传输到所述客户端计算机,并且基于所选择的第二拼块流标识符请求将与第二拼块位置相关联的第二拼块流传输到所述客户端计算机;-所述客户端计算机将至少所述第一和第二拼块流的媒体数据和拼块位置信息组合成由所述解码器可解码的比特流,并且-所述解码器通过将所述比特流解码成拼块化视频帧来形成解码视频流,每个拼块化视频帧包括表示所述第一拼块流的媒体数据的视觉内容的在所述第一拼块位置处的第一拼块以及表示所述第二拼块流的媒体数据的视觉内容的在所述第二拼块位置处的第二拼块。2.根据权利要求1所述的方法,其中所述第一和第二拼块流的媒体数据基于支持拼块化视频帧的编解码器独立地进行编码,和/或其中所述拼块位置信息进一步发信号通知所述解码器:所述第一和第二拼块是基于拼块网格在空间上布置的非重叠拼块。3.根据权利要求1或2所述的方法,还包括:提供至少一个清单文件,所述清单文件包括一组或多组拼块流标识符或用于确定一组或多组拼块流标识符的信息,优选地一组或多组URL、与预定视频内容和与多个拼块位置相关联的一组拼块流标识符;基于所述清单文件选择所述第一和第二拼块流标识符。4.根据权利要求3所述的方法,其中所述清单文件包括一个或多个适配集合,适配集合定义一组表示,表示包括拼块流标识符;其中在适配集合中的每个拼块流标识符与空间关系描述(SRD)描述符相关联,所述空间关系描述符发信号通知所述客户端计算机关于与所述拼块流标识符相关联的拼块流的视频帧的拼块的拼块位置的信息;或者,其中在适配集合中的所有拼块流标识符与一个空间关系描述(SRD)描述符相关联,所述空间关系描述符发信号通知所述客户端计算机有关在所述适配集合中被识别的拼块流的视频帧的拼块的拼块位置。5.根据权利要求2-4中任一项所述的方法,其中所述第一和第二已确定拼块流标识符分别是第一和第二统一资源定位符(URL)(的一部分),其中关于所述第一和第二拼块流的所述视频帧中的拼块的拼块位置的信息被嵌入在所述拼块流标识符中。6.根据权利要求3-5中任一项所述的方法,其中所述清单文件进一步包括用于使得所述客户端计算机能够生成拼块流标识符的拼块流标识符模板,其中关于所述拼块流的所述视频帧中的所述至少一个拼块的拼块位置的信息被嵌入。7.根据权利要求3-6中任一项所述的方法,其中所述清单文件进一步包括与一个或多个拼块流标识符相关联的一个或多个从属参数,从属参数向所述客户端计算机发信号通知:共同具有从属参数且具有不同拼块位置的拼块流的媒体数据和拼块位置信息可组合成所述比特流,优选地,从属参数发信号通知:解码与所述从属参数相关联的拼块流的媒体数据依赖于至少一个基础流的元数据,优选地,所述基础流包括序列信息,所述序列信息用于向客户端计算机发信号通知由所述清单文件中的所述拼块流标识符定义的拼块流的媒体数据需要被组合成由所述解码器可解码的所述比特流所处的顺序。8.根据权利要求7所述的方法,其中所述一个或多个从属参数指向一个或多个表示,优选地,所述一个或多个表示由一个或多个表示ID来识别,所述一个或多个表示定义所述至少一个基础流;或者其中所述一个或多个从属参数指向一个或多个适配集合,优选地,所述一个或多个适配集合由一个或多个适配集合ID来识别,所述一个或多个适配集合中的至少一个包括定义所述至少一个基础流的至少一个表示。9.根据权利要求3-8中任一项所述的方法,其中所述清单文件进一步包括一个或多个从属位置参数,从属位置参数发信号通知所述客户端计算机在其中定义了至少一个基础流的所述清单文件中的至少一个位置,优选地,所述清单文件中的所述位置是由适配集合ID识别的预定义适配集合。10.根据权利要求3-9中任一项所述的方法,其中所述清单文件进一步包括与一个或多个表示或与一个或多个适配集合相关联的一个或多个群组从属参数,群组从属参数向所述客户端计算机发信号通知表示群组,其包括定义所述至少一个基础流的至少一个表示。11.根据权利要求1-10中任一项所述的方法,其中所述至少第一和第二拼块流基于诸如RTP协议的用于分组化媒体数据的传送协议或(HTTP)自适应流式传输协议、媒体流式传输协议或媒体传送协议的数据容器来格式化;和/或,其中由所述第一...

【专利技术属性】
技术研发人员:R范布兰德伯格E托马斯MO范德文特
申请(专利权)人:皇家KPN公司
类型:发明
国别省市:荷兰,NL

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1