增强视频流的视频帧中的感兴趣区域制造技术

描述了用于增强视频流的视频帧中的感兴趣区域的方法。该方法包括接收定义至少一个基础流的基础视频帧的媒体数据，所述基础流与一个或多个增强图块流相关联，增强图块流包括定义包括图块的图块化视频帧的媒体数据，所述图块包括用于增强基础视频帧的图像区域的子区域中的视觉内容的媒体数据；请求一个或多个增强图块流的媒体数据，优选地一个或多个HEVC增强图块流的媒体数据，一个或多个增强图块流与用于增强至少一个感兴趣区域中的视觉内容的媒体数据相关联；基于至少一个基础流的媒体数据生成基础视频帧，并基于一个或多个增强图块流的媒体数据生成图块化视频帧，图块化视频帧包括形成至少一个感兴趣区域的视觉内容的一个或多个图块；以及，用图块化视频帧的所述增强视觉内容的至少一部分替换或混合所述基础流的视频帧中的所述至少一个感兴趣区域的视觉内容的至少一部分。

【技术实现步骤摘要】
【国外来华专利技术】增强视频流的视频帧中的感兴趣区域
本专利技术涉及增强视频流的视频帧中的至少一个感兴趣区域，并且特别地但非排他性地涉及用于增强视频流的视频帧中的至少一个感兴趣区域的方法和系统、用于增强视频流的视频帧中的至少一个感兴趣区域的媒体设备、用于使得媒体设备能够增强视频流的视频帧中的至少一个感兴趣区域的数据结构以及用于执行这样的方法的计算机程序产品。
技术介绍
在诸如与虚拟现实（VR）和360度视频有关的应用之类的某些视频应用中，可能期望要增强媒体流的视频帧中的观看者感兴趣的区域。这样的区域可以被称为感兴趣区域（ROI）。用于确定图像区域中的ROI的已知技术是基于内容的。通常，使用例如对象跟踪、光流（视频中的运动）、面部检测、车辆检测等来分析视频帧中的内容。此后，可以处理检测到的ROI以便增强ROI内的视频质量。用以实现视频图像中的这种局部质量增强的一种途径是被称为基于ROI的视频编码的技术。基于ROI的视频编码可以与可扩缩视频编码（SVC）组合，SVC是视频编码标准MPEG-4第10部分AVC/H.264的扩展，其使得能够实现多层编码方案。在其最简单的用法中，在提供不同的质量等级和分辨率的不同依赖层（dependentlayer）中对原始视频进行编码，所述不同依赖层例如基础层和一个或多个增强层，其中基础层提供最低质量并且其中增强层仅包括以已编码形式的残差信息（即，高质量减去低质量的信息），从而使得基础层与增强层相组合而产生高质量视频帧。因而，如果用户想要更高的质量，则SVC解码器将不得不解码基础层加上第一增强层，由此增强层的解码依赖于基础层。类似地，与第一和第二增强层相结合地解码基础层将产生甚至更高质量的视频。通过更高质量的视频，我们意指更高的空间分辨率（即，更多的像素）或者更高的信噪比（SNR），其以更高的保真度再现原始源视频。这两种增强都有助于使人眼感知到的视频质量更高。由Jung-HwanLee、Yoo，C.在IEEE关于消费者电子产品的学报（ConsumerElectronics,IEEETransactionson）中的第57卷、第2期、第882-887页、2011年五月所著的文章“用于基于H.264/SVC的视频流式传输的可扩缩roi算法（ScalableroialgorithmforH.264/SVC-basedvideostreaming）”描述了一种要通过利用SVC视频编码标准来增强视频流的ROI的技术，其中使用基础层来以可接受的质量编码视频。另外，产生仅包括以更高质量编码的ROI的增强层。结果，不同的增强层仅覆盖基础层的视频帧的全部图像区域的一部分。ROI增强层被包含在同心切片（slice）中，这些同心切片的形状由MPEG-4第10部分AVC/H.264中描述的灵活宏块排序（FMO）特征来实现。在此现有技术中，增强层的解码取决于基础层的可用性。与基于ROI的视频编码相关联的一个问题是它依赖于关于观看者感兴趣的ROI的先验知识。在使用高密度全景式或沉浸式视频时，检测到的对象和相关联的ROI的数量会显著提高，并且无法再维持这种先验知识的可用性。例如，不同的用户可对不同的ROI感兴趣，例如，在视频监控中，第一警务人员可能希望具有关于图像中的车辆（特别地，牌照）的高质量视图，而另一第二警务人员可能只对行人的面部的高质量视图感兴趣。在这样的情形中，可以生成包括这两个ROI的增强层，使得第一用户将接收关于第二用户的ROI的信息，并且反之亦然，由此造成带宽的浪费。即使可以基于数个用户简档来产生多个层，但最终这样的途径未提供可扩缩的解决方案。在数百个用户的情况下，产生数百个增强层在计算上不是高效的。结果，初始被标识为ROI、作为增强层的一部分被解码并被发送到客户端的许多区域将最终与用户无关。因而造成带宽的显著浪费。在其它应用中，上述关于ROI的先验知识根本不存在。例如，在诸如视线检测之类的基于上下文的应用中或在其中用户选择一个或多个ROI的用户接口应用中，无法在编码阶段知道视频帧的图像区域的哪些部分将会是ROI。在这样的应用中，不能使用现有的基于ROI的视频编码方案。WO2014111423描述了一种用于提供包括提高的视频质量的高质量（HQ）ROI的视频的系统。WO2014111423提出了两个基本解决方案来实现它。一种解决方案是基于诸如对AVC的SVC扩展之类的可扩缩视频编解码器。在此解决方案中，从源视频中生成编码视频流，其各自包括覆盖源视频的全图像视图的基础层以及包括全图像视图的一部分（图块）的至少一个增强层。每个视频流的解码要求独立的解码实例并且每个视频流的增强层的解码还要求覆盖全图像视图的基础层的可用性。包括HQROI的解码视频流的形成包括：选择包括覆盖ROI的一个或多个HQ图块的增强层，由每个所选增强层的分离的解码实例基于基础层进行单独解码以便形成各自包括不同位置处的一个或多个HQ图块的多个视频帧，以及最终将视频帧组合成包括HQROI的视频帧。在不利用可扩缩视频编解码器的另选解决方案中，每次用编码视频生成多个不同的基本流（elementarystream），其中每个基本流具有不同的高质量图块并且其余的图块为低质量。包括HQROI的解码视频流的形成包括选择包括覆盖ROI所需的一个或多个HQ图块的适当基本流，由每个所选基本流的分离的解码实例基于基础层进行单独解码以便形成各自包括不同位置处的一个或多个HQ图块的多个视频帧，以及最终将视频帧组合成包括HQROI的视频帧。在这两个公开的解决方案中，在组合以进行显示期间通过发信号通知HQ图块应当被重叠在基础层图像的被HQ图块覆盖的部分上（例如，叠加/置于所述部分上/置于所述部分前方）来执行组合。所提出的解决方案需要对媒体数据进行并行解码以便形成各自包括一个（或多个）HQ图块的多个视频帧，并且随后将多个视频帧组合成包括HQROI的视频帧。结果，可能包括或可能不包括增强层的独立视频流的所需并行解码过程/实例的数量与覆盖所选一个或多个ROI所需的所要求的HQ图块的数量线性地比例缩放。因此，当提高图块的数量和可同时选择的ROI的数量时，这种方案将需要并行运行的大量解码实例，这将可同时选择的ROI的数量和图块网格的粒度（例如，可用图块的数量）约束至设备能力。更具体地，在WO2014111423中，客户端上的负担随着解码图块的数量线性提高。这是有问题的，因为ROI增强应用通常需要精细选择需要增强的区域以便适应内容的形状（例如，视频监控中的卡车）。因而，在这种应用中，期望原始视频的精细图块化网格。结果，非常可能的是客户端不得不分离地检索并解码例如九个或更多个基本流/增强层，以便形成包括增强的ROI的一个视频帧。然而，对这么多的基本流/增强层进行解码对于存储器管理而言是计算密集且有挑战的，因为对于每个基本流/增强层，需要分离的解码流水线。此外，当将解码视频帧组合成包括HQROI的视频帧时，在所得到的视频帧中有大量的解码媒体数据未被使用，由此致使解码过程在解码资源方面是低效的。另外，如上所述，WO2014111423中提出的“可扩缩视频编解码器”解决方案依赖于具有支持可扩缩视频编解码器的解码器的客户端设备。此外，由WO2014111423提出的基于非可扩缩编解码器本文档来自技高网...

【技术保护点】
1.用于增强视频流的视频帧中的至少一个感兴趣区域的方法，优选地通过包括客户端设备、第一解码器、第二解码器和渲染设备的媒体设备来增强，所述方法包括：客户端设备接收定义至少一个基础流的基础视频帧的媒体数据，所述基础流与一个或多个增强图块流相关联，其中增强图块流包括定义图块化视频帧的媒体数据，图块化视频帧包括与用于增强基础视频帧的图像区域的子区域中的视觉内容的媒体数据相关联的图块，其中增强图块流的媒体数据可独立于所述基础流的媒体数据进行解码；客户端设备请求一个或多个增强图块流的媒体数据，优选地一个或多个HEVC增强图块流的媒体数据，所请求的媒体数据的图块化视频帧的一个或多个图块与基础视频帧的图像区域中的至少一个预定的感兴趣区域相关联；连接到所述客户端设备的第一解码器基于至少一个基础流的媒体数据生成基础视频帧，并且连接到客户端设备的第二解码器基于一个或多个增强图块流的媒体数据生成图块化视频帧，所生成的图块化视频帧包括在至少一个感兴趣区域中形成增强视觉内容的一个或多个图块；以及，渲染设备通过基于图块化视频帧的增强视觉内容的至少一部分修改所述基础流的视频帧中的至少一个感兴趣区域的视觉内容的至少一部分来形成包括增强感兴趣区域的视频帧，所述修改包括用图块化视频帧的增强视觉内容的至少一部分替换或混合所述基础流的视频帧中的至少一个感兴趣区域的视觉内容的至少一部分。...

【技术特征摘要】
【国外来华专利技术】2015.10.08 EP 15188984.71.用于增强视频流的视频帧中的至少一个感兴趣区域的方法，优选地通过包括客户端设备、第一解码器、第二解码器和渲染设备的媒体设备来增强，所述方法包括：客户端设备接收定义至少一个基础流的基础视频帧的媒体数据，所述基础流与一个或多个增强图块流相关联，其中增强图块流包括定义图块化视频帧的媒体数据，图块化视频帧包括与用于增强基础视频帧的图像区域的子区域中的视觉内容的媒体数据相关联的图块，其中增强图块流的媒体数据可独立于所述基础流的媒体数据进行解码；客户端设备请求一个或多个增强图块流的媒体数据，优选地一个或多个HEVC增强图块流的媒体数据，所请求的媒体数据的图块化视频帧的一个或多个图块与基础视频帧的图像区域中的至少一个预定的感兴趣区域相关联；连接到所述客户端设备的第一解码器基于至少一个基础流的媒体数据生成基础视频帧，并且连接到客户端设备的第二解码器基于一个或多个增强图块流的媒体数据生成图块化视频帧，所生成的图块化视频帧包括在至少一个感兴趣区域中形成增强视觉内容的一个或多个图块；以及，渲染设备通过基于图块化视频帧的增强视觉内容的至少一部分修改所述基础流的视频帧中的至少一个感兴趣区域的视觉内容的至少一部分来形成包括增强感兴趣区域的视频帧，所述修改包括用图块化视频帧的增强视觉内容的至少一部分替换或混合所述基础流的视频帧中的至少一个感兴趣区域的视觉内容的至少一部分。2.根据权利要求1所述的方法，其中，所述媒体数据是由客户端设备基于清单文件而请求的，所述清单文件包括至少一个基础流标识符和与该至少一个基础流标识符相关联的一个或多个增强图块流标识符，优选地，流标识符包括URL（的至少一部分）或包括用于确定这样的URL的信息；清单文件还包括用于向所述客户端设备发信号通知关于所述基础流的视频帧中的视觉内容与所述一个或多个增强图块流的图块化视频帧的图块中的视觉内容之间的空间关系的图块位置信息。3.根据权利要求2所述的方法，其中，位置信息包括一个或多个空间关系描述符（SRD），空间关系描述符与基础流和/或增强图块流相关联，空间关系描述符向客户端设备发信号通知关于视觉内容在基础流的视频帧中的位置和/或关于图块在图块化的增强图块流的图块化视频帧中的位置。4.根据权利要求2或3所述的方法，其中，清单文件还包括与一个或多个增强图块流中的至少一个相关联的增强信息，增强信息被配置用于向客户端设备发信号通知关于由增强图块流提供的增强的类型，并且可选地用于向客户端设备提供与由所述增强图块流标识符定义的一个或多个增强图块流的分辨率、比特率、色彩深度、帧速率中的至少一个相关联的一个或多个增强参数。5.根据权利要求2-4中的任一项所述的方法，包括：确定与所述基础流的视频帧中的至少一个感兴趣区域的位置相关联的ROI位置信息；基于ROI位置信息和图块位置信息来确定一个或多个增强图块流，优选地确定定义与至少一个ROI至少部分地重叠的一个或多个图块的一个或多个增强图块流。6.根据权利要求1-5中的任一项所述的方法，还包括：确定像素替换信息，其用于向渲染设备发信号通知关于与基础流的视频帧中的至少一个感兴趣区域相关联的基础流的视频帧中的像素，优选地，像素替换信息包括位图；渲染设备使用像素替换信息来用图块化视频帧的增强视觉内容的相关联的像素信息替换或混合基础流的视频帧中的至少一个感兴趣区域的至少一部分中的像素信息。7.根据权利要求6所述的方法，其中，像素替换信息是至少部分地基于清单文件中的图块位置信息来确定的，优选地是如权利要求2中定义的图块位置信息和清单文件。8.根据权利要求1-7中的任一项所述的方法，其中，所述形成包括：在所述修改之前，基于关于一个或多个增强图块流的图块化视频帧的视频和/或图片特性的信息来调整所述基础视频帧，优选地调整所述基础视频帧的视频和/或图片特性，所述调整优选地包括提升所述基础视频帧的所述视频和/或图片特性以匹配一个或多个增强图块流的图块化视频帧的视频和/或图片特性。9.根据权利要求1-8中的任一项所述的方法，其中，与第一图块化视频帧中的图块相关联的媒体数据被编码为使得所述媒体数据不具有对第一图块化视频帧中的一个或多个其它图块的媒体数据的任何空间解码依赖性；和/或其中，与所述图块相关联的媒体数据被编码为使得所述媒体数据不具有对在第一图块化视频帧之前或者第一图块化视频帧之后的一个或多个图块化视频帧中的其它图块的媒体数据的任...

【专利技术属性】
技术研发人员：E托马斯，R范布兰登伯格，MO范德文特，
申请(专利权)人：皇家KPN公司，
类型：发明
国别省市：荷兰,NL