用于空间可扩展视频编码的自适应上采样制造技术

信号处理器从第一质量水平下的信号呈现中选择元素，以便将其上采样成第二（更高）质量水平下的信号呈现的多个元素。信号处理器基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度。所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界。信号处理器利用所生成的量度来计算第二质量水平下的信号中的所述多个元素的设定。所述边界相对于所选元素的位置和取向取决于所选元素附近的元素的设定。

【技术实现步骤摘要】
【国外来华专利技术】用于空间可扩展视频编码的自适应上采样
技术介绍
在信号的编码和解码二者的过程中，CPU（中央处理单元）效率都很重要。最新一代的处理器正变得越来越并行化，其中在每一块单个芯片上有高达数以百计的简单核心。不幸的是，传统的MPEG（运动画面专家组）族编解码器在结构上不是并行的。这是因为以下事实：所述MPEG族编解码器是基于块的，并且每一个图像块必须被顺序地编码和解码，这是由于为了实现高效的压缩，必须使得所有块以某种方式彼此相关。通过把所谓的“切片”（其基本上是被独立于彼此处理的图像的各个片段，就好像它们是被彼此挨着放置的分开的视频一样）引入到MPEG编码中，H.264标准允许并行地处理几个线程（典型地，2或3个线程）。诸如去块效应（即“平滑”各块之间的过渡以便产生更加均匀的图像的滤波器）之类的重要算法元素通常是充满条件指令的全局操作，其不适合于包括并行CPU的应用。当今的CPU和GPU（图形处理单元）通常非常强大；单一GPU可以包括用于执行并行信息处理的几百个计算核心。在使用当前的技术时，图像的一些较大部分可以被存储在处理器高速缓存中以供处理。对把图像分段成多个小块的需要不再适用于现今的CPU和GPU，而这种需要在创建MPEG时是一种驱动因素，这是因为当时的处理器每次只能处理非常小的视频数据组块，并且于是仅仅顺序地进行处理。因此，在实施类似于MPEG类型的编码/解码时可能有一大部分可用处理能力未被使用，其中不必要地将块效应（blockingartifact）引入到信号中。此外，与开发MPEG时的当时情况相比，现今的应用通常需要清晰度高很多的视频编码以及高很多的总体重放质量。在高清晰度（HD）、高质量视频中，在具有低细节（可能甚至失焦）的区域与具有非常精细的细节的区域之间所存在的差异要大得多。这就使得诸如用在MPEG中的那些的频域变换的使用甚至更加不适用于图像处理和重放，这是因为相关频率的范围正变得宽的多。此外，更高分辨率的图像包括更高数量的摄影机噪声和/或胶片颗粒，即，对于观看来说可能相当无关并且需要许多比特来进行编码的非常详细的高频像素过渡。最后，传统的编解码器不适合于在3D或体积成像的情况下高效地执行，这在诸如医疗成像、科学成像等的领域内正变得越来越重要。当今的大多数目标器件支持不同的重放分辨率和质量。所谓的SVC（可扩展视频编码）、即针对可扩展性的当前MPEG标准尚未被行业顺利地接受并且表现出很少的至几乎没有的采用，这是因为其被认为是过于复杂并且在一定程度上导致带宽低效的方式。此外，存在大量已编码视频；也就是说内容提供商通常没有时间定制编码器参数并且对于每一个特定视频流进行实验。当前，内容提供商不喜欢必须人工调整（每次执行编码以及检查结果的质量时）许多编码参数以便成功地编码视频。作为用于编码/解码的MPEG标准的替换，已将所谓的图像金字塔用于编码/解码目的。举例来说，通过利用拉普拉斯金字塔，传统的系统利用高斯滤波器创建了较低分辨率的图像，并且随后建立通过利用严格编程的解码器从较低分辨率水平回到原始水平进行上采样而获得的各图像之间的差异的金字塔。对于传统的拉普拉斯金字塔编码的使用已经被放弃。这样的变换的一种缺陷在于，作者总是试图避免下采样图像中的失真/伪像，因此他们通常使用高斯滤波，因为这是不添加其自身的任何信息的唯一滤波器类型。但是高斯滤波的不可逾越的问题在于其引入了模糊效应，使得在向上扩展回到更高分辨率时，需要过量的图像校正信息来再现原始图像。换句话说，利用传统滤波器的上采样在重建的图像中导致锯齿边缘或模糊边缘。需要利用大量残留数据来校正锯齿边缘或模糊边缘，从而使得这样的编码技术对于使用在较高分辨率的应用中来说是不合期望的。
技术实现思路
本文中的实施例相对于传统的系统和方法而偏离，以在从信号的较低分辨率呈现进行上采样时减少以足够的精度重建信号所需的残留数据的量。举例来说，本文中的实施例是针对在上采样过程中利用一个或多个不同的上采样操作来锐化以及“去混合（deblend）”所识别出的过渡区域的独特方式。所提出的上采样技术的特定配置减少了在分层结构中的相继更高的质量水平下解码信号时重建信号所需的数据量，这是因为上采样操作实现更高质量水平的更加精确的重建。更具体来说，本文中的一个实施例包括被配置成在分层结构中的更高质量水平下重建信号的信号处理器。举例来说，所述信号处理器从第一质量水平下的信号呈现中选择一元素，以将其上采样成第二（更高）质量水平下的信号呈现的多个元素。在一个实施例中，信号处理器基于第一质量水平下的信号呈现中的所选元素附近的元素的设定，对信号的每一个元素产生量度。所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界。所述边界相对于所选元素的位置和取向取决于所选元素附近的元素的设定。信号处理器利用所生成的量度（其定义边界）来计算第二质量水平下的信号中的多个元素的设定。相应地，所选元素附近的元素的设定指示如何把所选元素上采样成所述多个元素。取决于实施例，由所述量度定义的边界可以是线、平面表面等等。被上采样的信号可以是二维图像（例如图片、视频帧、2D运动图等等）、三维图像（例如3D/体积图像、全息图像、CAT扫描、医疗/科学图像、3D运动图等等）、以多于三维为特征的信号、基于时间的信号（例如音频信号、视频信号等等），等等。被指派给特定信号元素的设定可以表示不同颜色平面（例如RGB、YUV、HSV等等）的颜色、属性（例如密度、放射性、组织类型、地形类型、温度、定义图像属性的参数等等）、运动矢量（例如用笛卡尔坐标、极坐标等表示）等等。为了简单起见，本文中所说明的实施例常常涉及被显示为设定的2D平面的图像（例如适当颜色空间内的2D图像），诸如例如图片。在一个实施例中，信号处理器响应于检测到所选元素的设定落在由将被上采样的所选元素附近的元素定义的范围内而产生所述量度。落在所述范围内表明所选元素落在过渡区域或边缘上。根据这样的实施例，并且为了测试所选元素是否落在过渡区域上，信号处理器基于所选元素附近的第一元素集合中的至少一个元素的设定生成第一数值。信号处理器基于所选元素附近的第二元素集合中的至少两个元素的设定生成第二数值。信号处理器随后产生如下范围，在该范围中所述两个数值当中的较大数值定义该范围的上限，而另一个数值定义该范围的下限。如前所述，如果所选元素的设定落在所述范围内，则信号处理器认为所选元素位于过渡区域或边缘上。根据其他实施例，信号处理器利用所述量度作为将所选元素上采样成多个元素的基础。举例来说，信号处理器识别出所述多个元素（即下一更高质量水平下的上采样元素）中的第一元素，其中由所述量度定义的边界与第一元素相交。对于第一元素，信号处理器利用所述量度来计算该第一元素的设定。信号处理器把第一元素的数值设定在被指派给第一元素集合的设定与被指派给第二元素集合的设定之间。此外，信号处理器识别出所述多个元素中的第二元素，其中由所述量度定义的边界不与第二元素相交。对于该第二元素：响应于检测到第二元素的全部都位于由所述量度定义的边界与第一元素集合（例如定义所述范围极限的元素）之间，信号处理器把第二元素设定到与被指派给第一元素集合的设定基本上相等的数值。按照类似的方式，信号处理器识别出所述本文档来自技高网...

【技术保护点】
一种在分层结构中的更高质量水平下重建信号的方法，所述方法包括：从第一质量水平下的信号呈现中选择元素，以将其上采样成第二质量水平下的信号呈现的多个元素，其中第二质量水平高于第一质量水平；基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度，所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界；以及利用所述量度来计算第二质量水平下的信号中的所述多个元素的设定。

【技术特征摘要】
【国外来华专利技术】2011.07.21 US 13/188,2201.一种在分层结构中的更高质量水平下解码信号的方法，每个处于给定质量水平下的信号呈现包括多个元素，每个元素对应于给定位置处的信号采样，并且每个元素由至少一个设定来表征，所述方法包括：解码第一质量水平下的信号呈现；从第一质量水平下的信号呈现中选择元素，以将其上采样成第二质量水平下的信号呈现的多个元素，第二质量水平高于第一质量水平；基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度，所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界；利用所述量度来计算第二质量水平下的第一信号呈现中的所述多个元素的设定；以及将第二质量水平下的第一信号呈现与残留数据相组合，从而产生第二质量水平下的第二信号呈现，其中利用所述量度包括：检测到由所述量度定义的边界与第二质量水平下的信号中的所述多个图像元素中的特定元素相交。2.如权利要求1所述的方法，还包括：响应于检测到所选元素的设定落在一定范围内而产生所述量度，所述范围的下限由第一元素集合的设定来定义，所述范围的上限由第二元素集合的设定来定义。3.如权利要求1所述的方法，其中，利用所述量度来计算第二质量水平下的信号中的所述多个元素的设定包括：识别出所述多个元素中的第一元素，其中由所述量度定义的边界与第一元素相交；对于第一元素：利用所述量度来计算第一元素的设定，所述设定是处于被指派给第一元素集合的设定与被指派给第二元素集合的设定之间的数值；识别出所述多个元素中的第二元素，其中由所述量度定义的边界不与第二元素相交；以及对于第二元素：响应于检测到第二元素的全部都位于由所述量度定义的边界与第一元素集合之间，把第二元素设定到与被指派给第一元素集合的设定基本上相等的数值；以及响应于检测到第二元素的全部都位于由所述量度定义的边界与第二元素集合之间，把第二相应元素设定到与被指派给第二元素集合的设定基本上相等的数值。4.如权利要求1所述的方法，其中，所选元素、第一元素集合和第二元素集合定义第一质量水平下的图像的一部分；并且其中，所述边界对应于覆盖在第一质量水平下的图像的所述部分上的线边界，所述线边界被用来计算第二质量水平下的信号中的多个图像元素的设定。5.如权利要求4所述的方法，还包括：响应于检测到所选元素的设定落在一定范围内而产生所述量度，所述范围的下限由第一元素集合的设定来定义，所述范围的上限由第二元素集合的设定来定义。6.如权利要求1所述的方法，其中，利用所述量度还包括：对于所述特定元素，计算i）对应于位于所述边界与第一元素集合之间的所述特定元素的百分比的第一数值，以及ii）对应于位于所述边界与第二元素集合之间的所述特定元素的百分比的第二数值；以及在基于第一数值和第二数值的范围内计算所述特定元素的设定，所述范围的下限由第一元素集合的设定来定义，所述范围的上限由第二元素集合的设定来定义。7.如权利要求1所述的方法，其中，所选元素、第一元素集合和第二元素集合定义第一质量水平下的体积图像的一部分；并且其中，所述量度定义第一质量水平下的体积图像的所述部分中的表面边界，所述量度被用来计算第二质量水平下的信号中的多个体积图像元素的设定。8.如权利要求7所述的方法，还包括：响应于检测到所选元素的设定落在一定范围内而产生所述量度，所述范围的下限由第一元素集合的设定来定义，所述范围的上限由第二元素集合的设定来定义。9.如权利要求8所述的方法，其中，利用所述量度包括：检测到由所述量度定义的表面边界与第二质量水平下的体积图像中的所述多个图像元素中的特定体积元素相交；对于所述特定体积元素，计算i）对应于位于所述表面边界与第一元素集合之间的所述特定体积元素的百分比的第一数值，以及ii）对应于位于所述表面边界与第二元素集合之间的所述特定体积元素的百分比的第二数值；以及在基于所述第一数量和所述第二数量的设定的范围内计算所述特定体积元素的设定。10.如权利要求1所述的方法，还包括：对于第一质量水平下的信号呈现中的多个元素中的每一个重复以下步骤：从第一质量水平下的信号呈现中选择下一个元素以进行上采样；基于第一质量水平下的信号呈现中的所述下一个所选元素附近的元素的设定有条件地产生相应的量度，所述相应的量度指示所述下一个所选元素附近的第一元素集合与所述下一个所选元素附近的第二元素集合之间的边界。11.如权利要求1所述的方法，还包括：分析所选元素附近的元素的设定以选择第一元素集合和第二元素集合；基于所选元素附近的第一元素集合中的至少一个元素的设定生成第一数值；基于所选元素附近的第二元素集合中的至少两个元素的设定生成第二数值；产生一个范围，其中第一数值定义所述范围的上限，并且第二数值定义所述范围的下限；以及利用所述量度...

【专利技术属性】
技术研发人员：卢卡·罗萨托，圭多·梅亚尔迪，
申请(专利权)人：卢卡·罗萨托，圭多·梅亚尔迪，
类型：发明
国别省市：意大利;IT