用于子像素值内插的方法技术

一种在视频编码中的内插方法，其中的一个图像包括以行和列排列并且由具有指定动态范围的值表示的像素，在行中的像素处在单位水平位置而在列中的像素处在单位垂直位置，该图像被内插来产生用于在部分水平和垂直位置的子像素的值，该方法包括步骤：ａ）当需要半单位水平和单位垂直位置、以及单位水平和半单位垂直位置的子像素的值时，直接使用处在单位水平和单位垂直位置的像素加权取和内插这些值；ｂ）当需要在半单位水平和半单位垂直位置的子像素时，直接使用根据步骤（ａ）计算的用于在半单位水平和单位垂直位置的子像素的值的一个加权取和内插这些值；以及ｃ）当需要在四分之一单位水平和四分之一单位垂直位置的子像素的值时，通过取得一个第一对儿像素的值和一个第二对儿像素的值的至少一对儿的平均值内插这种值，该第一对儿像素是处在半单位水平和单位垂直位置的一个子像素以及处在单位水平和半单位垂直位置的一个子像素，而该第二对儿像素是处在一个单位水平和单位垂直位置的一个像素以及处在半单位水平和半单位垂直位置的一个子像素。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及用于在数据的编码和解码过程中进行子像素值内插的方法。尤其涉及但不仅限于数字视频信号的编码和解码。
技术介绍
象记录在胶片上的普通运动画面一样，数字视频序列包括一个静止图像序列，通过以相当快的帧速率，通常是15至30帧/秒，相继显示该图像而产生运动的视觉。由于是相当快的帧速率，连续帧中的图像趋于相当类似而因此包含可观的冗余信息量。例如，一个典型场景可以包括某些静止成分，例如背景和某些运动区域，其运动区域可以有许多不同形式，例如新闻广播员的面部、移动的车辆等。另外，记录该场景的摄像机本身可以是移动着的，在此情况中的全部图像成分都具有相同类型的运动。在多数情况下，这意味着在一个视频帧和随后的视频帧之间的总变化是相当小的。当然，这取决于该运动的性质。例如，移动越快，从一帧至下一帧的变化就越大。类似地，如果一个场景包含若干移动成分，则从一帧至下一帧的变化将会大于只有一个成分在移动的场景中的变化。应该理解，一个未经处理的，即未压缩的数字视频序列的每一个帧都包括非常大量的图像信息。从图像像素的一个阵列形成一个未压缩的数字视频序列的每一帧。例如，在一个称之为四分之一通用中间格式(QCIF)的一个通用数字视频格式中，一帧包括176×144像素的一个阵列，其中每一帧有25344个像素。每一个像素又由一个确定比特数表示，其携带着对应于该像素的图像区域的有关亮度和/或颜色内容的信息。通常，使用所谓的YUV彩色模式来表示图像的亮度和彩色内容。亮度，即Y成分表示图像的光强(亮度)，而图像的彩色内容由标记为U和V的两个色度分量表示。与基于包括基色(即红、绿、蓝，RGB)的显示的彩色模式相比，基于图像信息内容的亮度/色度显示的彩色模式提供了某些优点。人的视觉系统对于光强变化比彩色变化更敏感；通过使用比亮度分量(Y)低的用于色度分量(U，V)空间清晰度，YUV彩色模式利用了特性。以此方式，能够以图像质量的一个可接受的降低来编码一个图像中的彩色信息所需要的信息量。通常是通过子取样来达到色度分量的较低的空间清晰度。通常，16×16图像像素的一个数据块由包括亮度信息的16×16像素的一个数据块一个数据块和相应的色度分量来表示，该相应的色度分量的每一个由表示等于该亮度分量的16×16像素的图像的一个区域的8×8像素的一个数据块表示。该色度分量是在x和y方向上由因素2实现的空间子取样。一个16×16像素亮度数据块和两个8×8像素彩色色度数据块的结果组合通常称作一个YUV宏数据块，简称宏数据块。AQCIF图像包括11×9个宏数据块。如果该亮度数据块和色度数据块以8比特清晰度表示(即以0到255范围中的数字表示)，则每个宏数据块所需比特的总数是(16×16×8)+2×(8×8×8)＝3072比特。表示QCIF格式中的一个视频帧需要的比特数是99×3072＝304,128比特。这意味着，为了以30帧/秒的速率发送/记录/显示QCIF格式的一个视频序列所需要的数据量将大于9Mbps(百万比特/秒)。这是一个很高的数据速率，对于视频记录、传送和显示应用来说是不实用的，因为这将需要很大的存储容量、传输信道容量和硬件性能。如果经一个例如ISDN(综合业务数字网)或一般PSTN(公共事业电话网络)的固定用户线接续网络实时发送视频数据，则可用的数据传输带宽通常是约为64k比特/秒。在移动可视电话中，其中发送至少部分地经无线电通讯链路进行，则该可用频带能够低到20k比特/秒。这意味着必须实现以显著降低的信息量表示视频数据，以便实现经低带宽的通信网络发送数字视频序列。为此原因，已经开发了视频压缩技术，其在保持一个可接受的图像质量的同时降低发送的信息量。视频压缩方法是基于降低冗余和视频序列的感觉无关部分。视频序列中的冗余可以分类为空间、时间和频谱的冗余。空间冗余用于描述在一个帧中的相邻像素之间的相关性。时间冗余表示的事实是出现在一个序列的一帧中的目标可能出现在随后帧中，而频谱冗余则表示同一个图像的不同彩色成分之间的相互关系。通过简单地降低一个给定图像顺序中的各种冗余形式通常不能实现足够有效的压缩。因此，最流行的视频编码器也会降低其主观上最少重要性的视频序列部分的质量。另外，已压缩视频比特数据流的冗余被利用高效低损失编码而自行降低。通常，这是使用称之为可变长度码(VLC)的一种技术实现的。现代的视频压缩标准，例如ITU-T推荐H.261、H.263(+)(++)、H.26L和运动图像专家组推荐MPEG-4，利用的是运动补偿的时间预测。这是时间冗余降低的一种形式，其中通过跟踪帧之间一个图像的目标或区域的运动，从该序列的其它帧中预测一个图像序列中的某些(时常是许多)帧的内容。不利用时间冗余降低的压缩图像通常称为帧内编码，即I帧，而时间预测的图像被称之为帧间编码，即P帧。在帧间的情况下预测的(运动补偿的)图像很少足够精确表示具有足够质量的图像内容，因此空间压缩的预测误差(PE)帧也与每一个中间帧相关。许多视频压缩方案还可以利用双向预测帧，通常被称作B图像或B帧。B图像被插入在基准图像对儿，即所谓的‘定位’图像对儿(I即或P帧)之间，并且从该定位图像的一个或者两者中预测。B图像本身不被用作定位图像，即不从它们预测其它帧，因此它们能够被从该视频序列放弃，而不引起未来图像质量的降低。出现在通常压缩视频序列中的不同类型的帧在附图3中示出。如从该图中所见，序列以一个内帧，即I帧30开始。图3的箭头33表示形成P帧(标记34)的‘正向’预测处理。由箭头31a和31b分别表示形成B帧(36)的双方向的预测处理。附图说明图1和2示出使用运动补偿的预测一个实例视频编码系统的示意图。图1示出一个采用运动补偿的编码器10，而图2示出对应的解码器20。图1示出的编码器10包括一个运动场估计框11、一个运动场编码框12、一个运动补偿的预测框13、一个预测误差编码框14、一个预测误差解码框15、一个复用器框16、一个帧存储器17和一个加法器19。解码器20包括一个运动补偿的预测框21、一个预测误差解码框22、一个多路分解器框23和一个帧存储器24。使用运动补偿的视频编码的操作原理是减小一个预测误差帧En(x，y)中的信息量，该信息量是被编码的当前帧In(x，y)和预测帧Pn(x，y)之间的差值。因此该预测误差帧是En(x，y)＝In(x，y)-Pn(x，y). (1)使用一个基准帧Rn(x，y)的像素值建立预测帧Pn(x，y)，该基准帧一般是预先编码编码发送的帧之一，例如是紧接该当前帧之前并且可从编码器10的帧存储器17得到的帧。更具体地说，通过在实质上对应于当前帧中的像素的基准帧Rn(x，y)中寻找所谓的‘预测像素’来构成该预测帧Pn(x，y)。得到描述在当前帧中的像素和基准帧中的对应预测像素之间的关系(例如相关位置、转动、定标等)的运动信息，而且通过根据该运动信息而移动该预测像素来构成该预测帧。以此方式，使用基准帧中的像素值来构成该预测帧作为当前帧的一个近似表示。因此，上面提到的预测误差帧表示在该由预测帧提供的该当前帧的近似表示和该当前帧本身之间的差值。从当前帧的一个相当简洁的描述能够通过以形成当前帧所要求的运动信息连同在该预测误差帧中的相关预测误差信息一起来表示的事实本文档来自技高网...

【技术保护点】
一种在视频编码中的内插方法，其中的图像包括以行和列排列并且由具有指定动态范围的值表示的像素，在行中的像素处在单位水平位置而在列中的像素处在单位垂直位置，该图像被内插来产生用于在部分水平和垂直位置的子像素的值，该部分水平和垂直位置对应１／２↑［ｘ］定义，其中ｘ是具有最大值为Ｎ的一个正整数，该方法包括步骤：ａ）当需要１／２↑［Ｎ－１］单位水平和单位垂直位置、以及单位水平和１／２↑［Ｎ－１］单位垂直位置的子像素的值时，直接使用处在单位水平和单位垂直位置的像素加权取和内插这些 值；ｂ）当需要在１／２↑［Ｎ－１］单位水平和１／２↑［Ｎ－１］单位垂直位置的子像素的值时，直接使用处在１／２↑［Ｎ－１］单位水平和单位垂直位置的子像素值的第一加权取和以及处在单位水平和１／２↑［Ｎ－１］单位垂直位置的子像素值的第二加 权取和之中选择的一个来内插这些值，该子像素值的第一和第二加权取和是根据步骤（ａ）计算的；以及ｃ）当需要处在１／２↑［Ｎ］单位水平和１／２↑［Ｎ］单位垂直位置的一个子像素的值时，通过取得位于１／２↑［Ｎ－ｍ］单位水平和１／２↑［Ｎ－ｎ ］单位垂直位置的第一子像素或像素的值以及处在１／２↑［Ｎ－ｐ］单位水平和１／２↑［Ｎ－ｑ］单位垂直位置的第二子像素或像素的值的一个加权平均来内插这样的一个值，变量ｍ、ｎ、ｐ和ｑ取在范围１至Ｎ的整数值，使得该第一和第二子像素或像素相对于在１／２↑［Ｎ］单位水平和１／２↑［Ｎ］垂直位置的该子像素对角地定位。...

【技术特征摘要】
...

【专利技术属性】
技术研发人员：M卡策维茨，A哈拉普罗，
申请(专利权)人：诺基亚有限公司，
类型：发明
国别省市：FI[芬兰]