定向内插和数据后处理制造技术

本申请涉及一种定向内插和数据后处理。其中，一种用于处理从编码视频中解码的视频流的区域的方法包括以下步骤：接收表示要应用于解码之后的视频流的所述区域的后处理技术的信号，其中，基于应用于所述区域的后处理技术的相关性能，在对视频进行编码之前、在对视频进行编码期间、或在对视频进行编码之后，在解码之前选择后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，标识符被打包为编码视频和编码视频的辅助信息中的至少一个；将所选择的后处理技术应用于解码的视频流的所述区域；其中，如果所述区域不是预定的，则所接收的信号包括关于所述区域的特性的信息。

【技术实现步骤摘要】
定向内插和数据后处理本申请是国家申请号为201080013000.5，进入中国国家阶段的日期为2011年9月20日，专利技术名称为“定向内插和数据后处理”的PCT申请的分案申请。版权通知该专利文献的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对专利文献或专利公开内容的拓制，正如其在专利和商标局专利文件中所发表或记录的，但是无论如何保留所有的版权权利。对相关申请的交叉引用该申请要求2009年4月20日提交的美国专利临时申请第61/170,995号的优先权，其全部内容通过引用合并于此。
本专利技术涉及内插和后处理。
技术介绍
在许多环境和应用中，信号的分辨率可能需要做出让步。例如，这可以用来减小表示信号所需的带宽，降低解码复杂度，适合特定显示装置的特性等。也可以在多个域/维度中指定信号的分辨率。在视频信号的情况下，其中，这可以包括空间(即，水平和垂直)分辨率、时间分辨率、位深度以及甚至立体信息。在许多情况下，可以使一个维度的分辨率做出让步以有利于另一维度的分辨率，例如，在交织视频信号的情况下，牺牲空间分辨率以有利于时间分辨率。对于三维应用，一个让步是使用多种布置在空间上降低采样，并且然后对可用的立体视图进行复用。降低采样可以是基于水平的、垂直的或者甚至梅花(quincunx)的，而数据可以被打包或交织在一起，即，使用棋盘复用(checkerboardmultiplexing)。
技术实现思路
本专利技术人已认识到，在给定转换处理具有关于内容的原始性质和特性的较少信息或没有该信息的情况下，用于规模缩小的或者做出让步的视频和其它数据的重构的当前方法可能在性能方面严重受限，或者在复杂度方面受到约束。在各个实施例中，本专利技术提供了将规模缩小或者做出让步的视频或其它数据重构回其原始的或者甚至更高的/不同的分辨率或格式。例如，720p(1280×720)分辨率的视频可被(或者可能需要被)向上转换为1080p(1920×1080)分辨率以显示在更高分辨率的显示器上。类似地，包括以棋盘布置复用的两个梅花采样的视图的三维信号或者包括以并排布置打包的两个水平或梅花采样的视图的三维信号可能需要被向上转换为两个全分辨率三维视图或者不同的采样布置(诸如逐行)。图9是示例性梅花采样技术的图示，其中，例如，由滤波器/函数/转换f(x)920对全分辨率图像(例如，立体图形图像对的左视图)进行操作并且然后由采样器930对其进行梅花采样。结果是例如如940处所示的样本图案。(像素数据的)样本图案然后可与另一梅花采样的图像(例如，立体对的右视图)或者可能的另一视图或者甚至不相关的图像进行复用，并且然后被编码。处理也可以应用于使用不同采样和打包方法(诸如并排打包的水平采样或者逐行或者上下打包的垂直采样)的图像。转换处理可以使用多种算法来进行，包括例如可分离的或不可分离的滤波器、边缘自适应内插方法等中的任意一个或多个，转换处理在各个实施例中可能还需要信号的分析和表征。图10是根据本专利技术的实施例的用于梅花采样数据的内插器的图示。该处理与其它采样和打包方法类似。如图10所示，比特流1005被提供到对采样图像1080(在该示例中为梅花采样图像)进行解码的解码器1050，该采样图像1080然后被应用于一系列滤波操作1085中的每个。滤波操作1085可包括任意的时间、空间或其它向上转换处理或者此处针对采样图像的向上转换、误差校正、颜色校正或者一般改进中的任意类型而描述的任意其它处理。要用于任意特定的像素或区域的滤波操作例如由元数据提取器1070从比特流1005提取的元数据来指定。结果是例如图像的全分辨率版本1090。在要投射的立体图像对的情况下，定向滤波操作可包括颜色校正，以使得左图像和右图像的相应部分中的颜色与指导者的意图一致。在这样的实施例/应用中，在使用不同颜色的光源或滤波器的投射系统中颜色校正尤其重要，以使得左图像和右图像的颜色如所期望的匹配。根据一个实施例，提供一种用于处理从编码视频中解码的视频流的区域的方法，所述方法包括以下步骤：接收表示要应用于解码之后的所述视频流的所述区域的后处理技术的信号，其中，基于应用于所述区域的后处理技术的相关性能，在对视频进行编码之前、在对视频进行编码期间、或在对视频进行编码之后，在解码之前选择所述后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，所述标识符被打包为所述编码视频和所述编码视频的辅助信息中的至少一个；将所选择的后处理技术应用于解码的视频流的所述区域；其中，如果所述区域不是预定的，则所接收的信号包括关于所述区域的特性的信息。根据另一实施例，提供了一种后处理装置，包括：视频输入装置，被配置成接收解码视频流；指令机构，被配置成执行接受来自所述视频流的辅助信息信道的指导指令以及从所述解码视频流识别指导指令之一；后处理器，被配置成基于所述指导指令对所述解码视频流进行后处理；以及视频输出装置，被配置成输出后处理后的视频流，其中，所述指导指令包括所述视频中的至少一个非预定义区域的标识和要应用于所述区域的所选择的后处理技术的标识符，所述标识包括关于所述非预定义区域的特性的信息，然而，如果所述区域是预定义的，则所述指导指令不包括关于所述区域的特性的信息，其中，基于应用于所述区域的后处理技术的相关性能，在对视频流进行编码之前、在对视频流进行编码期间、或在对视频流进行编码之后，在解码之前选择所述后处理技术。本专利技术包括如下方法：其通过向例如解码器、显示器或其它系统的装置发出应该使用何种转换方法的信号来实现改进的转换性能和/或控制转换复杂度。该方法在某些情形或环境中还可用于改变或控制解码器的行为，诸如在通过改变或者甚至禁用解码处理原始要求(mandate)的某些工具来控制解码器复杂度的情况下，或者在所提供的信息现在可以考虑用于校正信号中的误差的更“了解情况的(informed)”处理的错误隐藏的情况下。发信号以序列方式可以是例如图片组、图片或区域级。图片组可以具有固定尺寸或者可以是任意的。类似地，区域可以具有固定形状和小至甚至像素的尺寸，或者也可以是任意的。本专利技术不是仅限于发出所述参数的信号的方法，而是还发出关于在给定预定标准的情况下如何导出“最佳”参数的信号。本专利技术可被实施为包括如下步骤的方法：接收表示要用于数据流的处理技术的信号。处理技术可包括例如如下中的任意一种或多种：分辨率转换、控制处理的复杂度、假象减少、误差校正、错误隐藏、缩放、内插、现有处理工具的变更以及至少一种工具的使能或禁用。分辨率转换可包括空间分辨率转换和时间分辨率转换中的至少一种。缩放可包括解交织、时间内插以及空间内插中的至少一个。错误隐藏可包括错误的区域的运动预测。信号还可表示要应用处理技术的空间和时间范围中的至少一个。在一个实施例中，数据流是视频数据流，并且范围包括处理技术是否应用于以下中的至少一个：全部视频、视频的部分、视频的图片以及视频内的区域。视频的图片可包括例如视频的帧和视频的场中的任意。在一个实施例中，数据流包括具有至少两个不同的视图的视频，并且信号还表示对视频的至少一帧内的至少一个区域执行处理技术。不同的视图可包括例如以下中的至少一个：立体画法视图、两个不同的图像、二维图像和深度信息、具有不同特性(诸如分辨率本文档来自技高网...

【技术保护点】
一种用于处理从编码视频中解码的视频流的区域的方法，所述方法包括以下步骤：接收表示要应用于解码之后的所述视频流的所述区域的后处理技术的信号，其中，基于应用于所述区域的后处理技术的相关性能，在对视频进行编码之前、在对视频进行编码期间、或在对视频进行编码之后，在解码之前选择所述后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，所述标识符被打包为所述编码视频和所述编码视频的辅助信息中的至少一个；将所选择的后处理技术应用于解码的视频流的所述区域；其中，如果所述区域不是预定的，则所接收的信号包括关于所述区域的特性的信息。

【技术特征摘要】
2009.04.20 US 61/170,9951.一种用于处理从编码视频中解码的视频流的时间长方体区域的方法，所述方法包括以下步骤：接收表示要应用于解码之后的所述视频流的所述时间长方体区域的后处理技术的信号，其中，所述时间长方体区域的特性包括宽度、高度以及时间信息，其中，在解码之前选择所述后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，所述标识符被打包为所述编码视频和所述编码视频的辅助信息中的至少一个；将所选择的后处理技术应用于解码的视频流的所述时间长方体区域；其中，如果所述时间长方体区域不是预定的，则所接收的信号包括关于所述时间长方体区域的特性的信息，其中，所述视频包括以并排格式布置的至少两个梅花采样的视图。2.根据权利要求1所述的方法，其中，所述后处理技术包括：分辨率转换，所述分辨率转换包括空间分辨率转换和时间分辨率转换中的至少一种，和/或缩放，所述缩放包括解交织、时间内插以及空间内插中的至少一种，和/或错误隐藏，所述错误隐藏包括错误的时间长方体区域的运动预测。3.根据权利要求1所述的方法，其中，所述两个视图是二维图像和深度信息。4.一种后处理装置，包括：视频输入装置，被配置成接收解码视频流，所述视频流是并排格式的至少两个梅花采样的视图；指令机构，被配置成执行接受来自所述视频流的辅助信息信道的指导指令以及从所述解码视频流识别指导指令之一；后处理器，被配置成基于所述指导指令对所述解...

【专利技术属性】
技术研发人员：亚历山德罗斯·图拉皮斯，阿萨纳西奥斯·莱昂塔里斯，佩沙拉·V·帕哈拉瓦达，凯文·J·斯特茨，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US