处理图像/视频数据的方法及装置制造方法及图纸

本发明专利技术提供一种为图像/视频编码器处理图像/视频数据的方法及装置。该方法包含：接收图像数据或视频数据，该图像数据或该视频数据对应于多个输入信道；对每一输入信道各自应用残余量产生过程，产生与每一输入信道相关的残余量数据；依据一组整数运算，对与该残余量数据相关的第一数据应用残余量变换，其中该组整数运算被应用至多个输入信道间的该残余量数据，产生具有多个输出信道的残余量变换后数据；以及对与该残余量变换后数据相关的数据符号应用熵编码，产生包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据。本发明专利技术还提供一种为图像/视频解码器处理图像/视频数据的方法及装置。本发明专利技术可利用残余量信号不同信道间的冗余量。

【技术实现步骤摘要】
处理图像/视频数据的方法及装置
本专利技术关于图像/视频数据的处理，尤其关于在与残余量信号相关的不同信道之间处理图像/视频数据的方法及装置。
技术介绍
图像压缩与视频压缩已被广泛用于降低与各个图像及视频数据相关的所需存储空间或带宽。基本图像(underlyingimage)或视频数据通常包含多个信道(channel)。举例来说，在数码相机应用中，通常使用红(R)、绿(G)和蓝(B)色彩阵列的图像传感器(imagesensor)来采集原始图像(rawimage)。当RGB色彩为采集或显示应用提供方便的格式(format)来表示彩色图像或视频时，不得不平等地对待三个颜色信道来存储或传输，而这可能并不是有效的。在图像及视频编码领域，广泛使用了各种亮度/色度(luminance/chrominance)色彩格式，其中每一色彩格式对应于一个亮度分量及两个色度分量。举例来说，YUV或YCrCb色彩格式在各种图像及视频压缩标准中已被使用。由于人类视觉对色度信号较不敏感，因此能以较低的空间分辨率表示色度信号(即U/Cb及V/Cr)，在视觉品质上没有劣化或只有较小劣化。也有亮度/色度色彩格式的其他变形。举例来说，在No.7155055的美国专利中揭示的YCoCg色彩格式及在No.6044172的美国专利中揭示的可逆YUV色彩格式使用简化的色彩变换矩阵(colortransformmatrix)，这样一来在RGB及YCoCg/整数YUV格式之间只使用整数运算(integeroperation)来转换信号。在贝尔模板(Bayerpattern)中的RGB与YCoCg色彩格式之间也有一种色彩格式转换，如公开号No.US2006/0083432的美国专利申请中所揭示。在典型的图像/视频压缩系统中，压缩程序分别应用于各个亮度及色度信道。在基本色彩格式(primarycolorformat)及亮度/色度格式之间的色彩转换涉及到基于像素的运算，其中该转换用一组线性方程式(即转换矩阵)来表示。当亮度/色度格式移除基本色彩格式中初始图像或视频的不同信道间的若干冗余量时，在亮度/色度格式中不同信道间仍然有大量的相关性。对于亮度/色度格式中的图像或视频，有需要利用不同信道间的冗余量。此外，当利用不同信道间的冗余量时，有需要降低对现有图像或视频压缩系统的影响。图1为图像压缩系统如数码相机的范例。图像传感器110用来采集原始图像数据120。图像压缩器130接收原始图像数据120并应用图像压缩来产生压缩图像数据140。通常，图像压缩应用于亮度/色度色彩格式(如YUV)中的图像数据。因此，在图像压缩器130中执行色彩转换，将原始图像首先转换成亮度/色度格式，接着将图像压缩应用于各个信道。图2为用于传输或接口应用(例如MIPI(移动行业处理器接口)，DSI(显示器串行接口)及HDMI(高清晰多媒体接口)，Wi-Fi显示或蓝牙)的图像压缩的范例。方块图200A对应于发射器端，其中从发射器210接收原始图像数据220。在机顶盒与HDTV(高清晰度电视)组之间的HDMI接口范例中，发射器对应于机顶盒以及接收器对应于HDTV组。图像压缩器230将原始图像数据压缩成压缩图像数据240。接着该压缩图像数据在媒质例如物理电缆或无线链路上传输。方块图220B对应于接收器端，其中在媒质上接收压缩图像数据250。接着该压缩图像数据由图像解压缩器260解压缩以恢复原始图像数据270。接着将该恢复的原始图像数据提供至接收器280以显示出来。图3为图像压缩系统的示范性方块图。系统300A对应于基于空间预测的压缩系统。具有3个信道的初始图像310被量化处理。初始图像可对应于RGB格式中的色彩像素。使用3x3转换矩阵将初始图像转换为亮度/色度色彩格式，例如YUV。在矩阵转换之后，输入量化320将结果量化至固定的数据深度，例如8比特或10比特。空间预测330A接着被应用于各个信道以产生剩余量数据(residuedata)，该剩余量数据接着由熵编码350A压缩以产生压缩数据。在图像及视频编码领域中空间预测众所周知。举例来说，图像可被分成多个块，并且基于已被处理的相邻块可以预测每一块。系统300B对应于基于频率变换(frequencytransform)的压缩系统，其中频率变换340B应用于量化后图像数据。举例来说，离散余弦变换(DCT)可被应用至各个信道。变换系数通常被量化(用于变换系数的量化器在系统330B中未明确显示)并接着由熵编码350B来编码以产生压缩图像数据。用于频率变换后数据的量化器通常用于比特率控制目的。系统300C为基于空间预测及频率变换的压缩系统，其中频率变换340C应用于来自空间预测330C的残余量信号。变换系数被量化(用于变换系数的量化器在系统330C中未明确显示)并接着由熵编码350C来编码以产生压缩图像数据。在图3中，由空间预测330A、频率变换340B，或者空间预测330C与频率变换340C两者来产生残余量信号。图3所示的系统是为了说明在图像压缩系统中产生残余量信号的范例。还有很多其他方式来产生用于图像压缩的残余量信号。举例来说，图像压缩系统可使用小波或金字塔技术来形成残余量信号。本专利技术并非限于图3所示的图像压缩系统。图4为视频压缩系统的示范性方块图，其中该系统包含对应于三个输入信道的三个源数据信道(410A-410C)。由方块420的各个帧内/帧间预测来预测源数据信道。使用减法器412A-412C，残余量信号(414A-414C)对应于源数据信道与各个预测之间的差异。在本领域中帧内/帧间预测众所周知。举例来说，在MPEG-2、H.264/AVC及新兴的HEVC(高性能视频编码)编码标准中，使用了帧内/帧间形式。对于每一图像区域例如宏块、最大编码单元(LCU)、切片(slice)或图片，通常是自适应地选择帧内预测及帧间预测。帧间预测可包含运动估计以利用视频序列中图像间的时间冗余度。当残余量产生过程已降低每一输入信道内的冗余量时，残余量信号(414A-414C)可能不是适合于熵编码的形式。通常，残余量信号经历进一步的处理以将信号转换为适合于熵编码的符号。举例来说，由图4所示的二维变换及量化(T/Q450A-450C)进一步处理残余量信号。这种用于编码器端的进一步处理在本专利技术中被称为编码过程。相应地，二维变换、量化、或者二维变换与量化的结合是编码过程的范例。用于图像编码的频率变换例如DCT，可用作视频压缩的二维变换。其他二维变换，例如整数变换，也可用来为视频应用实现高计算效率。接着使用熵编码器470压缩量化后的变换系数以产生压缩视频输出。熵编码器通常将数据符号压缩成压缩比特流。举例来说，数据符号对应于量化后的变换系数。在本领域中众所周知该数据符号也可包含其他编码信息。编码器端也需要重建编码后的视频以形成预测。相应地，逆编码程序不得不被应用于数据符号以恢复残余量信号。举例来说，来自T/Q450A-450C的量化后的变换系数由反量化及逆二维变换(IQ/IT460A-460C)处理以产生恢复后的残余量信号(444A-444C)。使用加法器442A-442C将IQ/IT处理后的信号加入来自帧内/帧间预测420的先前的预测信号，以形成重建后的信号。本文档来自技高网...

【技术保护点】
一种处理图像数据或视频数据的方法，包含：接收包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；对该比特流应用熵解码，恢复与残余量变换后数据相关的数据符号，其中该残余量变换后数据对应于多个输出信道；对与该数据符号相关的第一数据应用逆残余量变换，获得与残余量数据相关的逆残余量变换输出，该残余量数据与多个输入信道相关，其中依据应用于多个输入信道间该残余量数据的一组整数运算，该残余量变换后数据与该残余量数据相关；以及对与该逆残余量变换输出相关的第二数据应用重建过程，重建该图像数据或该视频数据。

【技术特征摘要】
2013.05.08 US 13/890,0881.一种处理图像数据或视频数据的方法，包含：接收包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；对该比特流应用熵解码，恢复与残余量变换后数据相关的数据符号，其中该残余量变换后数据对应于多个输出信道；对与该数据符号相关的第一数据应用逆残余量变换，获得与残余量数据相关的逆残余量变换输出，该残余量数据与多个输入信道相关，其中依据应用于多个输入信道间该残余量数据的一组整数运算，该残余量变换后数据与该残余量数据相关；以及对与该逆残余量变换输出相关的第二数据应用重建过程，重建该图像数据或该视频数据；其中第一输出信道相关的该残余量变换后数据与第一输入信道相关的第一残余量数据和第二输入信道相关的第二残余量数据之间的差异相关，第二输出信道相关的该残余量变换后数据与一阈值和第三输入信道相关的第三残余量数据之间的第二差异相关，其中该阈值对应于该第一残余量数据及该第二残余量数据的第一截断平均值或第一凑整平均值。2.如权利要求1所述的方法，其特征在于，该逆残余量变换对应于无损处理，其中，通过对该残余量变换后数据应用逆残余量变换产生的恢复的残余量数据相同于对应该残余量变换后数据的初始残余量数据。3.如权利要求1所述的方法，其特征在于，该重建过程对应于无损或有损处理，其中，通过对该残余量数据应用重建过程恢复的该图像数据或该视频数据相同于对应该残余量数据的初始图像数据或初始视频数据。4.如权利要求1所述的方法，其特征在于，对于该图像数据，该重建过程包含空间重建、逆频率变换、或者该空间重建和该逆频率变换两者。5.如权利要求1所述的方法，其特征在于，对于该视频数据，该重建过程包含基于帧内预测的第一重建或基于帧间预测的第二重建。6.如权利要求1所述的方法，其特征在于，该第一数据对应于该数据符号以及该第二数据对应于该逆残余量变换输出；该第一数据对应于该数据符号以及该第二数据对应于第一输出，该第一输出来自对该逆残余量变换输出应用逆编码过程；或者该第一数据对应于第二输出以及该第二数据对应于该逆残余量变换输出，该第二输出来自对该数据符号应用该逆编码过程，其中在各个输入信道基础上应用该逆编码过程。7.如权利要求6所述的方法，其特征在于，该逆编码过程对应于逆二维变换、逆量化、或者该逆二维变换及该逆量化两者。8.如权利要求1所述的方法，其特征在于，与不同输入信道相关的该压缩数据在该比特流中被交错，其中与一个输入信道相关的压缩数据的第一部分及第二部分被与另一个输入信道相关的压缩数据的至少第三部分分离。9.如权利要求1所述的方法，其特征在于，第三输出信道相关的该残余量变换后数据与该阈值和该第三残余量数据的第二截断平均值或第二凑整平均值相关。10.一种处理图像数据或视频数据的方法，包含：接收该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；对每一输入信道各自应用残余量产生过程，产生每一输入信道相关的残余量数据；依据一组整数运算，对与该残余量数据相关的第一数据应用残余量变换，其中该组整数运算被应用至多个输入信道间的该残余量数据，产生具有多个输出信道的残余量变换后数据；以及对与该残余量变换后数据相关的数据符号应用熵编码，产生包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据；其中第一输出信道相关的该残余量变换后数据与第一输入信道相关的第一残余量数据和第二输入信道相关的第二残余量数据之间的差异相关，第二输出信道相关的该残余量变换后数据与一阈值和第三输入信道相关的第三残余量数据之间的第二差异相关，其中该阈值对应于该第一残余量数据及该第二残余量数据的第一截断平均值或第一凑整平均值...

【专利技术属性】
技术研发人员：吴东兴，周汉良，李坤傧，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71