基于混合色度采样率的图像压缩方法和装置制造方法及图纸

本发明专利技术提供一种基于混合色度采样率的图像压缩方法和装置，包含两组不同类型的编码工具，分别对两种不同格式的像素进行压缩编码。第一种格式的像素是原始输入像素，经过对其色度分量的下采样得到第二种格式的像素。编码以具有一定像素的编码单元为基本单位逐个进行。两组编码工具同时对两种像素格式的编码单元进行编码，然后选择率‑失真特性最优的那组编码工具的压缩结果并将其放入输出压缩码流。两组编码工具分别有两种像素格式的历史像素暂存区。这两个暂存区通过上采样和下采样同步更新。本发明专利技术特别适用于既含有非连续色调的由计算机产生的文字、背景、图形等非自然图像又含有连续色调的摄像机拍摄的自然图像的复合图像和视频序列的压缩编码。

【技术实现步骤摘要】
基于混合色度采样率的图像压缩方法和装置
本专利技术涉及通信领域，具体而言，本专利技术涉及一种视频压缩编码及解码系统，特别是基于混合色度采样率的图像压缩方法和装置。
技术介绍
计算机和信息处理已经进入以“远程屏幕”为特征的“云计算”与“移动计算”相结合的时代。实时远程屏幕传输已成为当前迫切的需求。由于需要传输的屏幕视频数据量很大，以1920*1200像素分辨率且60帧/秒刷新率的24位真彩色屏幕图像为例，需要传输的数据超过每秒3千兆比特，如此多的数据要想在当前的网络条件下实现实时传输是不可能的，因此有效的屏幕图像数据压缩是必不可少的。屏幕图像的数字视频信号的自然形式是图像的序列。一幅图像通常是由若干像素组成的矩形区域，如果一个数字视频信号每秒有50幅图像，那么一个30分钟的数字视频信号就是一个由30x60x50＝90000幅图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是对一幅一幅图像进行编码。为了降低编码和解码的延迟，需要把一幅图像划分成若干块子图像，称为编码单元，以编码单元为基本编码单位，对子图像一块一块进行编码。一种常用的编码单元的大小是16x16个像素，这种编码单元称为宏块。因此，对一个视频图像序列进行编码就是对各个编码单元依次进行编码。同样，解码时也是对各个编码单元依次进行解码，最终重构出整个视频图像序列。像素有各种格式，如：1个像素由1个红色分量、1个绿色分量、1个蓝色分量组成的RGB像素格式；1个像素由1个亮度Y分量、1个色度U分量、1个色度V分量组成的YUV4:4:4像素格式；左右相邻的2个像素由2个亮度Y分量、1个色度U分量、1个色度V分量组成的YUV4:2:2像素格式；左右上下相邻按2x2空间位置排列的4个像素由4个亮度Y分量、1个色度U分量、1个色度V分量组成的YUV4:2:0像素格式。一个分量一般用1个8-16比特的数字来表示。YUV4:2:2像素格式和YUV4:2:0像素格式都是对YUV4:4:4像素格式施行色度分量的下采样得到，下采样后，数据率分别降低了33％和50％。图像可以分为两类：1)计算机生成的文字、背景、图形等非自然图像，具有非连续色调的特性，线条精细，棱角分明，色彩相对简单；2)摄像机拍摄的自然图像，具有连续色调的特性，色彩丰富，但少有很细的线条和尖锐的棱角。对自然图像，色度下采样几乎没有视觉影响又可降低数据率。所以对自然图像的压缩编码，绝大多数都是针对YUV4:2:0像素格式的图像的编码。另一方面，色度下采样对非自然图像中的线条和棱角有非常明显的视觉影响。所以对非自然图像的高质量压缩编码，必须是直接对YUV4:4:4像素格式的图像进行编码。包括屏幕图像在内的各种类型图像和视频序列的编码技术中，使用最多的现有技术的编码方法的流程示意图如图1所示。现有技术的编码方法包括如下步骤：读入具有同一像素格式的一个图像编码单元；对该编码单元进行有损编码；对步骤2)的编码结果继续进行无损编码，并输出编码得到的压缩码流数据；对步骤2)的编码结果进行所述有损编码的逆运算，即重构出所述编码单元的像素，并把重构编码单元的像素放入历史像素暂存区，用作后续编码的参考像素，由于编码是有损的，重构像素不等于原先输入的像素；判断是否已经完成对所有编码单元的编码，如果是，则结束编码，否则回到步骤1)，开始对下一个编码单元的编码。现有技术的解码方法的流程示意图如图2所示。现有技术的解码方法包括如下步骤：读入一段对应与一个图像编码单元的部分输入视频码流数据；解码并重构具有同一像素格式的一个编码单元，并把重构编码单元的像素放入历史像素暂存区，用作后续解码的参考像素；输出重构编码单元；判断是否已经完成对所有编码单元的压缩码流数据的解码，如果是，则结束解码，否则回到步骤1)，开始对下一个编码单元的解码。现有技术的编码装置示意图如图3所示。整个编码装置由以下模块组成：可以存储至少一个编码单元的像素的存储模块；单一像素格式的有损编码模块；单一像素格式的无损编码模块；像素的重构模块；同一像素格式的历史像素暂存模块。现有技术的的解码装置示意图如图4所示。整个解码装置由以下模块组成：单一像素格式的解码重构模块；同一像素格式的历史像素暂存模块。如上所述，现有技术中，对一幅图像中的所有编码单元，都是采用同样的单一的像素格式直接对其进行编码。在整幅图像都是自然图像或非自然图像的场合，现有技术是有效的。随着多媒体技术在计算机中的普及，今天和未来的计算机屏幕图像中，如浏览中的多媒体网页，部分屏幕区域是自然图像而另一部分屏幕区域则是非自然图像，两种区域交错混合。因此，现有技术不适用于对含自然图像区域和非自然图像区域的复合图像进行既有高质量又有高压缩率的编码。
技术实现思路
为了解决复合图像视频编码和解码的现有技术中的这一问题，本专利技术提供了一种基于混合色度采样率的图像编码与解码的方法和装置。本专利技术的主要技术特征如图5所示。本专利技术的编码方法和装置中，输入图像是亮度采样率和色度采样率完全一致的图像，如图5所示YUV4:4:4像素格式的图像。输入图像被分割成具有一定像素的基本编码单位，称为编码单元(CodingUnit简称CU)，对CU逐个进行编码。对一个CU进行编码时，首先读入一个YUV4:4:4像素格式的CU(称为4:4:4编码单元或简称4:4:4CU)的全部像素。这个4:4:4CU有3个分量。对该4:4:4CU的两个色度分量进行下采样，得到对应的4:2:0CU。如果在对一幅YUV4:4:4图像进行编码前，已经对该图像的所有色度分量进行了下采样而产生了对应的YUV4:2:0图像，那么所述对应的4:2:0CU也可以从所述对应的YUV4:2:0图像中直接读入。然后，本专利技术同时使用两组不同类型的编码工具，分别对4:4:4CU和4:2:0CU进行压缩编码。两组编码完成后，分别计算两种编码结果的率-失真特性，选择率-失真特性最优的那组编码工具的编码结果作为对该CU的最后编码结果，并把相应的压缩码流数据写入输出压缩码流。最终的输出压缩码流是既含有YUV4:4:4像素格式的压缩码流数据又含有YUV4:2:0像素格式的压缩码流数据的具有混合色度采样率的压缩码流。在压缩码流的解码端，本专利技术从码流中不断读入部分码流数据，按照CU在码流中的顺序，逐个进行以CU为单位的解码。解码端有两组不同类型的解码工具：YUV4:4:4解码工具和YUV4:2:0解码工具。对一个CU的码流数据进行解码时，首先解析出该CU是以YUV4:4:4还是YUV4:2:0像素格式进行编码的，然后把码流数据送往相应的那组解码工具进行解码。从YUV4:4:4解码工具得到的是YUV4:4:4像素格式的重构CU，而从YUV4:2:0解码工具得到的是YUV4:2:0像素格式的重构CU。后者还必须经过色度上采样，得到YUV4:4:4像素格式的重构CU。这样，就得到最终的完整的YUV4:4:4像素格式的重构图像。本专利技术的编码方法的流程示意图如图6所示。本专利技术对一幅图像的编码方法包括如下步骤：1)读入具有第一像素格式的一个图像编码单元，称其为第一编码单元；2)对所述第一编码单元的色度分量进行下采样，保持亮度分量不变，生成第二像素格式的编码单元，称其为第二编码单元；3)本文档来自技高网...

【技术保护点】
一种图像编码方法，其特征在于包括以下步骤：1)读入具有第一像素格式的一个图像编码单元，称其为第一编码单元；2)对所述第一编码单元的色度分量进行下采样，保持亮度分量不变，生成第二像素格式的编码单元，称其为第二编码单元；3)用第一组编码工具对所述第一编码单元进行第一编码，产生第一组编码工具的编码结果；4)用第二组编码工具对所述第二编码单元进行第二有损编码；5)用所述第二组编码工具继续对步骤4)的编码结果进行第二无损编码，产生第二组编码工具的编码结果；6)对步骤3)的编码结果进行所述第一编码的逆运算，产生出第一重构编码单元，并把所述第一重构编码单元的像素放入第一像素格式的历史像素暂存区，用作所述第一组编码工具的后续编码的参考像素，由于编码可能是有损的，所述第一重构编码单元的像素不一定等于所述第一编码单元的像素；7)对步骤4)的编码结果进行所述第二有损编码的逆运算，产生出第二重构编码单元，并把所述第二重构编码单元的像素放入第二像素格式的历史像素暂存区，用作所述第二组编码工具的后续编码的参考像素，由于编码是有损的，所述第二重构编码单元的像素不一定等于所述第二编码单元的像素；8)使用步骤3)的编码结果和步骤6)的重构结果，计算第一组编码工具的编码结果的率‑失真特性；9)对所述第二重构编码单元进行色度上采样，得到第一像素格式的第二重构上采样编码单元；10)使用步骤5)的编码结果和步骤9)的重构上采样结果，计算第二组编码工具的编码结果的率‑失真特性；11)选择率‑失真特性最优的那组编码工具的编码结果作为对所述第一编码单元的最后编码结果，并输出相应压缩码流数据；12)判断率‑失真特性最优的那组编码工具是否是第一组编码工具，如果是，则顺序执行下一步骤，否则跳至步骤14)；13)对所述第一重构编码单元进行色度下采样，得到第二像素格式的第一重构下采样编码单元，并用所述第一重构下采样编码单元的像素更新和替换步骤7)中放入第二像素格式的历史像素暂存区的第二重构编码单元的像素，然后跳至步骤15)；14)用所述第二重构上采样编码单元的像素更新和替换步骤6)中放入第一像素格式的历史像素暂存区的第一重构编码单元的像素；15)判断是否已经完成对一幅图像所有编码单元的编码，如果是，则结束编码，否则回到步骤1)，开始对下一个编码单元的编码。...

【技术特征摘要】
1.一种图像编码方法，其特征在于包括以下步骤：1)读入具有第一像素格式的一个图像编码单元，称其为第一编码单元；2)对所述第一编码单元的色度分量进行下采样，保持亮度分量不变，生成第二像素格式的编码单元，称其为第二编码单元；3)用第一组编码工具对所述第一编码单元进行第一编码，产生第一组编码工具的编码结果；4)用第二组编码工具对所述第二编码单元进行第二有损编码；5)用所述第二组编码工具继续对步骤4)的编码结果进行第二无损编码，产生第二组编码工具的编码结果；6)对步骤3)的编码结果进行所述第一编码的逆运算，产生出第一重构编码单元，并把所述第一重构编码单元的像素放入第一像素格式的历史像素暂存区，用作所述第一组编码工具的后续编码的参考像素，由于编码可能是有损的，所述第一重构编码单元的像素不一定等于所述第一编码单元的像素；7)对步骤4)的编码结果进行所述第二有损编码的逆运算，产生出第二重构编码单元，并把所述第二重构编码单元的像素放入第二像素格式的历史像素暂存区，用作所述第二组编码工具的后续编码的参考像素，由于编码是有损的，所述第二重构编码单元的像素不一定等于所述第二编码单元的像素；8)使用步骤3)的编码结果和步骤6)的重构结果，计算第一组编码工具的编码结果的率-失真特性；9)对所述第二重构编码单元进行色度上采样，得到第一像素格式的第二重构上采样编码单元；10)使用步骤5)的编码结果和步骤9)的重构上采样结果，计算第二组编码工具的编码结果的率-失真特性；11)选择率-失真特性最优的那组编码工具的编码结果作为对所述第一编码单元的最后编码结果，并输出相应压缩码流数据；12)判断率-失真特性最优的那组编码工具是否是第一组编码工具，如果是，则顺序执行下一步骤，否则跳至步骤14)；13)对所述第一重构编码单元进行色度下采样，得到第二像素格式的第一重构下采样编码单元，并用所述第一重构下采样编码单元的像素更新和替换步骤7)中放入第二像素格式的历史像素暂存区的第二重构编码单元的像素，然后跳至步骤15)；14)用所述第二重构上采样编码单元的像素更新和替换步骤6)中放入第一像素格式的历史像素暂存区的第一重构编码单元的像素；15)判断是否已经完成对一幅图像所有编码单元的编码，如果是，则结束编码，否则回到步骤1)，开始对下一个编码单元的编码。2.根据权利要求1所述的的编码方法，其特征在于：所述第一像素格式是YUV4:4:4格式，所述第二像素格式是YUV4:2:0格式，所述第一组编码工具是无损编码工具，所述第一组编码工具仅使用选择了所述第一组编码工具的编码结果作为最后编码结果的那些编码单元的像素为参考像素，所述步骤1)～15)优化为以下步骤1)～14)：1)读入YUV4:4:4格式的一个图像编码单元，称其为第一编码单元；2)对所述第一编码单元的色度分量进行下采样，生成YUV4:2:0格式的编码单元，称其为第二编码单元；3)用无损的第一组编码工具对所述第一编码单元进行第一编码，产生第一组编码工具的编码结果；4)用第二组编码工具对所述第二编码单元进行第二有损编码；5)用所述第二组编码工具继续对步骤4)的编码结果进行第二无损编码，产生第二组编码工具的编码结果；6)对步骤4)的编码结果进行所述第二有损编码的逆运算，产生出第二重构编码单元，并把所述第二重构编码单元的像素放入YUV4:2:0格式的历史像素暂存区，用作所述第二组编码工具的后续编码的参考像素，由于编码是有损的，所述第二重构编码单元的像素不一定等于所述第二编码单元的像素；7)使用步骤3)的编码结果，计算第一组编码工具的编码结果的率-失真特性，由于第一组编码工具是无损的，失真为零；8)对所述第二重构编码单元进行色度上采样，得到YUV4:4:4格式的第二重构上采样编码单元；9)使用步骤5)的编码结果和步骤8)的重构上采样结果，计算第二组编码工具的编码结果的率-失真特性；10)选择率-失真特性最优的那组编码工具的编码结果作为对所述第一编码单元的最后编码结果，并输出相应压缩码流数据；11)判断率-失真特性最优的那组编码工具是否是第一组编码工具，如果是，则顺序执行下一步骤，否则跳至步骤14)；12)把所述第一编码单元的像素放入YUV4:4:4格式的历史像素暂存区；13)用所述第二编码单元的像素更新和替换步骤6)中放入第二像素格式的历史像素暂存区的第二重构编码单元的像素；14)判断是否已经完成对一幅图像所有编码单元的编码，如果是，则结束编码，否则回到步骤1)，开始对下一个编码单元的编码。3.一种图像解码方法，其特征在于包括以下步骤：1)从输入压缩码流中读入属于一个被编码的编码单元，称其为被编码单元的一段压缩码流数据；2)从所述一段压缩码流数据中解析出该段压缩码流数据所含的当前被编码单元采用第一像素格式还是第二像素格式，并把该段压缩码流数据送往对应的第一组解码工具或第二组解码工具；3)所述当前被编码单元采用第一像素格式的场合，本步骤包括下列子步骤：3a)用所述第一组解码工具对压缩码流进行解码，产生出第一像素格式的第一重构编码单元，并把所述第一重构编码单元的像素放入第一像素格式的历史像素暂存区，用作所述第一组解码工具的后续解码的参考像素；3b)对所述第一重构编码单元进行色度下采样，得到第二像素格式的第一重构下采样编码单元，并把所述第一重构下采样编码单元的像素放入第二像素格式的历史像素暂存区，用作所述第二组解码工具的后续解码的参考像素；3c)输出所述第一重构编码单元；4)所述当前被编码单元采用第二像素格式的场合，本步骤包括下列子步骤：4a)用所述第二组解码工具对压缩码流进行解码，产生出第二像素格式的第二重构编码单元，并把所述第二重构编码单元的像素放入第二像素格式的历史像素暂存区，用作所述第二组解码工具的后续解码的参考像素；4b)对所述第二重构编码单元进行色度上采样，得到第一像素格式的第二重构上采样编码单元，并把所述第二重构上采样编码单元的像素放入第一像素格式的历史像素暂存区，用作所述第一组解码工具的后续解码的参考像素；4c)输出所述第二重构上采样编码单元；5)判断是否已经完成对一幅图像或一个视频序列所有被编码单元压缩码流数据的解码，如果是，则结束解码，否则回到步骤1)，开始对下一个被编码单元的解码。4.一种图像编码装置，其特征在于包括以下模块：1)第一像素格式像素存储模块，用于存储至少一个编码单元的第一输入像素；2)使用第一组编码工具的编码模块，用于对第一像素格式的第一输入像素编码单元进行编码；3)第一重构模块，用于重构产生第一重构编码单元，第一重构编码单元的一个用途是用于第一组编码工具所需的参考像素，另一个用途是用于计算第一率-失真特性；4)第一像素格式的历史像素暂存模块，用于暂存第一组编码工具所需的参考像素；5)第一率-失真特性计算模块，用于计算所述使用第一组编码工具的编码模块产生的编码结果的第一率-失真特性；6)色度下采样模块，有两个用途：6a)对第一像素格式的第一输入像素进行色度下采样，产生第二像素格式的第二输入像素；6b)对第一像素格式的参考像素进行色度下采样，产生第二组编码工具所需的第二像素格式的参考像素；7)第二像素格式像素存储模块，用于存储至少一个编码单元的第二输入像素；8)使用第二组编码工具的有损编码模块，用于对第二像素格式的第二输入像素编码单元进行有损编码；9)使用第二组编码工具的无损编码模块，用于对所述使用第二组编码工具的有损编码模块产生的编码结果继续进行无损编码；10)第二重构模块，用于重构产生第二重构编码单元，第二重构编码单元的一个用途是用于第二组编码工具所需的参考像素，另一个用途是经过色度上采样后用于计算第二率-失真特性；11)第二像素格式的历史像素暂存模块，用于暂存第二组编码工具所需的参考像素；12)色度上采样模块，有两个用途：12a)对第二重构编码单元进行色度上采样，提供给第二率-失真特性计算模块用于计算第二率-失真特性；12b)对第二像素格式的参考像素进行色度上采样，产生第一组编码工具所需的第一像素格式的参考像素；13)第二率-失真特性计算模块，用于计算所述使用第二组编码工具的编码模块产生的编码结果的第二率-失真特性；14)最优编码工具选择模块，连接于所述第一和第二率-失真特性计算模块，用于对所述率-失真特性计算结果进行分析，并选择出率-失真特性最优的那组编码工具的编码结果作为对当前第一输入像素编码单元的最后编码结果；15)码流暂存输出模块，连接于所述最优编码工具选择模块，用于暂存所述最优编码工具编码模块所产生的压缩码流数据，并在特定的时间，把所述的压缩码流数据输出到压缩码流。5.一种图像解码装置，其特征在于包括以下模块：1)码流像素格式解析模块，用于接收从一外部装置输入的视频压缩码流，解析出接收到的一段压缩码流数据内压缩的当前编码单元，称为当前被编码单元，是第一像素格式编码单元还是第二像素格式编码单元，选择相对应的第一组解码工具或第二组解码工具对所述一段压缩码流数据进行解码，并把所述一段压缩码流数据输出至相对应的第一解码重构模块或第二解码重构模块；2)第一解码重构模块，在所述当前被编码单元是第一像素格式的...

【专利技术属性】
技术研发人员：林涛，周开伦，王淑慧，赵利平，李明，吴平，吴钊，
申请(专利权)人：同济大学，中兴通讯股份有限公司，
类型：发明
国别省市：上海,31