图像压缩技术制造技术

本文提出了如何针对低复杂度图像和视频编码有效地创建合适的调色板的构思。调色板编码与变换编码的组合是可行的。

Image Compression Technology

【技术实现步骤摘要】
【国外来华专利技术】图像压缩技术
本申请涉及图像压缩的领域，更具体地，涉及具有低复杂度的压缩技术。
技术介绍
在过去几年中，由于原始图像的大小趋向于持续地增加，因此有必要提供更有效的数据压缩技术以便允许对这些图像进行存储和传输。例如，现在在移动设备上下载和查看图像是司空见惯的，其中在移动设备中，数据压缩与节省带宽和本地存储相关。图像的压缩在本领域中是已知的，其中压缩可以是有损的，例如在JPEG图像的情况下，或者可以是无损的，例如对于GIF图片。图像或视频序列的压缩通常包括频率变换，然后是量化和编码。图像或视频序列的压缩通常包括频率变换，然后是量化和熵编码。然而，对于某些图像内容，特别是对于屏幕内容，变换编码不能良好地执行。这样的内容通常仅以很少的不同颜色和不同着色区域之间的尖锐边缘为特征，例如，白色背景上的黑色文本。可以使用称为调色板的不同颜色的列表以及针对每个像素对该调色板的索引来有效地压缩这样的内容。调色板编码是用于图像编码的公知技术。早期使用的调色板是索引图像格式，如图形交换格式，更被熟知为GIF格式。GIF格式将一个调色板用于具有高达256种不同颜色的整个图像。可以使用游程编码来压缩调色板索引。HEVC标准(也称为H.265)引入具有屏幕编码扩展的调色板模式。在HEVC调色板模式中，针对每个编码单元CU来发送调色板。可以从相邻CU来预测用于CU的调色板条目。对调色板索引进行游程编码，并且多种扫描样式是可能的。转义编码可以用于对未被调色板条目很好地表示的单个像素进行编码。最后，使用上下文自适应二进制算术编码CABAC对所有语法元素进行熵编码。然而，已知技术是复杂的，并且具有某些存储器和CPU要求，这些要求使得难以针对移动设备来实现这些已知技术，其中这些移动设备在大多数情况下例如关于电池或CPU电源具有有限的资源。
技术实现思路
因此，本专利技术的目的是提供一种用于图像编码的技术，其中该技术具有提高的效率，同时具有低复杂度。该目的是通过独立权利要求的主题来解决的。如何为低复杂度图像和视频编码有效地创建合适的调色板是本申请的基本方面。调色板编码与变换编码的组合是可行的。根据本申请的实施例，提供了一种用于通过调色板编码对像素阵列进行编码的编码器，其中所述编码器遍历像素阵列的预定区域的像素。如果像素的颜色值与调色板中已经存在的颜色值不够相似，则将该颜色值附加到调色板的与最低排序相对应的末尾，当像素的颜色值足够相似时，将该调色板颜色值的排序增加1。然后，将调色板信息和将每个像素与调色板的颜色值相关联的信息编码到数据流中。根据本申请的另一实施例，提供了一种用于通过调色板编码对像素阵列进行编码的编码器，其中所述编码器遍历像素阵列的预定区域的像素。如果当前像素的颜色值与调色板中已经存在的颜色值不够相似，则将该颜色值附加到调色板的与最低排序相对应的末尾，当当前像素的颜色值足够相似时，根据当前像素的颜色与调色板中存在的颜色值中的哪一个相似来对调色板颜色值的排序顺序进行调整。相似性标准取决于调色板内的颜色值的排序。然后，将调色板信息和将每个像素与调色板的颜色值相关联的信息编码到数据流中。根据本申请的另一实施例，提供了一种用于通过调色板编码对像素阵列进行编码的编码器，其中所述编码器遍历像素阵列的预定区域的像素。如果当前像素的颜色值与调色板中已经存在的颜色值不够相似，则将该颜色值附加到调色板的与最低排序相对应的末尾。在遍历像素的同时调整排序顺序；附加地或备选地，调色板中的颜色值的数量是有限的。然后，将调色板信息和将每个像素与调色板的颜色值相关联的信息编码到数据流中。根据本申请的又一实施例，提供了一种用于通过调色板编码对像素阵列进行编码的编码器，其中所述编码器根据扫描顺序来遍历像素阵列的预定区域的像素。如果当前像素的颜色值与调色板中已经存在的颜色值不够相似，则将该颜色值附加到调色板的与最低排序相对应的末尾。然后，将按扫描顺序获得的调色板信息编码到数据流中。根据不同的扫描顺序再次遍历像素阵列的预定区域的像素，在遍历期间，将每个像素与调色板的对应颜色值相关联，并且将使每个像素与调色板的对应颜色值相关联的信息编码到数据流中。在从属权利要求中限定了优选实施例。附图说明图1示出了根据本专利技术的实施例的编码器的框图；图2示出了根据本专利技术的实施例的图像细分的几何模型；图3示出了根据本专利技术的实施例的可能的扫描样式；图4示出了根据本专利技术的实施例的编码器的操作模式；图5示出了根据本专利技术的实施例的预定颜色空间的示例；以及图6示出了根据本专利技术的实施例的排序顺序的调整。具体实施方式低复杂度图像视频编码是在限制计算工作量的同时实现良好压缩效率的挑战。通常，目标压缩比的范围为1∶2至1∶6。低复杂度图像视频编码的关键要求是例如FPGA、SW和GPU上的简单地实现以及高吞吐容量。图像数据的压缩可以是有损的或无损的。在无损数据压缩(也称为“字节打包”)的情况下，执行压缩使得在对压缩后的数据进行解压缩时获得输入数据的精确副本。该特性是有利的，特别是在对计算机程序或需要精确复制原始数据的数据库进行压缩时。在许多情况下具有比无损压缩更好的压缩比的有损压缩的缺点是，在解压缩时不能精确地获得原始信息，换句话说，在这种类型的压缩期间存在信息丢失。图1示出了根据本专利技术的示例性实施例的编码器100的框图，该编码器使用调色板模式结合基于变换的块编码器。编码器100包括块形成器模块110，其中块形成器模块110将输入图像划分成变换块以供进一步处理。这些块被输出给颜色变换CT模块120和工作组WG调色板构建器模块200。颜色变换CT模块120可以根据颜色方案来对输入图像块的像素的颜色值进行变换。在实施例中，CT模块120可以在例如RGB与YCC之间形成颜色空间变换，反之亦然。CT模块120将变换后的图像块输出给自适应块频率变换FT模块130。自适应块FT模块130可以将颜色变换后的图像块变换到频域，从而促进压缩，并且例如以变换系数块的形式将变换后的图像块输出给预量化变换(预QT)模块140。预QT模块140对颜色的值和频率变换后的图像块(即变换系数)进行量化。将结果输出给熵预处理模块150。熵预处理模块150可以将从预QT模块140接收的数据转换成符号，其中所述符号可以促进工作组熵编码器180对信息的处理。预处理包括例如二进制化以便将入站语法元素(例如，包括变换系数)以及可选地将描述预量化的量化参数映射到二进制符号上，以便适合于例如在例如熵编码器180中使用的二进制算术编码。输出(即，熵编码后的比特流)被发送给速率控制模块160，并且还在速率控制缓存器模块170中被缓存。速率控制模块160可以通过将控制信号发送给打包器模块190并且还发送给工作组熵编码器模块180来控制速率。工作组熵编码器模块180从速率控制缓存器模块170接收其输入，并对接收到的数据执行熵编码，例如算术编码。将熵编码后的数据输出给打包器模块190。打包器模块190从将在下面进一步描述的工作组调色板编码器210接收另外的输入。以上描述并由颜色变换CT模块120、自适应块频率变换FT模块130、预量化变换(预QT)模块140、熵预处理模块150、速率控制缓存器模块170以及工作组熵编码器模块180执行的编码技术被称为“变换模式”本文档来自技高网...

【技术保护点】
1.一种编码器(10)，被配置为通过调色板编码对像素阵列进行编码，所述编码器被配置为：沿扫描顺序(18)遍历所述像素阵列的预定区域的像素，其中如果当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的任何一个都不满足预定相似性标准，则通过将所述当前遍历的像素的颜色值附加到所述一系列调色板颜色值(22)的与所述调色板(20)的最低排序相对应的末尾来更新所述调色板(20)，以及如果所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的至少一个满足所述预定相似性标准，则将所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的所述至少一个中具有最高排序的调色板颜色值的排序增加1；以及将如下信息编码到数据流中：所述调色板(20)的调色板信息；将每个像素与所述调色板(20)的相应调色板颜色值相关联的信息。

【技术特征摘要】
【国外来华专利技术】2016.09.23 EP 16190473.51.一种编码器(10)，被配置为通过调色板编码对像素阵列进行编码，所述编码器被配置为：沿扫描顺序(18)遍历所述像素阵列的预定区域的像素，其中如果当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的任何一个都不满足预定相似性标准，则通过将所述当前遍历的像素的颜色值附加到所述一系列调色板颜色值(22)的与所述调色板(20)的最低排序相对应的末尾来更新所述调色板(20)，以及如果所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的至少一个满足所述预定相似性标准，则将所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的所述至少一个中具有最高排序的调色板颜色值的排序增加1；以及将如下信息编码到数据流中：所述调色板(20)的调色板信息；将每个像素与所述调色板(20)的相应调色板颜色值相关联的信息。2.根据权利要求1所述的编码器(10)，其中，所述编码器被配置为使得：如果所述当前遍历的像素的颜色值与预定调色板颜色之间的差值满足预定阈值，则所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的预定调色板颜色值满足所述预定相似性标准，其中所述阈值取决于所述预定调色板颜色值在所述一系列调色板颜色值(22)内的排序。3.根据权利要求2所述的编码器(10)，其中，所述编码器被配置为使得所述阈值取决于所述预定调色板颜色值在所述一系列调色板颜色值(22)内的排序，以使所述预定调色板颜色值的排序越高，所述阈值越低。4.根据权利要求1、2或3所述的编码器(10)，其中，所述编码器被配置为使用度量来测量所述当前遍历的像素的颜色值与预定调色板颜色之间的差值，其中所述度量是所述当前遍历的像素的颜色值的颜色分量与所述预定调色板颜色的颜色分量的绝对差值的加权和，并且线性取决于所述绝对差值中的每一个。5.根据权利要求1、2、3或4所述的编码器(10)，其中，所述编码器被配置为：如果与所述当前遍历的像素相关联的调色板颜色值在所述调色板(20)内的所有调色板颜色值(22)中具有最高排序，则禁止将具有最高排序的所述调色板颜色值的排序增加1。6.根据权利要求1至5中任一项所述的编码器(10)，其中，所述编码器被配置为：通过第二次遍历所述像素阵列的预定区域的像素来对将每个像素与所述调色板(20)的相应调色板颜色值相关联的信息进行编码，其中使用在沿所述扫描顺序(18)遍历所述预定区域的像素之后显现的所述调色板(20)，将每个像素与所述调色板(20)中包含的所述一系列调色板颜色值(22)中的对应一个相关联。7.根据权利要求6所述的编码器(10)，其中，所述编码器被配置为在第二次遍历所述像素阵列的预定区域的像素时，针对每个像素将索引编码到所述数据流中，其中所述索引指向所述调色板(20)中的所述一系列调色板颜色值(22)中的对应一个。8.根据权利要求6或7所述的编码器(10)，其中，所述编码器被配置为在第二次遍历所述像素阵列的预定区域的像素时，将每个像素与所述调色板(20)中包含的所述一系列调色板颜色值(22)中的与相应像素的颜色值距离最小的调色板颜色值相关联。9.根据权利要求6或7所述的编码器(10)，其中，所述编码器被配置为在第二次遍历所述像素阵列的预定区域的像素时，将每个像素与所述调色板(20)中包含的所述一系列调色板颜色值(22)中的与相应像素的颜色值的距离满足阈值的调色板颜色值中具有最高排序的调色板颜色值相关联，其中所述阈值对于所述调色板(20)中的所有调色板颜色值(22)都是相等的。10.根据权利要求6至9中任一项所述的编码器(10)，其中，所述编码器被配置为在第二次遍历所述像素阵列的预定区域的像素时，使用不同于所述扫描顺序(18)的另一扫描顺序。11.根据权利要求10所述的编码器(10)，其中，所述编码器被配置为使得所述另一扫描顺序是光栅扫描顺序。12.一种用于通过调色板编码对像素阵列进行编码的编码方法，包括：沿扫描顺序(18)遍历所述像素阵列的预定区域的像素，其中如果当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的任何一个都不满足预定相似性标准，则通过将所述当前遍历的像素的颜色值附加到所述一系列调色板颜色值(22)的与所述调色板(20)的最低排序相对应的末尾来更新所述调色板(20)，以及如果所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的至少一个满足所述预定相似性标准，则将所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的所述至少一个中的具有最高排序的调色板颜色值的排序增加1；以及将如下信息编码到数据流中：所述调色板(20)的调色板信息；将每个像素与所述调色板(20)的相应调色板颜色值相关联的信息。13.一种编码器(10)，被配置为通过调色板编码对像素阵列进行编码，所述编码器被配置为：沿扫描顺序(18)遍历所述像素阵列的预定区域的像素，其中如果所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的任何一个都不满足预定相似性标准，则通过将所述当前遍历的像素的颜色值附加到所述一系列调色板颜色值(22)的与所述调色板(20)的最低排序相对应的末尾来更新所述调色板(20)，以及如果所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的至少一个满足预定相似性标准，则根据所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的哪一个满足预定相似性标准，对所述调色板(20)中当前包含的所述调色板颜色值(22)之间的排序顺序执行调整；将如下信息编码到数据流中：所述调色板(20)的调色板信息；将每个像素与所述调色板(20)的相应调色板颜色值相关联的信息，其中，所述编码器被配置为使得：如果所述当前遍历的像素的颜色值与预定调色板颜色之间的差值满足预定阈值，则所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的预定调色板颜色值满足所述预定相似性标准，其中所述阈值取决于所述预定调色板颜色值在所述一系列调色板颜色值(22)内的排序。14.根据权利要求13所述的编码器(10)，其中，所述编码器被配置为：如果当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的至少一个满足所述预定相似性标准，则将所述当前遍历的像素与所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的所述至少一个中具有最高排序的调色板颜色值相关联。15.根据权利要求13或14所述的编码器(10)，其中，所述编码器被配置为使得所述阈值取决于所述预定调色板颜色值在所述一系列调色板颜色值(22)内的排序，以使所述预定调色板颜色值的排序越高，所述阈值越低。16.根据权利要求13、14或15所述的编码器(10)，其中，所述编码器被配置为使用度量来测量所述当前遍历的像素的颜色值与预定调色板颜色之间的差值，其中所述度量是所述当前遍历的像素的颜色值的颜色分量与所述预定调色板颜色的颜色分量的绝对差值的加权和，并且线性取决于所述绝对差值中的每一个。17.根据权利要求13至16中任一项所述的编码器(10)，其中，所述编码器被配置为在对所述调色板(20)中当前包含的调色板颜色值(22)之间的排序顺序执行调整时，将所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的所述至少一个中具有最高排序的调色板颜色值的排序增加1。18.根据权利要求17所述的编码器(10)，其中，所述编码器被配置为：如果与所述当前遍历的像素相关联的调色板颜色值在所述调色板(20)内的所有调色板颜色值(22)中具有最高排序，则禁止将具有最高排序的调色板颜色值的排序增加1。19.根据权利要求13至18中任一项所述的编码器(10)，其中，所述编码器被配置为：通过第二次遍历所述像素阵列的预定区域的像素来对将每个像素与所述调色板(20)的相应调色板颜色值相关联的信息进行编码，其中使用在沿所述扫描顺序(18)遍历所述预定区域的像素之后显现的所述调色板(20)，将每个像素与所述调色板(20)中包含的所述一系列调色板颜色值(22)中的对应一个相关联。20.根据权利要求19所述的编码器(10)，其中，所述编码器被配置为在第二次遍历所述像素阵列的预定区域的像素时，针对每个像素将索引编码到所述数据流中，其中所述索引指向所述调色板(20)中的所述一系列调色板颜色值(22)中的对应一个。21.根据权利要求19或20所述的编码器(10)，其中，所述编码器被配置为在第二次遍历所述像素阵列的预定区域的像素时，将每个像素与所述调色板(20)中包含的所述一系列调色板颜色值(22)中的与相应像素的颜色值距离最小的调色板颜色值相关联。22.根据权利要求19或20所述的编码器(10)，其中，所述编码器被配置为在第二次遍历所述像素阵列的预定区域的像素时，将每个像素与所述调色板(20)中包含的所述一系列调色板颜色值(22)中的与相应像素的颜色值的距离满足阈值的调色板颜色值中具有最高排序的调色板颜色值相关联，其中所述阈值对于所述调色板(20)中的所有调色板颜色值(22)都是相等的。23.根据权利要求19至22中任一项所述的编码器(10)，其中，所述编码器被配置为在第二次遍历所述像素阵列的预定区域的像素时，使用不同于所述扫描顺序(18)的另一扫描顺序。24.根据权利要求23所述的编码器(10)，其中，所述编码器被配置为使得所述另一扫描顺序是光栅扫描顺序。25.一种用于通过调色板编码对像素阵列进行编码的编码方法，包括：沿扫描顺序(18)遍历所述像素阵列的预定区域的像素，其中如果当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的任何一个都不满足预定相似性标准，则通过将所述当前遍历的像素的颜色值附加到所述一系列调色板颜色值(22)的与所述调色板(20)的最低排序相对应的末尾来更新所述调色板(20)，以及如果所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的至少一个满足预定相似性标准，则根据所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的哪一个满足预定相似性标准，对所述调色板(20)中当前包含的所述调色板颜色值(22)之间的排序顺序执行调整；将如下信息编码到数据流中：所述调色板(20)的调色板信息；将每个像素与所述调色板(20)的相应调色板颜色值相关联的信息，其中，如果所述当前遍历的像素的颜色值与预定调色板颜色之间的差值满足预定阈值，则所述当前遍历的像素的颜色值与所述调色板(20)中当前包含的所述一系列调色板颜色值(22)中的预定调色板颜色值满足所述预定相似性标准，其中，所述阈值取决于所述预定调色板颜色值在所述一系列调色板颜色值(22)内的排序。26.一种编码器(10)，被配置为通过调色板编码对像素阵列进行编码，所述编码器被配置为：沿扫描顺序(18)遍历所述像素阵列的预定区域的像素，其中如果当前遍历的像素的颜色值与所述调色板(20)中当前包含的一系列调色板颜色值(22)中的任何一个都不满足预定相似性标准，则通过将所述当前遍历的像素的颜色值附加到所述一系列调色板颜色值(22)的与所述调色板(20)的最低排序相对应的末尾来更新所述调色板(20)，以及将如下信息编码到数据流中：所述调色板(20)的调色板信息；将每个像素与所述调色板(20)的相应调色板颜色值相关联的信息，其中，所述编码器被配置为在遍历所述像素时调整所述调色板(20)中当前包含的所述调色板颜色值(22)之间的排序顺序，和/或限制所述调色板(20)中的所述调色板颜色值(22)的数量，并且所述扫描顺序(18)对所述像素进行顺序化，使得按扫描顺序(18)连续紧邻的像素对中的超过四分之一的像素对具有的像素边界彼此至少相距另一像素...

【专利技术属性】
技术研发人员：约阿希姆·凯纳特，托马斯·里希特，赫伯特·托马，克里斯蒂安·舍尔，曼努埃尔·德弗吕托洛佩斯，西格弗里德·福塞尔，沃尔夫冈·黑普纳，米格尔·安格尔·马丁内斯德尔阿莫尔，谢尔盖·乌尤林，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国,DE