利用分层调色板表生成而进行的调色板模式视频编码制造技术

技术编号:38555882 阅读:15 留言:0更新日期:2023-08-22 20:59
本发明专利技术提供一种编码器[102],该编码器通过将图像部分[122]递归地分区为层级的分区层次结构来对该部分进行编码。顶部层级具有表示整个部分的单个块,并且每个较低层级具有表示较高层级处的对应较大块的四个较小块。基于相关联的块的像素为每个底部层级块生成调色板表[124]。对于每个相继较高层级,该编码器通过基于来自在下一最低层级处的相关联的四个块的四个调色板表的调色板颜色选择调色板颜色来为每个当前层级块生成调色板表。然后基于从为该分区层次结构生成的该调色板表中选择的最终调色板表来生成颜色索引图[126]。然后使用该最终调色板表和该颜色索引图对该部分的表示进行编码,以生成编码比特流[108]的对应段。段。段。

【技术实现步骤摘要】
【国外来华专利技术】利用分层调色板表生成而进行的调色板模式视频编码

技术介绍

[0001]某些视频应用程序涉及“屏幕内容”(即计算机生成的图像内容)的传输,诸如远程桌面共享、用于云计算的虚拟桌面基础结构和云游戏应用程序。此类屏幕内容可单独传输,也可作为表示屏幕内容和相机捕获的视频内容的组合的混合内容传输。然而,与相机捕获的视频内容不同,屏幕内容,尤其是“桌面”屏幕内容,通常包含丰富的文本和其他计算机生成的图形,这些图形呈现出清晰的边缘且噪声相对较小。此外,屏幕内容通常在图像的局部区域内表现出较少数量的不同颜色。
[0002]已扩展了一些视频编码标准,以利用与相机捕获的视频相比,通常由屏幕内容表现出的相对较少数量的颜色和相对较高的对比度,以提供更有效的屏幕内容编码。例如,ITU

T高效视频编码(HEVC)标准提供了屏幕内容编码(SCC)扩展,该SCC扩展实现了调色板模式,该调色板模式涉及调色板颜色选择,随后基于调色板颜色选择生成颜色索引图。在该过程中,对于包含正在编码的屏幕内容的图像的每个部分(即,对于每个编码单元),编码器识别在该部分中找到的一些最高数量的代表性颜色(例如,前八种颜色),并生成调色板表,该调色板表索引(即,将索引映射到)所识别的代表性颜色中的每种颜色。然后,编码器将图像的该部分中的每个像素替换为调色板表中与该像素的颜色最匹配的调色板颜色的对应索引值,以生成正在编码的图像部分的对应颜色索引图。然后,对调色板表和颜色索引图以及与图像部分中与任何所识别的调色板颜色差异过大的像素(这些像素被称为“逃逸”像素)有关的信息进行编码,以生成编码比特流的对应段,然后将其传输到目标设备。然后,目标设备对比特流进行解码,以获得解码块的调色板表和颜色索引图,并根据这些值和任何相关联的解码残差,有损或无损地恢复原始块。开放媒体视频1联盟(AV1)编码标准提供了类似的调色板模式具体实施。
[0003]用于为待编码的给定图像部分生成调色板表的常规过程需要生成整个图像部分的所有像素颜色的单个直方图,然后从该直方图中选择调色板表的代表性颜色。在提供紧凑的比特流的同时,此调色板表生成过程可能是计算密集型的,并且因此在硅面积、吞吐量和功率消耗方面需要相当多的硬件资源。为了说明,上述HEVC

SCC标准提供了编码单元大小,每个编码单元大小为高达128
×
128个像素,这意味着对于待编码图像的每个此类编码单元,实现常规调色板表生成过程的编码器将需要处理16,384个像素以便为每个128
×
128编码单元生成对应的直方图,其中根据图像的分辨率,在任何给定图像中都存在数百或甚至数千个编码单元。当编码系统被配置为同时支持多个编码分区时,诸如能够支持基于HEVC标准和其他类似编码标准的典型8
×
8、16
×
16、32
×
32、64
×
64和128
×
128编码单元分区中的任一者或全部而对屏幕内容视频的编码,该过程进一步复杂。
附图说明
[0004]通过参考附图,本公开被更好地理解,并且其许多特征和优点对于本领域技术人员是显而易见的。在不同附图中使用相同的附图标记表示类似或相同的项目。
[0005]图1是根据一些实施方案的具有调色板模式编码器的源设备的框图,该调色板模
式编码器利用分层调色板表生成来对包含屏幕内容的视频进行调色板模式编码。
[0006]图2是示出根据一些实施方案的使用由图1的调色板模式编码器实现的分层调色板表生成而进行的调色板模式编码过程的流程图。
[0007]图3是示出根据一些实施方案的将编码单元分区为层次结构的不同层级处的多组像素块的示例性递归分层分区的图。
[0008]图4

1和图4

2是示出根据一些实施方案的使用图3的编码单元的示例性递归分区进行的图2的方法的示例性具体实施的框图。
具体实施方式
[0009]基于CU中表示的每个像素的直方图分析或其他聚类的调色板模式编码中编码单元(CU)的调色板表生成的典型方法通常在计算上是禁止的,特别是对于支持多个并发CU分区的较大CU分区或编码器。为了在保持足够的颜色再现准确度的同时降低计算复杂度,本文所述的系统和方法利用分层调色板表生成过程来有效地为待以调色板模式编码的所选CU的一个或多个所选分区大小中的每个分区大小生成调色板表。在这种方法中,所选CU在分区层次结构的不同层级处递归地分区。在顶部层级处,所选的K
×
K像素的CU由单个K
×
K像素块表示。顶部层级以下的每个相继层级具有四个较小的像素块,表示下一较高层级处的对应较大像素块。在分区层次结构的底部层级处,编码器为底部层级处的每个块生成调色板表。这些调色板表中的每个调色板表包括代表对应块中存在的像素颜色的一组调色板颜色,并且在至少一个实施方案中经由块中存在的像素颜色的直方图分析、经由k均值、或经由各种其他聚类方法中的任一种聚类方法来选择。此后,对于分区层次结构中的每个相继较高层级,编码器通过基来自与对应于当前层级处的块的下一较低层级处的四个块相关联的四个调色板表的调色板颜色为调色板表选择调色板颜色来为当前层级处的每个块生成调色板表。这也可经由对四个调色板表的调色板颜色的直方图收集或其他聚类来执行。然后在顶部层级处,在该层级处根据下一最高层级处的四个调色板表生成单个调色板表,编码器使用该调色板表来为所选CU生成颜色索引图。然后,编码器使用最终调色板表和颜色索引图对CU的表示进行编码,以生成编码比特流的对应段。
[0010]为了使用示例性32
×
32编码单元分区(即,K=32)和8
×
8像素的最小块大小进行说明,则将CU指定为顶部层级处的顶部块,并且对于下一最高层级,将顶部块分区为4个第二层级块,每个第二层级块为16
×
16像素,然后将这些块中的每个块分区为四个第三层级块,每个第三层级块为8
×
8像素。从最低层级或底部层级(在本示例中为第三层级)开始,编码器使用直方图分析、k均值分析或其他统计分析为该层级处的每个块生成初始调色板表,从而为底部层级生成四个调色板表。为了便于参考,本文描述了利用直方图收集(也标识为直方图分析)的示例性具体实施,但应当理解,除非另外指明,否则对直方图收集/分析的提及应包括对各种聚类方法或其他统计方法(诸如k均值分析)中的任一者的提及。在第二最低分区层次结构层级处,编码器从底部层级处的四个组成块的四个调色板表中表示的调色板颜色中识别一组候选颜色,这些组成块共同构成了第二最低层级处的块。编码器通过对该组候选颜色的统计分析,为第二最低层级处的块确定中间调色板表。为第二最低层级处的三个其他块中的每个块重复该过程,导致为第二最低层级生成四个中间调色板表。然后,在顶部层级处,编码器从第二最低层级处的四个组成块的四个调色板表中表示的调色板颜
色中识别一组候选颜色,这些组成块共同构成了顶本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在源设备处对包含屏幕内容的图像进行编码的方法,所述方法包括:对于所述图像的所选部分,将所述部分递归地分区为由多个层级构成的分区层次结构,其中所述分区层次结构的顶部层级具有表示所述部分的整组像素的单个块,并且所述顶部层级以下的每个层级具有表示下一较高层级处的对应较大像素块的四个较小像素块;在所述分区层次结构的底部层级处,为所述底部层级处的每个块生成调色板表,所述调色板表包括代表对应块中存在的像素颜色的一组调色板颜色;对于所述分区层次结构中的每个相继较高层级,通过基于来自与对应于当前层级处的每个块的下一较低层级处的四个块相关联的四个调色板表的调色板颜色为所述调色板表选择调色板颜色,为所述当前层级处的所述块生成调色板表;从为所述分区层次结构的所述多个层级生成的所述调色板表中选择最终调色板表;基于所述最终调色板表为所述图像的所述部分生成颜色索引图;以及使用所述最终调色板表和所述颜色索引图对所述图像的所述部分的表示进行编码,以生成编码比特流的对应段以供所述源设备输出。2.根据权利要求1所述的方法,其中为所述底部层级处的每个块生成调色板表包括:生成表示所述块的像素的合并像素颜色的出现频率的第一直方图;以及基于所述第一直方图在所述调色板表中选择至多指定数量的调色板颜色进行索引。3.根据权利要求2所述的方法,其中为所述分区层次结构中的较高层级处的块生成调色板包括:将与所述较高层级处的所述块相关联的所述四个较低层级块的每个调色板表的所述调色板颜色分组为一组候选像素颜色;生成表示合并候选像素颜色的出现频率的第二直方图;以及基于所述第二直方图在所述调色板表中选择至多所述指定数量的调色板颜色进行索引。4.根据前述权利要求中任一项所述的方法,其中为所述分区层次结构中的较高层级处的块生成调色板包括:将与所述较高层级处的所述块相关联的所述四个较低层级块的每个调色板表的所述调色板颜色分组为一组候选像素颜色;生成表示合并候选像素颜色的出现频率的聚类;以及基于所述聚类在所述调色板表中选择至多指定数量的调色板颜色进行索引。5.根据前述权利要求中任一项所述的方法,其中:所述底部层级处的所述块具有P
×
P像素的块大小;所述图像的所述部分具有K
×
K像素的大小;以及所述分区层次结构中的层级数N由表达式K=P*2^(N

1)表示。6.根据前述权利要求中任一项所述的方法,其中选择所述最终调色板表包括:对于每个候选调色板表,确定用于使用所述候选调色板表对所述图像的所述部分进行编码的对应速率失真成本;以及选择具有最低对应率失真成本的所述候选调色板表作为所述最终调色板表。7.根据前述权利要求中任一项所述的方法,其中所述图像的所述部分是编码树单元的编码单元。
8.一种用于对包含屏幕内容的图像进行编码的设备,所述设备包括:调色板模式编码器,所述调色板模式编码器被配置为:对于所述图像的所选部分,将所述部分递归地分区为由多个层级组成的分区层次结构,其中所述分区层次结构的顶部层级具有表示所述部分的整组像素的单个块,并且所述顶部层级以下的每个层级具有表示下一较高层级处的对应较大像素块的四个较小像素块;在所述分区层次结构的底部层级处,为所述底部层级处的每个块生成调色板表,所述调色板表包括代表对应块中存在的像素颜色的一组调色板颜色;对于所述分区层次结构中的每个相继较高层级,通过基于来自与对应于当前层级处的每个块的下一较低层级处的四个块相关联的四个调色板表的调色板颜色为所述调色板表选择调色板颜色,为所述当前层级处的所述块生成调色板表;从为所述分区层次结构的所述多个层级生成的所述调色板表中选择最终调色板表;基于所述最终调色板表为所述图像的所述部分生成颜色索引图;以及使用所述最终调色板表和所述颜色索引图对所述图像的所述部分的表示进行编码,以生成编码比特流的对应段。9.根据权利要求8所述的设备,其中所述调色板模式编码器被配置为通过以下步骤为所述底部层级的每个块生成调色板表:生成表示所述块的像素的合并像素颜色的出现频率的第一直方图;以及基于所述第一直方图在所述调色板表中选择至多指定数量的调色板颜色进行索引。10.根据权利要求9所述的设备,其中所述调色板模式编码器被配置为通过以下步骤为所述分区层次结构中的较高层级处的块生成调色板表:将与所述较高层级处的所述块相关联的所述四个较低层级块的每个调色板表的所述调色板颜色分组为一组候选像素颜色;生成表示合并候选像素颜色的出现频率的第...

【专利技术属性】
技术研发人员:高伟刘杨伊哈卜
申请(专利权)人:ATI科技无限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1