调色板解码装置和方法制造方法及图纸

本发明专利技术提供一种调色板解码的装置和方法。调色板解码装置包括调色板颜色存储设备、颜色索引存储设备以及调色板值处理电路，其通过从颜色索引存储设备和调色板颜色存储设备读取数据来为每个像素生成调色板值。帧被划分为第一编解码单元，并且每个第一编解码单元被细分为一个或多个第二编解码单元。在调色板值处理电路生成第一编解码单元中的最后一个像素的调色板值之前，调色板值处理电路生成第一编解码单元中的非最后像素的调色板值，并由视频解码器的重构电路使用。本发明专利技术的调色板解码装置和方法可以放宽对存储器的要求。

【技术实现步骤摘要】
调色板解码装置和方法
本专利技术有关于视频解码，更具体而言，有关于调色板解码的装置和方法。
技术介绍
传统的视频编解码标准通常采用基于块的编解码技术来利用空间和时间冗余。例如，基本方法是将源帧划分为多个块(或编解码单元)，对每个块执行帧内预测/帧间预测，变换每个块的残差，以及执行量化和熵编码。此外，生成重构帧以提供用于编解码后续块的参考像素数据。对于某些视频编解码标准，可以使用环路滤波器来增强重构帧的图像质量。视频解码器用于执行由视频编码器执行的视频编码操作的逆操作。屏幕内容可以是计算机生成的包括文本、图形和动画的内容。例如，屏幕内容可以用在诸如桌面共享、视频会议、社交网络和远程教育的应用中。由于提出的用于捕获的图像内容编解码技术不能为屏幕内容提供最佳编解码效率，因此屏幕内容的编解码应该与摄影内容的编解码不同。当通过使用不同的编解码工具(例如，调色板编解码)在视频编码器处对屏幕内容进行编码而不是将其用于捕获的图像内容时，在视频解码器中需要适当的解码方案(例如，调色板解码)以重构屏幕内容。
技术实现思路
要求保护的专利技术的一个目的是提供一种用于调色板解码的装置和方法。根据本专利技术的第一方面，公开了示例性视频解码器。示例性视频解码器包括调色板解码设备，其具有调色板颜色存储设备、颜色索引存储设备和调色板值处理电路。调色板颜色存储设备被配置为存储从比特流解码的调色板颜色。颜色索引存储设备被布置为存储像素的颜色索引，其中颜色索引从比特流解码。调色板值处理电路被配置为通过从颜色索引存储设备读取该每个像素的颜色索引，搜索存储在调色板颜色存储设备中的调色板颜色，并通过调色板颜色设置该每个像素的调色板值，为多个像素的每个像素生成调色板值，其中调色板颜色存储设备由该每个像素的颜色索引来索引。帧被划分为多个第一编解码单元，并且每个第一编解码单元被细分为一个或多个第二编解码单元。在调色板值处理电路生成第一编解码单元中的最后一个像素的调色板值之前，调色板值处理电路生成第一编解码单元中的非最后像素的调色板值，并由视频解码器的重构电路使用。根据本专利技术的第二方面，公开了示例性视频解码方法。示例性视频解码方法包括：将从比特流解码的调色板颜色存储到调色板颜色存储设备中；将像素的颜色索引存储到颜色索引存储设备中，其中颜色索引从比特流中解码；通过从颜色索引存储设备读取所述每个像素的颜色索引，搜索存储在调色板颜色存储设备中的调色板颜色，并通过调色板颜色设置所述每个像素的调色板值，为每个像素生成调色板值，其中调色板颜色存储设备由所述每个像素的颜色索引来索引。帧被划分为多个第一编解码单元，并且每个第一编解码单元被细分为一个或多个第二编解码单元。在生成第一编解码单元中的最后像素的调色板值之前，生成第一编解码单元中的非最后像素的调色板值，并通过重构非最后像素来使用调色板值。根据本专利技术的第三方面，公开了示例性视频解码器。示例性视频解码器包括调色板解码装置，其具有调色板颜色存储设备、颜色索引存储设备和调色板值处理电路。调色板颜色存储设备被配置为存储从比特流解码的调色板颜色。颜色索引存储设备被配置为存储像素的颜色索引，其中颜色索引从比特流解码。调色板值处理电路被配置为通过从颜色索引存储设备读取所述每个像素的颜色索引，搜索存储在调色板颜色存储设备中由每个像素的颜色索引索引的调色板颜色，并通过调色板颜色设置所述每个像素的调色板值，为多个像素的每个像素生成调色板值。帧被划分为多个第一编码单元，并且第一编码单元中的每一个被细分为一个或多个第二编码单元。直到该第一组的调色板解码所需的所有调色板颜色存储在该调色板颜色存储设备中以及该第一组的所有像素的颜色索引存储在该颜色索引存储设备中，调色板值处理电路才开始生成至少一个第一编解码单元的第一组中的第一像素的调色板值。根据从调色板颜色存储设备和颜色索引存储设备读取的数据生成第一组中的像素的调色板值的处理时间与将至少一个第一编解码单元的第二组的调色板解码所需的调色板颜色写入调色板颜色存储装置和将第二组像素的颜色索引写入颜色索引存储设备的处理时间重叠。在阅读了在各个附图和图示中示出的优选实施例的以下详细描述之后，本专利技术的这些和其他目的无疑将对本领域技术人员变得显而易见。附图说明图1是示出根据本专利技术的实施例的调色板解码设备的图。图2是示出根据本专利技术实施例的在帧的一个MI单元中重构像素的像素值所涉及的调色板解码处理的流程图。图3是示出根据本专利技术的实施例的调色板解码处理中涉及的基于TU的调色板值计算处理的流程图。图4是示出根据本专利技术的一个实施例存储在图1所示的调色板颜色存储装置中的多个调色板颜色表的图。图5是示出了根据本专利技术实施例的将像素的颜色索引写入图1所示的颜色索引存储设备，以创建一个TU的颜色索引图的操作的图。图6是示出根据本专利技术的一个实施例从图1所示的颜色索引存储设备读取颜色索引图的颜色索引的操作的图。图7是示出示出了根据本专利技术的一个实施例由图1所示的调色板值处理电路执行的调色板值生成处理的图。图8是图示根据本专利技术的实施例的第一视频解码器的图。图9是示出根据本专利技术的实施例的解码帧的MI单元中的TU所涉及的控制流程的流程图。图10是图示根据本专利技术的实施例的第二视频解码器的图。图11是图示根据本专利技术的实施例的基于管线的调色板解码过程的图。具体实施方式本说明书及权利要求书通篇中所用的某些用语指代特定部件。如所属领域的技术人员可以理解的是，电子设备制造商可利用不同名称来指代同一个部件。本文并非以名称来区分部件，而是以功能来区分部件。在以下说明书及权利要求书中，用语“包括”是开放式的限定词语，因此其应被解释为意指“包括但不限于…”。另外，用语“耦合”旨在意指间接电连接或直接电连接。因此，当一个装置耦合到另一装置时，则这种连接可以是直接电连接或通过其他装置及连接部而实现的间接电连接。调色板编码利用屏幕内容中几乎没有唯一(unique)颜色的事实，并尝试发送这些唯一颜色的调色板。本专利技术在视频解码器中提出了一种高性能和低成本的调色板解码方案。图1是示出根据本专利技术的实施例的调色板解码装置的图。调色板解码装置100可以在诸如AV1解码器的视频解码器中实现。调色板解码装置100包括调色板值处理电路102、颜色索引存储设备104和调色板颜色存储设备106。颜色索引存储设备104和调色板颜色存储设备106中的任何一个可以通过以下实现：诸如静态随机存取存储器(SRAM)的片上存储器，诸如动态随机存取存储器(DRAM)的片外存储器，或其组合。视频解码器中的熵解码器10接收从视频编码器产生的比特流BS。熵解码器10对比特流BS进行解码以获得发送的(signaled)调色板相关信息，并将解码的调色板相关信息提供给调色板解码装置100。例如，从比特流BS导出的调色板相关信息可包括调色板大小(size)数据D_IN1、调色板颜色数据D_IN2和颜色索引数据D_IN3。在该实施例中，调色板颜色存储设备106被布置为存储本文档来自技高网...

【技术保护点】
1.一种视频解码器，包括：/n调色板解码装置，包括：/n调色板颜色存储设备，用于存储从比特流解码的多个调色板颜色；/n颜色索引存储设备，用于存储多个像素的多个颜色索引，其中该多个颜色索引从该比特流中解码；以及/n调色板值处理电路，用于通过以下方式为该多个像素的每个像素生成调色板值：/n从该颜色索引存储设备读取该每个像素的颜色索引；/n搜索存储在该调色板颜色存储设备中的调色板颜色，该调色板颜色由该每个像素的该颜色索引来索引；以及/n通过该调色板颜色设置该每个像素的该调色板值；/n其中，帧被划分为多个第一编解码单元，该多个第一编解码单元的每个被细分为一个或多个第二编解码单元，并且在该调色板值处理电路生成该第一编解码单元中的最后一个像素的调色板值之前，该第一编解码单元中的非最后像素的调色板值由该调色板值处理电路生成，并由该视频解码器的重构电路使用。/n

【技术特征摘要】
20190306 US 16/293,6471.一种视频解码器，包括：
调色板解码装置，包括：
调色板颜色存储设备，用于存储从比特流解码的多个调色板颜色；
颜色索引存储设备，用于存储多个像素的多个颜色索引，其中该多个颜色索引从该比特流中解码；以及
调色板值处理电路，用于通过以下方式为该多个像素的每个像素生成调色板值：
从该颜色索引存储设备读取该每个像素的颜色索引；
搜索存储在该调色板颜色存储设备中的调色板颜色，该调色板颜色由该每个像素的该颜色索引来索引；以及
通过该调色板颜色设置该每个像素的该调色板值；
其中，帧被划分为多个第一编解码单元，该多个第一编解码单元的每个被细分为一个或多个第二编解码单元，并且在该调色板值处理电路生成该第一编解码单元中的最后一个像素的调色板值之前，该第一编解码单元中的非最后像素的调色板值由该调色板值处理电路生成，并由该视频解码器的重构电路使用。


2.根据权利要求1所述的视频解码器，其特征在于，该颜色索引存储设备存储包括在该多个第二编解码单元之一中的多个像素的多个颜色索引，然后通过重写包括在该多个第二编解码单元中的该一个中的多个像素的该多个颜色索引的至少一部分，来存储包括在该多个第二编解码单元中的另一个中的多个像素的多个颜色索引。


3.根据权利要求2所述的视频解码器，其特征在于，该颜色索引存储设备的存储容量等于一个第二编解码单元中的所有像素的颜色索引的最大大小。


4.根据权利要求2所述的视频解码器，其特征在于，每个第一编解码单元是模式信息单元，并且每个第二编解码单元是变换单元。


5.根据权利要求1所述的视频解码器，其特征在于，该颜色索引存储设备的存储容量小于一个第一编解码单元中的所有像素的颜色索引的大小。


6.根据权利要求1所述的视频解码器，其特征在于，该调色板颜色存储装置存储该多个第一编解码单元之一中的每个第二编解码单元的调色板解码所需的多个调色板颜色，然后通过重写该多个第一编解码单元之一中的每个第二编解码单元的调色板解码所需的该多个调色板颜色的至少一部分，来存储该多个第一编解码单元中的另一个中的每个第二编解码单元的调色板解码所需的多个调色板颜色。


7.根据权利要求6所述的视频解码器，其特征在于，该调色板颜色存储设备的存储容量等于一个第一编解码单元的调色板解码所需的多个调色板颜色的最大大小。


8.根据权利要求6所述的视频解码器，其特征在于每个第一编解码单元是模式信息单元，并且每个第二编解码单元是变换单元。


9.根据权利要求1所述的视频解码器，其特征在于，该调色板解码装置为一个第二编解码单元中的每个像素生成调色板值，并为另一个第二编解码单元中的每个像素生成调色板值；以及该视频解码器还包括：
残差解码电路，用于解码该比特流的熵解码结果，以为该另一个第二编解码单元中的该每个像素生成残差数据，并为又一个第二编解码单元中的每个像素生成残差数据；
加法器电路，用于将该另一个第二编解码单元中的该每个像素的该调色板值与该另一个第二编解码单元中的该每个像素的该残差数据相加，以生成该另一个第二编解码单元中的该每个像素的调整后的残差数据；
存储设备；以及
多工器，具有第一输入端口、第二输入端口、第三输入端口和输出端口，其中该第一输入端口用于接收该调色板解码装置的输出，该第二输入端口用于接收该加法器电路的输出，该第三输入端口用于接收该残差解码电路的输出，该输出端口用于分别在不同时序输出该调色板解码装置的该输出、该加法器电路的该输出和该残差解码电路的该输出到该存储设备；
其中，该重构电路从该存储设备读取存储的数据以进行重构。


10.根据权利要求1所述的视频解码器，其特征在于，还包括：
第一存储设备，其中，该调色板值处理电路还用于将多个调色板值存储到该第一存储设备中；
第二存储设备；
残差解码电路，用于对该比特流的熵解码结果进行解码，生成多个残差数据，并将该多个残差数据存储到该第二存储设备中；以及
选择器电路，具有第一输入端口、第二输入端口和输出端口，其中该第一输入端口设置为接收从该第一存储设备读取的该多个调色板值，该第二输入端口设置为接收从该第二存储设备读取的多个残差数据，并且该输出端口被布置成将该多个调色板值和该多个残差数据中的一个或两个输出到该重构电路。


11.一种视频解码方法，包括：
将从比特流解码的多个调色板颜色存储到调色板颜色存储设备中；
将多个像素的多个颜色索引存储到颜色索引存储设备中，其中该多个颜色索引从该比特流中解码；以及
通过以下方式为该多个像素的每个像素生成调色板值：
从该颜色索引存储设备读取该每个像素的颜色索引；
搜索存储在该调色板颜色存储设备中的调色板颜色，该调色板颜色由该每个像素的该颜色索引来索引；以及
通过该调色板颜色设置该每个像素的该调色板值...

【专利技术属性】
技术研发人员：陈启民，邱铭豪，郑佳韵，张永昌，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71