利用调色板编码的编码视频数据区块的方法和装置制造方法及图纸

本发明专利技术提供一种通过初始化调色板或三重调色板、或利用自先前图像区域的选择的调色板或三重调色板以用于当前图像区域的起始区块的、视频数据的区块的调色板编码的方法和装置。该方法接收与当前图像区域相关的输入数据，该当前图像区域由多个区块组成。对于起始区块，基于初始的调色板或三重调色板、或基于与选择的区块相关的选择的调色板或三重调色板，确定其调色板预测子，其中该选择的区块位于先前图像区域的末端之前的位置处。对于当前图像区域的区块，调色板编码被应用多个区块，其中至少一区块使用起始区块的调色板预测子作为调色板预测子。

【技术实现步骤摘要】
【国外来华专利技术】交叉引用本专利技术主张在2013年12月18日提出的申请号为61/917,474的美国临时专利申请的优先权；主张在2013年12月27日提出的申请号为61/921,152的美国临时专利申请的优先权；主张在2014年3月14日提出的申请号为61/952,917的美国临时专利申请的优先权；主张在2014年3月14日提出的申请号为61/952,932的美国临时专利申请的优先权；以及主张在2014年9月26日提出的申请号为62/055,692的美国临时专利申请的优先权。因此在全文中合并参考该些专利申请案。
本专利技术是有关于视频数据的调色板编码(palette coding)，特别是有关于利用更有效的调色板初始化和管理来改进调色板预测的性能的技术。
技术介绍
高效视频编码(High Efficiency Video Coding,以下简称为HEVC)是近年来开发的新的编码标准。在HEVC系统中，H.264/AVC中固定尺寸的宏块由灵活的区块来代替，并将其命名为编码单元(coding unit,CU)。在编码单元中像素共享相同的编码参数，以改善编码效率。编码单元可开始于最大编码单元(largest CU,LCU)，其在HEVC中也被称为编码树单元。除编码单元的概念之外，预测单元的概念也被引入HEVC中。一旦编码单元分层树的分割完成，根据预测类型和预测分割，每一个叶编码单元被进一步分割为一个或多个预测单元。在HEVC标准的发展过程中，也开发了HEVC的扩展版本。HEVC的扩展包括范围扩展(range extensions,以下简称为RExt)，其目标在于非4:2:0颜色格式(例如4:2:2和4:4:4)以及更高比特深度视频(例如，每次采样12、14以及16比特)。利用RExt的一个可能的应用是通过有线或无线连接的屏幕共享。由于屏幕内容的具体特点，已开发一些编码工具以及这些编码工具证明编码效率收益显著。在这些编码工具中，调色板编码(也称为基于主要颜色的编码)技
术利用至调色板(主要颜色)的索引(indices)而表示区块的像素，并利用空间冗余来编码调色板和索引。尽管可能的颜色组合的总数很大，但是用于典型的屏幕内容的图片区域中的颜色数通常有限。因此，调色板编码十分有效地用于屏幕内容素材(screen content materials)。在HEVC RExt的早期开发中，若干提议已被揭示，以处理基于调色板的编码。举例来说，调色板预测和共享技术揭示于JCTVC-N0247中(Guo et al.,“RCE3:Results of Test 3.1on Palette Mode for Screen Content Coding”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC29/WG 11,14th Meeting:Vienna,AT,25July–2Aug.2013Document:JCTVC-N0247)。在JCTVC-N0247中，调色板的每一个颜色组分被构建和传送。调色板可自其左相邻的编码单元而被预测(或共享)以降低比特率。一种改进的调色板预测和共享技术被揭示于JCTVC-O0218中(Guo et al.,“Evaluation of Palette Mode Coding on HM-12.0+RExt-4.1”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC29/WG 11,15th Meeting:Geneva,CH,23Oct.–1Nov.2013,Document:JCTVC-O0218)。在JCTVC-O0218中，编码过程如下所示：1.调色板的传送：首先传送调色板尺寸(调色板中颜色的数目)，之后传送调色板元素(颜色值)。2.像素调色板索引值的传送(在调色板中指向颜色的索引)：在编码单元中像素的索引值以光栅扫描的顺序而被编码。对于每一个位置，首先传送一个标志来指示是否开始使用“运行模式(run mode)”或“复制上方模式(copy above mode)”。2.1“运行模式”：在“运行模式”中，首先发送调色板索引，随后发送“palette_run”(例如，M)。一旦发送当前位置和随后M个位置具有相同的调色板索引，当前位置和随后M个位置不需要发送进一步的信息。调色板索引(例如，i)可由所有的三个颜色组分来共享，这意味着已重建的像素值(Y,U,V)＝(paletteY[i],paletteU[i],paletteV[i])(假设颜色空间为YUV)。2.2“复制上方模式”：在“复制上方模式”中，“copy_run”的值被传送以指示对于随后N个位置(包括当前位置)，调色板索引等于在上方行中相同位置处像素的调色板索引。3.残差的传送：在阶段2中传送的调色板索引被转换为颜色值并用作预
测子。残差信息利用HEVC残差编码而被传送，并被添加至用于重建的预测中。另一个调色板编码技术被揭示于JCTVC-O-0182中(Guo et al.,“AHG8:Major-color-based screen content coding”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,15th Meeting:Geneva,CH,23Oct.–1Nov.2013,Document:JCTVC-O0182)。然而，在调色板中的各个调色板颜色条目可自上方的编码单元或左侧的编码单元中精确对应的调色板颜色条目而被预测，而不是自左侧编码单元预测整个调色板。换句话说，JCTVC-O-0182揭示了逐元素调色板预测。线模式的三种类型可被用于预测每一个索引线，即水平模式、垂直模式、以及正常模式。在水平模式中，在相同线中的所有索引具有相同的值。若值与上方像素线的第一像素相同，仅线模式发送比特被传送。否则，索引值也被传送。在垂直模式中，当前索引线与上方索引线相同。因此，仅线模式发送比特被传送。在正常模式中，在线中的索引分别被预测。对于每一个索引的位置，左侧或上方相邻被用作预测子，以及预测符号被传送至解码器。因此，JCTVC-O-0182揭示了将像素分类为主要颜色像素(major color pixels)(具有指向调色板颜色的调色板索引)和逃逸像素(escape pixel)的技术。对于主要颜色像素，解码器根据主要颜色索引(也称为调色板索引)和调色板来重建像素值。对于逃逸像素，编码器会进一步发送像素值。因此，需要开发一种进一步改善编码效率及/或降低调色板编码相关复杂性的方法。
技术实现思路
根据本专利技术的实施方式，提出一种通过初始化调色板或三重调色板、或利用自先前图像区域的选择的调色板或三重调色板以用于当前图像区域的起始区块的、视频数据的区块的调色板编码的方法和装置。该方法接收与当前图像区域相关的输本文档来自技高网...

【技术保护点】
一种在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，图片被分割为多个图像区域，该方法包括：接收与当前图像区域相关的输入数据，该当前图像区域由多个区块组成；基于初始的调色板或三重调色板、或基于与选择的区块相关的选择的调色板或三重调色板，确定该当前图像区域的起始区块的调色板预测子，其中该选择的区块位于先前图像区域的末端之前的位置处；以及对该当前图像区域的多个区块应用调色板编码，其中该当前图像区域的至少一个区块使用该当前图像区域的起始区块的调色板预测子作为该调色板预测子。

【技术特征摘要】
【国外来华专利技术】2013.12.18 US 61/917,474;2013.12.27 US 61/921,152;1.一种在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，图片被分割为多个图像区域，该方法包括：接收与当前图像区域相关的输入数据，该当前图像区域由多个区块组成；基于初始的调色板或三重调色板、或基于与选择的区块相关的选择的调色板或三重调色板，确定该当前图像区域的起始区块的调色板预测子，其中该选择的区块位于先前图像区域的末端之前的位置处；以及对该当前图像区域的多个区块应用调色板编码，其中该当前图像区域的至少一个区块使用该当前图像区域的起始区块的调色板预测子作为该调色板预测子。2.根据权利要求1所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该图像区域对应于编码树单元行、图块、或条带。3.根据权利要求1所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，若波前并行处理被开启以用于该视频数据，则利用该初始调色板或三重调色板、或利用该选择的调色板或三重调色板为该当前图像区域的该起始区块执行调色板编码，以及若该波前并行处理被关闭以用于该视频数据，则不对该当前图像区域的该起始区块执行调色板编码。4.根据权利要求3所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，若该波前并行处理被关闭以用于该视频数据，该当前图像区域的该起始区块使用在该先前图像区域中最后编码区块的最后编码的调色板或三重调色板作为调色板预测子而被调色板编码。5.根据权利要求1所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该多个区块被配置为区块组，以及该区块对应于编码单元；该区块组对应于编码树单元；以及该图像区域对应于编码树单元行。6.根据权利要求5所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，当该选择的调色板或三重调色板被用作该调色板预测子时，该选择的区块对应于在先前编码树单元行中的选择的编码树单元的最后的编码单元，该先前编码树单元行的该选择的编码树单元位于当前编码树单元行中的起始编码树单元的右上角的位置处，其中该起始编码
\t树单元包括该起始区块以及该选择的调色板或三重调色板对应于该选择的编码树单元的最后编码单元的最后编码的调色板或三重调色板。7.根据权利要求6所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，若该波前并行处理被开启以用于该视频数据，则利用该初始调色板或三重调色板、或利用该选择的调色板或三重调色板为该当前图像区域的该起始区块执行调色板编码，以及若该波前并行处理被关闭以用于该视频数据，则跳过对该当前图像区域的该起始区块执行调色板编码。8.根据权利要求5所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，当该选择的调色板或三重调色板被用作该调色板预测子时，该选择的区块对应于在该先前图像区域中的选择的编码树单元中的选择的编码单元，该先前图像区域中的选择的编码树单元在该当前图像区域中的起始编码树单元之上的位置处，其中该起始编码树单元包括该起始区块以及该选择的调色板或三重调色板对应于该选择的编码树单元的该选择的编码单元的最后已编码的调色板或三重调色板。9.根据权利要求8所述的...

【专利技术属性】
技术研发人员：庄子德，赖柏霖，孙域晨，刘杉，许晓中，黄毓文，陈鼎匀，
申请(专利权)人：寰发股份有限公司，
类型：发明
国别省市：中国台湾;71