图像处理装置和方法制造方法及图纸

本发明专利技术涉及图像处理装置和方法，其使得可以使正交变换和逆正交变换所需的存储器容量的增加最小化。使用构成变换矩阵的一部分的部分矩阵导出所述变换矩阵，使用导出的变换矩阵对图像的预测残差执行正交变换，预测残差经受正交变换，并且对由此获得的系数数据进行加密，并且生成比特流。本发明专利技术例如可以应用于图像处理装置、图像编码设备、图像解码设备等。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和方法
本公开内容涉及图像处理装置和方法，并且具体地涉及使得能够抑制正交变换和逆正交变换所需的存储器容量的增加的图像处理装置和方法。
技术介绍
常规地，已经公开一种关于亮度的自适应一次变换(自适应多核变换：AMT)，其中，为每个变换单元(TU)的每个水平一次变换PThor(也被称为一次水平变换)和垂直一次变换PTver(也被称为一次垂直变换)，从多个不同的正交变换中自适应地选择一次变换(例如，参见非专利文献1)。在非专利文献1中，存在作为一次变换的候选的DCT-II、DST-VII、DCT-VIII、DST-I和DCT-VI的五个一维正交变换。此外，已经提出了添加DST-IV和恒等变换(IDT：一维变换跳过)的两个一维正交变换，并且具有作为一次变换的候选的总共七个一维正交变换(例如，参见非专利文献2)。引用列表非专利文献非专利文献1：JianleChen，ElenaAlshina，GaryJ.Sullivan，Jens-Rainer，JillBoyce的“AlgorithmDescriptionofJointExplorationTestModel4”，JVET-G1001_v1，JointVideoExplorationTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11第四次会议：都灵，意大利，2017年7月13日至21日非专利文献2：V.Lorcy，P.Philippe的“ProposedimprovementstotheAdaptivemultipleCoretransform”，JVET-C0022，JointVideoExplorationTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11第三次会议：日内瓦，瑞士，2016年5月26日至6月1日
技术实现思路
本专利技术要解决的问题然而，在这些方法的情况下，存在保存一次变换的所有变换矩阵所需的查找表(LUT)的大小增加的可能性。即，在考虑一次变换的硬件实现方式的情况下，存在保存变换矩阵的系数所需的存储器大小增加的可能性。本公开内容是鉴于这样的情况而提出的，并且本公开使得能够抑制正交变换和逆正交变换所需的存储器容量的增加。问题的解决方案根据本技术的一个方面的图像处理装置是一种图像处理装置，该图像处理装置包括：导出单元，其被配置成使用构成变换矩阵的一部分的子矩阵来导出变换矩阵；正交变换单元，其被配置成使用由导出单元导出的变换矩阵来对图像的预测残差进行正交变换；以及编码单元，其被配置成对通过由正交变换单元对预测残差进行正交变换而获得的系数数据进行编码，以生成比特流。根据本技术的一个方面的图像处理方法是一种图像处理方法，该图像处理方法包括：使用构成变换矩阵的一部分的子矩阵来导出变换矩阵；使用所导出的变换矩阵来对图像的预测残差进行正交变换；以及对通过对预测残差进行正交变换而获得的系数数据进行编码，以生成比特流。根据本技术的另一方面的图像处理装置是一种图像处理装置，该图像处理装置包括：解码单元，其被配置成对比特流进行解码以获得通过对图像的预测残差进行正交变换而得的系数数据；导出单元，其被配置成使用构成变换矩阵的一部分的子矩阵来导出变换矩阵；以及逆正交变换单元，其被配置成使用由导出单元导出的变换矩阵来对由解码单元获得的系数数据进行逆正交变换。根据本技术的另一方面的图像处理方法是一种图像处理方法，该图像处理方法包括：对比特流进行解码以获得通过图像的预测残差进行正交变换而得的系数数据；使用构成变换矩阵的一部分的子矩阵来导出变换矩阵；以及使用所导出的变换矩阵来对获得的系数数据进行逆正交变换。在根据本技术的一个方面的图像处理装置和方法中，使用构成变换矩阵的一部分的子矩阵来导出变换矩阵，使用所导出的变换矩阵来对图像的预测残差进行正交变换，并且对通过对预测残差进行正交变换而获得的系数数据进行编码，以生成比特流。在根据本技术的另一方面的图像处理装置和方法中，对比特流进行解码以获得通过对图像的预测残差进行正交变换而得的系数数据，使用构成变换矩阵的一部分的子矩阵来导出变换矩阵，并且使用所导出的变换矩阵来对所获得的系数数据进行逆正交变换。本专利技术的效果根据本公开内容，可以处理图像。特别地，可以抑制正交变换和逆正交变换所需的存储器容量的增加。附图说明图1是示出变换集与要选择的正交变换之间的对应关系的图。图2是示出正交变换的类型与要使用的函数之间的对应关系的图。图3是示出变换集与预测模式之间的对应关系的图。图4是示出存储在LUT中的正交变换的类型的示例的图。图5是示出以HEVC保存变换矩阵所需的LUT大小的示例的图。图6是示出保存变换矩阵所需的LUT大小的示例的图。图7是用于描述变换矩阵之间的相似性的示例的图。图8是用于描述可通过翻转替代的变换类型的示例的示图。图9是用于描述可通过转置替代的变换类型的示例的示图。图10是示出变换矩阵的替代的主要具体示例的列表的图。图11是示出图像编码设备的主要配置示例的框图。图12是示出正交变换单元的主要配置示例的框图。图13是用于描述图像编码处理的流程的示例的流程图。图14是用于描述正交变换处理的流程的示例的流程图。图15是示出图像解码设备的主要配置示例的框图。图16是示出逆正交变换单元的主要配置示例的框图。图17是用于描述图像解码处理的流程的示例的流程图。图18是用于描述逆正交变换处理的流程的示例的流程图。图19是示出变换类型导出的示例的图。图20是示出变换类型导出的具体示例的图。图21是示出保存变换矩阵所需的LUT大小的示例的图。图22是示出一次变换单元的主要配置示例的框图。图23是示出一次水平变换单元的主要配置示例的框图。图24是示出变换矩阵导出单元的主要配置示例的框图。图25是示出一次垂直变换单元的主要配置示例的框图。图26是示出变换矩阵导出单元的主要配置示例的框图。图27是用于描述一次变换处理的流程的示例的流程图。图28是用于描述一次水平变换处理的流程的示例的流程图。图29是示出针对每个元素的运算表达的示例的图。图30是用于描述变换矩阵导出处理的流程的示例的流程图。图31是示出将变换类型分配给变换类型标识符的示例的图。图32是用于描述一次垂直变换处理的流程的示例的流程图。图33是示出针对每个元素的运算表达的示例的图。图34是示出逆一次变换单元的主要配置示例的框图。图35是示出逆一次垂直变换单元的主要配置示例的框图。图36是示出变换矩阵导出单元的主要配置示例的框图。图37是示出逆一次水平变换单元的主要配置示例的框图。图38是示出本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：/n导出单元，其被配置成使用构成变换矩阵的一部分的子矩阵来导出所述变换矩阵；/n正交变换单元，其被配置成使用由所述导出单元导出的所述变换矩阵来对图像的预测残差进行正交变换；以及/n编码单元，其被配置成对通过由所述正交变换单元对所述预测残差进行正交变换而获得的系数数据进行编码，以生成比特流。/n

【技术特征摘要】
【国外来华专利技术】20171124 JP 2017-2260621.一种图像处理装置，包括：
导出单元，其被配置成使用构成变换矩阵的一部分的子矩阵来导出所述变换矩阵；
正交变换单元，其被配置成使用由所述导出单元导出的所述变换矩阵来对图像的预测残差进行正交变换；以及
编码单元，其被配置成对通过由所述正交变换单元对所述预测残差进行正交变换而获得的系数数据进行编码，以生成比特流。


2.根据权利要求1所述的图像处理装置，其中，
所述导出单元使用存储在查找表中的所述子矩阵来导出所述变换矩阵。


3.根据权利要求1所述的图像处理装置，其中，
所述正交变换单元使用由所述导出单元导出的所述变换矩阵对所述预测残差执行一次变换，并且还对所述一次变换的结果执行二次变换。


4.根据权利要求3所述的图像处理装置，其中，
所述导出单元导出用于水平方向的一维正交变换的变换矩阵和用于垂直方向的一维正交变换的变换矩阵，并且
所述正交变换单元进行以下操作作为所述一次变换：
使用由所述导出单元导出的用于水平方向的一维正交变换的变换矩阵来执行所述水平方向的一维正交变换；以及
进一步使用由所述导出单元导出的用于垂直方向的一维正交变换的变换矩阵来执行所述垂直方向的一维正交变换。


5.根据权利要求1所述的图像处理装置，其中，
所述导出单元通过以下操作来导出所述变换矩阵：围绕穿过所述变换矩阵的中心的预定方向的轴翻转所述子矩阵；以及导出所述变换矩阵的剩余子矩阵。


6.根据权利要求5所述的图像处理装置，其中，
所述导出单元还使经翻转的所述子矩阵的元素的符号反转并且导出所述变换矩阵。


7.根据权利要求1所述的图像处理装置，其中，
所述子矩阵是所述变换矩阵的左半子矩阵或右半子矩阵，并且
所述导出单元被配置成通过以下操作来导出所述变换矩阵：在所述变换矩阵的行方向上翻转所述子矩阵；进一步使经翻转的子矩阵的奇数行向量的符号反转；以及导出所述变换矩阵的右半子矩阵或左半子矩阵。


8.根据权利要求1所述的图像处理装置，其中，
所述子矩阵是所述变换矩阵的上半子矩阵或下半子矩阵，并且
所述导出单元被配置成通过以下操作来导出所述变换矩阵：在所述变换矩阵的列方向上翻转所述子矩阵；进一步使经翻转的子矩阵的奇数列向量的符号反转；以及导出所述变换矩阵的下半子矩阵或上半子矩阵。


9.根据权利要求1所述的图像处理装置，其中，
所述子矩阵是所述变换矩阵的上半子矩阵或下半子矩阵，并且
所述导出单元被配置成通过以下操作来导出所述变换矩阵：在围绕所述变换矩阵的中心的旋转方向上翻转所述子矩阵；进一步使经翻转的子矩阵的具有偶数行号和偶数列号的元素以及具有奇数行号和奇数列号的元素的符号反转；以及导出所述变换矩阵的下半子矩阵或上半子矩阵。


10.根据权利要求1所述的图像处理装置，其中，
所述子矩阵是所述变换矩阵的右上三角部分的子矩阵或左下三角部分的子矩阵，并且
所述导出单元被配置成通过以下操作来导出所述变换矩阵：对所述子矩阵进行转置，来导出所述变换矩阵的左下三角部分的子矩阵或右上三角部分的子矩阵。


11.根据权利要求1所述的图像处理装置，其中，
所述子矩阵是所述变换矩阵的左上三角部分的子矩阵或右下三角部分的子矩阵，并且
所述导出单元被配置成通过以下操作来导出所述变换矩阵：在以连接所述变换矩阵的右上端和左下端的对角线为轴的倾斜方向上翻转所述子矩阵；进一步使经翻转的子矩阵的具有偶数行号和偶数列号的元素的符号以及具有奇数行号和奇数列号的元素的符号反转；以及导出所述变换矩阵的右下三角部分的子矩阵或左上三角部分的子矩阵。


12.根据权利要求1所述的图像处理装置，其中，
所述子矩阵是所述变换矩阵的左上四分之一子矩阵，并且
所述导出单元被配置成通过以下操作来导出所述变换矩阵：
在所述变换矩阵的行方向上翻转所述子...

【专利技术属性】
技术研发人员：筑波健史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP