图像处理装置和方法制造方法及图纸

本公开内容涉及使得可以抑制正交变换和逆正交变换所需的存储器容量的增加的图像处理装置和图像处理方法。使用构成具有第一尺寸的变换矩阵的一部分的部分矩阵来导出具有小于第一尺寸的第二尺寸的变换矩阵，并且通过使用所导出的变换矩阵对通过对图像的预测残差进行正交变换获得的系数数据执行逆正交变换来生成图像。本技术能够应用于例如图像处理装置、图像编码装置或图像解码装置。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和方法
本公开内容涉及图像处理装置和方法，并且具体地，涉及能够抑制正交变换和逆正交变换所需的存储器容量的增加的图像处理装置和方法。
技术介绍
传统上，公开了自适应一次变换(AMT：自适应多核变换)，其中，针对与亮度有关的TU(变换单元)的每个单元中的水平方向上的每个一次变换PThor(也称为一次水平变换)和垂直方向上的每个一次变换PTver(也称为一次垂直变换)，从多个不同的正交变换中自适应地选择一次变换(例如，参见非专利文献1)。在非专利文献1中，一次变换的候选包括五个一维正交变换，包括DCT-II、DST-VII、DCT-VIII、DST-I和DST-VII。还提出了：还添加包括DST-IV和IDT(恒等变换：一维变换跳过)的两个一维正交变换，并且将总共七个一维正交变换设定为一次变换的候选(例如，参见非专利文献2)。引用列表专利文献非专利文献1：JianleChen,ElenaAlshina,GaryJ.Sullivan,Jens-Rainer,JillBoyce,"AlgorithmDescriptionofJointExplorationTestModel4",JVET-G1001_v1,JointVideoExplorationTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG117thMeeting:Torino,IT,13-21July2017非专利文献2：V.Lorcy,P.Philippe,"ProposedimprovementstotheAdaptivemultipleCoretransform",JVET-C0022,JointVideoExplorationTeam(JVET)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG113rdMeeting:Geneva,CH,26May-1June2016
技术实现思路
技术问题然而，在所述方法的情况下，保存一次变换的所有变换矩阵所需的LUT(查找表)的尺寸可能增加。也就是说，考虑到一次变换的硬件实现方式，保存变换矩阵的系数所需的存储器尺寸可能增加。鉴于上述情况做出了本公开内容，并且本公开内容可以抑制正交变换和逆正交变换所需的存储器容量的增加。问题的解决方案本技术的一方面提供了一种图像处理装置，该图像处理装置包括：解码部，该解码部对比特流进行解码以生成其中图像的预测残差被正交变换的系数数据；导出部，该导出部从作为具有第一尺寸的第一变换矩阵的一部分的子矩阵导出具有第二尺寸的第二变换矩阵，第二尺寸是比第一尺寸小的尺寸；以及逆正交变换部，该逆正交变换部使用由导出部导出的第二变换矩阵，对由解码部生成的系数数据应用逆正交变换。该导出部导出通过对第一变换矩阵的矩阵元素进行采样获得的矩阵作为子矩阵。本技术的一方面提供了一种图像处理方法，该图像处理方法包括：对比特流进行解码以生成其中图像的预测残差被正交变换的系数数据；从作为具有第一尺寸的第一变换矩阵的一部分的子矩阵导出具有第二尺寸的第二变换矩阵，第二尺寸是比第一尺寸小的尺寸；以及使用所导出的第二变换矩阵来对所生成的系数数据应用逆正交变换。本技术的一方面提供了一种图像处理装置，该图像处理装置包括：导出部，该导出部从作为具有第一尺寸的第一变换矩阵的一部分的子矩阵导出具有第二尺寸的第二变换矩阵，第二尺寸是比第一尺寸小的尺寸；正交变换部，该正交变换部使用由导出部导出的第二变换矩阵，对图像的预测残差进行正交变换并且生成系数数据；以及编码部，该编码部对由正交变换部生成的系数数据进行编码，以生成比特流。该导出部导出通过对第一变换矩阵的矩阵元素进行采样获得的矩阵作为子矩阵。本技术的一方面提供了一种图像处理方法，该图像处理方法包括：从作为具有第一尺寸的第一变换矩阵的一部分的子矩阵导出具有第二尺寸的第二变换矩阵，第二尺寸是比第一尺寸小的尺寸；使用导出的第二变换矩阵对图像的预测残差进行正交变换并且生成系数数据；以及对所生成的系数数据进行编码以生成比特流。本专利技术的有益效果根据本公开内容，可以对图像进行处理。特别地，可以抑制正交变换和逆正交变换所需的存储器容量的增加。注意，上述有益效果不一定是限制性的，并且除了上述有益效果之外或者代替上述有益效果，还可以获得本说明书中示出的任何有益效果或者可以从本说明书理解的其他有益效果。附图说明[图1]图1是示出变换集与要选择的正交变换之间的对应关系的图。[图2]图2是示出正交变换的类型与要使用的函数之间的对应关系的图。[图3]图3是示出变换集与预测模式之间的对应关系的图。[图4]图4是示出存储在LUT中的正交变换的类型的示例的图。[图5]图5是示出用于以HEVC保存变换矩阵所需的LUT尺寸的示例的图。[图6]图6是示出用于保存变换矩阵所需的LUT尺寸的示例的图。[图7]图7是示出正交变换的基函数被缩放并且近似为整数的示例的图。[图8]图8是描述变换矩阵之间的相似性的示例的图。[图9]图9是描述变换矩阵之间的相似性的示例的图。[图10]图10是示出变换矩阵的基向量之间的相似性的具体示例。[图11]图11是示出变换矩阵的基向量之间的相似性的具体示例。[图12]图12是示出变换矩阵的基向量之间的相似性的具体示例。[图13]图13是示出从基本变换矩阵导出的变换矩阵的示例的图。[图14]图14是示出从基本变换矩阵导出的变换矩阵的示例的图。[图15]图15是示出从基本变换矩阵导出的变换矩阵的示例的图。[图16]图16是示出用于基本变换矩阵的操作和导出公式的概述的图。[图17]图17是示出用于基本变换矩阵的操作和导出公式的概述的图。[图18]图18是示出从基本变换矩阵导出的变换矩阵的具体示例的图。[图19]图19是示出从基本变换矩阵导出的变换矩阵的具体示例的图。[图20]图20是示出从基本变换矩阵导出的变换矩阵的具体示例的图。[图21]图21是示出从基本变换矩阵导出的变换矩阵的具体示例的图。[图22]图22是示出变换矩阵导出部的主要配置示例的框图。[图23]图23是示出与变换类型相对应的变换矩阵的导出方法的概述的图。[图24]图24是示出变换矩阵导出处理的流程的示例的流程图。[图25]图25是示出用于保存变换矩阵所需的LUT尺寸的示例的图。[图26]图26是示出共享矩阵计算的示例的图。[图27]图27是示出图像编码装置的主要配置示例的框图。[图28]图28是示出正交变换部的主要配置示例的框图。[图29]图29是描述图像编码处理的流程的示例的流程图。[图30]图30是描述正交变换处理的流程的示例的流程图。[图31]图31是示出图像解码装置的主要配置示例本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：/n解码部，其对比特流进行解码以生成其中图像的预测残差被正交变换的系数数据；/n导出部，其从作为具有第一尺寸的第一变换矩阵的一部分的子矩阵导出具有第二尺寸的第二变换矩阵，所述第二尺寸是比所述第一尺寸小的尺寸；以及/n逆正交变换部，其使用由所述导出部导出的所述第二变换矩阵，对由所述解码部生成的所述系数数据应用逆正交变换。/n

【技术特征摘要】
【国外来华专利技术】20180330 JP 2018-067808;20180629 JP 2018-1240081.一种图像处理装置，包括：
解码部，其对比特流进行解码以生成其中图像的预测残差被正交变换的系数数据；
导出部，其从作为具有第一尺寸的第一变换矩阵的一部分的子矩阵导出具有第二尺寸的第二变换矩阵，所述第二尺寸是比所述第一尺寸小的尺寸；以及
逆正交变换部，其使用由所述导出部导出的所述第二变换矩阵，对由所述解码部生成的所述系数数据应用逆正交变换。


2.根据权利要求1所述的图像处理装置，其中，
所述导出部导出通过对所述第一变换矩阵的矩阵元素进行采样获得的矩阵作为所述子矩阵。


3.根据权利要求2所述的图像处理装置，其中，
所述导出部导出偶数低阶矩阵作为所述子矩阵，所述偶数低阶矩阵包括偶数矩阵的左半部分矩阵元素中的矩阵元素，所述偶数矩阵包括所述第一变换矩阵的偶数行的矩阵元素。


4.根据权利要求2所述的图像处理装置，其中，
所述导出部导出偶数高阶矩阵作为所述子矩阵，所述偶数高阶矩阵包括偶数矩阵的右半部分矩阵元素中的矩阵元素，所述偶数矩阵包括所述第一变换矩阵的偶数行的矩阵元素。


5.根据权利要求2所述的图像处理装置，其中，
所述导出部导出奇数低阶矩阵作为所述子矩阵，所述奇数低阶矩阵包括奇数矩阵的左半部分矩阵元素中的矩阵元素，所述奇数矩阵包括所述第一变换矩阵的奇数行的矩阵元素。


6.根据权利要求2所述的图像处理装置，其中，
所述导出部导出奇数高阶矩阵作为所述子矩阵，所述奇数高阶矩阵包括奇数矩阵的右半部分矩阵元素中的矩阵元素，所述奇数矩阵包括所述第一变换矩阵的奇数行的矩阵元素。


7.根据权利要求2所述的图像处理装置，其中，
所述导出部对所述子矩阵的矩阵元素应用操作以导出所述第二变换矩阵。


8.根据权利要求7所述的图像处理装置，其中，
所述导出部多次应用所述操作以导出所述第二变换矩阵。


9.根据权利要求7所述的图像处理装置，其中，
所述导出部对所述子矩阵的矩阵元素应用置换操作以导出所述第二变换矩阵。


10.根据权利要求7所述的图像处理装置，其中，
所述导出部对所述子矩阵的矩阵元素应用翻转操作以导出所述第二变换矩阵。


11.根据权利要求7所述的图像处理装置，其中，
所述导出部对所述子矩阵的矩阵元素应用转置操作以导出所述第二变换矩阵。


12.根据权利要求7所述的图像处理装置，其中，
所述导出部对所述子矩阵的矩阵元素应用符号反转操作以导出所述第二变换矩阵。


13.根据权利要求7所述的图像处理装置，其中，
所述第一尺寸是2^(N)×2^(N)，并且
所述第二尺寸是2^(N-1)×2^(N-1)，其中，
N是等于或大于3的整数，并且^是取幂。


14.根据权利要求2所述的图像处理装置，其中，
所述导出部使用查找表中存储的所述第一变换矩阵来导出所述第二变换矩阵。


15.根据权利要求2所述的图像处理装置，其中，
所述逆正交变换部对所述系数数据应用逆二次变换，并且使用由所述导出部导出的所述第二变换矩阵对所述逆二次变换的结果应用逆一次变换。


16.根据权利要求2所述的图像处理装置，其中，
所述解码部使用四叉树块结构或QTBT(四叉树加二叉树)块结构的CU(编码单元)作为处理单元来对所述比特流进行解码。


17.根据权利要求2所述的图像处理装置，其中，
所述逆正交变换部使用四叉树块结构或QTBT(四叉树加二叉树)块结构的TU(变换单元)作为处理单元来对所述系数数据应用所述逆正交变换。


18.根据权利要求2所述的图像处理装置，其中，
所述导出部导出通过基于预定采样参数对所述第一变换矩阵的矩阵元素进行采样而获得的矩阵作为所述子矩阵。


19.根据权利要求18所述的图像处理装置，其中，
所述第一变换矩阵是变换类型trType为DCT2的变换矩阵，所述第一尺寸是变换块的最大尺寸maxTbS，并且所述第二尺寸是一维变换的尺寸nTbS。


20.根据权利要求19所述的图像处理装置，其中，
所述采样参数包括
指示进行采...

【专利技术属性】
技术研发人员：筑波健史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP