运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法制造方法及图纸

本发明专利技术提供一种运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法。频率变换决定部判断是否对夹着分区边界而相邻的变换对象区域进行合并。变换系数生成部对由频率变换决定部判断为要进行合并的变换对象区域应用一种频率变换来生成变换系数。

【技术实现步骤摘要】
运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法本申请是申请日为2010年10月20日、申请号为201080046815.3、专利技术名称为“运动图像编码装置、运动图像解码装置、运动图像编码/解码系统、运动图像编码方法及运动图像解码方法”的专利技术专利申请的分案申请。
本专利技术涉及运动图像(Video)编码装置、运动图像解码装置、运动图像编码/解码系统、运动图像编码方法以及运动图像解码方法。本申请基于2009年10月20日在日本申请的特愿2009-241904号、以及2009年11月13日在日本申请的特愿2009-259856号来主张优先权，并在此引用其内容。
技术介绍
在H.264/AVC(AdvancedVideoCoding)所规定的运动图像编码方式(参照非专利文献1)等基于块的运动图像编码方式中，运动图像编码装置将作为编码对象的输入运动图像分割为称为宏块(MacroBlock；MB)的给定的处理单位，并按每个宏块来进行编码处理从而生成编码数据。在运动图像的重放时，运动图像解码装置通过以宏块单位来处理作为解码对象的编码数据并进行解码，从而生成解码图像。在H.264/AVC所规定的运动图像编码方式中，运动图像编码装置生成对分割为宏块单位的输入运动图像进行近似的预测图像，并计算输入运动图像与预测图像之间的差分即预测残差。进而，运动图像编码装置对所算出的预测残差，应用以离散余弦变换(DiscreteCosignTransform；DCT)为代表的频率变换来生成变换系数。运动图像编码装置使用称为CABAC(Context-basedAdaptiveBinaryArithmeticCoding：基于内容的自适应的二进制算术编码)或CAVLC(Context-basedAdaptiveVariableLengthCoding：基于内容的自适应变长编码)的方法对所生成的变换系数进行可变长编码。在此，通过利用运动图像的在空间上的相关性的帧内预测、或利用运动图像的在时间上的相关性的帧间预测(运动补偿预测)来生成预测图像。在H.264/AVC的帧间预测中，运动图像编码装置按照每个分区(partition)即对宏块进行分割而得到的区域，来生成对输入运动图像进行近似的图像，并合并所生成的图像来生成对编码对象的宏块的输入运动图像进行近似的预测图像。具体而言，运动图像编码装置首先将输入运动图像的宏块分割为分区。然后，运动图像编码装置按每个分区从帧存储器中所记录的称为局部解码图像的图像中选择一个图像，并决定对所选择的图像中的分区进行近似的区域。将该从局部解码图像中选择的图像称为参照图像。另外，对分区进行近似的区域是与原始的分区为大小相同的区域。进而，运动图像编码装置按每个分区生成1个或2个用于表示输入运动图像的宏块中的分区的位置与对参照图像中的分区进行近似的区域的位置之间的偏差的运动矢量。另外，运动图像编码装置合并对各分区进行近似的图像来生成预测图像。在H.264/AVC中，规定有横16像素×纵16像素、横16像素×纵8像素、横8像素×纵16像素、横8像素×纵8像素、横8像素×纵4像素、横4像素×纵8像素、横4像素×纵4像素的分区尺寸。若利用小的分区尺寸，则能以细微的单位指定运动矢量来生成预测图像。故而，即使在运动的空间上的相关性小的情况下，也能生成接近输入运动图像的预测图像。另一方面，若利用大的分区尺寸，则在运动的空间上的相关性大的情况下，能减少运动矢量的编码所需的码量。在H.264/AVC中，通过由运动图像编码装置生成输入运动图像和预测图像之间的差分即预测残差，能削减输入运动图像的像素值的在空间上的或者在时间上的冗余性，能削减码量。进而，通过对预测残差应用离散余弦变换，来使能量集中于低频分量。利用该能量的偏离，人的眼睛易于感知的低频分量以细的粒度进行编码，而人的眼睛难以感知的高频分量以粗的粒度进行编码，能削减编码数据的码量。当进行该离散余弦变换时，在H.264/AVC中，采用了从多种变换尺寸的离散余弦变换中选择适合运动图像的局部的性质的离散余弦变换的方式(块自适应变换选择)。例如，在通过帧间预测来生成预测图像的情况下，从8×8DCT和4×4DCT的两种离散余弦变换中选择适用于预测残差的变换的离散余弦变换。对于8×8DCT，是在横8像素×纵8像素的区域进行离散余弦变换的变换，对于4×4DCT，是在横4像素×纵4像素的区域进行离散余弦变换的变换。由于8×8DCT能以宽范围来利用像素值的空间相关性，因此对于高频分量相对较少的平坦区域是有效的。另一方面，4×4DCT对于包含物体的轮廓那样的高频分量多的区域有效。此外，在H.264/AVC中，在分区的面积为8×8像素以上的情况下，能选择8×8DCT和4×4DCT中的任意一个。在分区的大小为小于横8像素×纵8像素的情况下，选择4×4DCT。如此，在H.264/AVC中，通过根据作为运动图像的局部的性质的像素值的空间相关性或运动矢量的空间相关性的高低来选择适当的分区尺寸或变换尺寸，能削减编码数据的码量。先行技术文献非特許文献非特許文献1：ITU-TRecommendationH.264，ISO/IEC14496-10专利技术的概要专利技术要解决的课题如上所述，在H.264/AVC中，能按每个分区根据8×8DCT和4×4DCT的两种尺寸而自适应地进行选择频率变换并利用。由此，能利用分区内的空间相关性来使编码效率得以提高。然而，在H.264/AVC等现有的运动图像编码技术中，作为频率变换的对象而决定的区域间的空间相关性，特别是分区间的空间相关性并没有在编码效率上得到反映。故而，存在即使在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下也不能提高编码效率的问题。另外，即使处于相同的分区内，在空间相关性高的区域相邻的情况下，也能通过对其合并来进行频率变换而进一步提高编码效率。但是，在H.264/AVC中，进行频率变换的尺寸不限于8×8DCT和4×4DCT的两种尺寸。进而，关于应用8×8DCT和4×4DCT中哪一个尺寸的频率变换，实际上是对执行了频率变换后的结果的速率失真成本进行评价来决定的，从而存在有编码的计算处理量会增大这样的课题。
技术实现思路
本专利技术鉴于这样的事实而提出，其目的在于，提供一种在相邻的多个区域具有高的空间相关性的情况下能提高编码效率的运动图像编码装置、运动图像解码装置、运动图像编码/解码系统、运动图像编码方法以及运动图像解码方法。用于解决课题的手段[1]本专利技术用于解决上述课题而提出，本专利技术的一种形态的运动图像编码装置具备：图像输入部，其将输入运动图像的帧分割为宏块单位；分区结构决定部，其将所述宏块进一步分割为分区；频率变换区域分割部，其将所述宏块分割为变换对象区域，所述变换对象区域中至少含有一个变换对象区域是跨所述分区的区域；变换系数生成部，其对于由所述频率变换区域分割部分割的变换对象区域的每一个，应用频率变换来生成变换系数；和编码数据输出部，其输出对所述变换系数进行可逆编码而得到的编码数据。该运动图像编码装置由于对跨分区的变换对象区域应用频率变换，因此在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下，能提高编码效率。[2]另外，本专利技术的一形态的本文档来自技高网...

【技术保护点】
一种运动图像编码装置，其特征在于，具备：图像输入部，其将输入运动图像的帧分割为宏块单位；分区结构决定部，其将所述宏块进一步分割为分区；局部解码图像存储部，其存储局部解码图像，该局部解码图像是已生成变换系数的所述宏块的解码图像；预测图像生成部，其从由所述局部解码图像存储部存储的局部解码图像中按每个所述分区来选择参照图像，并基于所选择的参照图像来生成预测图像；预测残差生成部，其生成预测残差，该预测残差是所述预测图像与所述宏块的各像素值的差分；频率变换区域分割部，其将所述宏块分割为变换对象区域，所述变换对象区域中含有变换对象区域是跨所述分区的区域；变换系数生成部，其对于由所述频率变换区域分割部分割的变换对象区域的每一个的预测残差，应用频率变换来生成变换系数；和编码数据输出部，其输出对所述变换系数进行可变长编码而得到的编码数据，所述频率变换区域分割部按照由所述分区结构决定部分割出的一个分区的一部分与一个变换对象区域的一部分重叠、和所述一个分区相邻的分区的一部分与所述一个变换对象区域的其他部分重叠的方式，对所述一个变换对象区域进行分割。

【技术特征摘要】
2009.10.20 JP 2009-241904;2009.11.13 JP 2009-259851.一种运动图像编码装置，其特征在于，具备：图像输入部，其将输入运动图像的帧分割为宏块单位；分区结构决定部，其将所述宏块进一步分割为分区；局部解码图像存储部，其存储局部解码图像，该局部解码图像是已生成变换系数的所述宏块的解码图像；预测图像生成部，其从由所述局部解码图像存储部存储的局部解码图像中按每个所述分区来选择参照图像，并基于所选择的参照图像来生成预测图像；预测残差生成部，其生成预测残差，该预测残差是所述预测图像与所述宏块的各像素值的差分；频率变换区域分割部，其将所述宏块分割为变换对象区域，所述变换对象区域中含有变换对象区域是跨所述分区的区域；变换系数生成部，其对于由所述频率变换区域分割部分割的变换对象区域的每一个的预测残差，应用频率变换来生成变换系数；和编码数据输出部，其输出对所述变换系数进行可变长编码而得到的编码数据，所述频率变换区域分割部按照由所述分区结构决定部分割出的一个分区的一部分与一个变换对象区域的一部分重叠、和所述一个分区相邻的分区的一部分与所述一个变换对象区域的其他部分重叠的方式，对所述一个变换对象区域进行分割。2.根据权利要求1所述的运动图像编码装置，其特征在于，在由所述分区结构决定部分割出的分区中，包括由彼此不同的尺寸构成的分区。3.根据权利要求2所述的运动图像编码装置，其特征在于，所述频率变换区域分割部生成用于表示变换对象区域的构成以及对各变换对象区域应用的频率变换的合并完成变换选择信息，所述变换对象区域的构成表示跨由所述分区结构决定部分割出的分区的变换对象区域，所述编码数据输出部将所述合并完成变换选择信息包含在所述编码数据中进行输出。4.一种运动图像解码装置，其特征在于，具备：可变长码解码部，其针对对运动图像进行编码而得到的编码数据，以宏块单位进行可变长码的解码；局部解码图像生成部，其按分割所述宏块而得到的变换对象区域的每一个来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中含有变换对象区域是跨分区的变换对象区域；局部解码图像存储部，其存储局部解码图像，该局部解码图像是以宏块单位对所述编码数据进行解码而得到的图像；预测图像生成部，其按照对所述宏块进一步分割而得到的每一个分区，从由所述局部解码图像存储部存储的所述局部解码图像中选择参照图像，并基于所选择的参照图像来生成预测图像；预测残差重构部，其对每个所述变换对象区域，应用与该变换对象区域相应的逆频率变换来生成预测残差；和运动图像输出部，其结合所述局部解码图像来生成运动图像并输出，所述局部解码图像是按每个像素来叠加所述预测图像和所述预测残差而生成的，所述局部解码图像生成部生成一个分区的一部分与一个变换对象区域的一部分重叠、和所述一个分区相邻的分区的一部分与所述一个变换对象区域的其他部分重叠的所述一个变换对象区域。5.根据权利要求4所述的运动图像解码装置，其特征在于，在所述编码数据中含有表示跨所述分区的变换对象区域的变换合并信息，所述运动图像解码装置还具备：变换对象区域决定部，其基于所述变换合并信息来决定所述变换对象区域。6.根据权利要求5所述的运动图像解码装置，其特征在于，在所述编码数据中含有合并完成变换选择信息，该合并完成变换选择信息表示由生成了所述编码数据的运动图像编码装置应用了频率变换的变换对象区域在宏块内的构成，所述预测残差重构部针对所述合并完成变换选择信息所示的变换对象区域的每一个，应用逆频率变换来生成所述预测残差。7.一种运动图像编码方法，其特征在于，包括：图像输入步骤，由运动图像编码装置将输入运动图像的帧分割为宏块单位；分区结构决定步骤，由所述运动图像编码装置将所述宏块进一步分割为分区；局部解码图像存储步骤，存储局部解码图像，该局部解码图像是已生成变换系数的所述宏块的解码图像；预测图像生成步骤，从由所述局部解码图像存储步骤存储的局部解码图像中按每个所述分区来选择参照图像，并基于所选择的参照图像来生成预测图像；预测残差生成步骤，生成预测残差，该预测残差是所述预测图像与所述宏块的各像素值的差分；频率变换区域分割步骤，由所述运动图像编码装置将所述宏块分割为变换对象区域，所述变换对象区域包含变换对象区域是跨所述分区的区域；变换系数生成步骤，由所述运动图像编码装置对通过所述频率变换区域分割步骤而分割的变换对象区域的每一个的预测残差，应用频率变换来生成变换系数；和编码数据输出步骤，由所述运动图像编码装置输出对所述变换系数进行可变长编码而得到的编码数据，在所述频率变换区域分割步骤中，按照由所述分区结构决定步骤分割出的一个分区的一部分与一个变换对象区域的一部分重叠、和所述一个分区相邻的分区的一部分与所述一个变换对象区域的其他部分重叠的方式，对所述一个变换对象区域进行分割。8.一种运动图像解码方法，其特征在于，包括：可变长码解码步骤，由运动图像解码装置针对对运动图像进行编码而得到的编码数据以宏块单位来进行可变长码的解码；局部解码图像生成步骤，由所述运动图像解码装置按分割所述宏块而得到的变换对象区域的每一个，来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中包含变换对象区域是跨分区的变换对象区域；局部解码图像存储步骤，存储局部解码图像，该局部解码图像是以宏块单位对所述编码数据进行解码而得到的图像；预测图像生成步骤，按照对所述宏块进一步分割而得到的每一个分区，从由所述局部解码图像存储步骤存储的所述局部解码图像中选择参照图像，并基于所选择的参照图像来生成预测图像；预测残差重构步骤，对每个所述变换对象区域，应用与...

【专利技术属性】
技术研发人员：八杉将伸，坚田裕之，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本;JP