编码多个输入图像的方法及装置、存放程序的存储介质制造方法及图纸

提供编码多个输入图像的方法。该方法包含如下步骤：根据第1输入图像与对应的第1预测图像的差分来生成第1残差图像的步骤；将第1残差图像的要以余数定义的区域中所含的像素值变换成余数的步骤；根据第2输入图像与对应的第2预测图像的差分来生成第2残差图像的步骤；将第2残差图像的要以余数定义的区域中所含的像素值变换成余数的步骤；以及对变换后的第1残差图像、变换后的第2残差图像以及用于确定第1残差图像及第2残差图像各自的要以余数定义的区域的附加信息进行编码的步骤。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及对分别包含被摄体的不同信息的不同种类的多个输入图像进行编码的方法及装置、以及存放程序的存储介质。
技术介绍
现有技术中，对于由在时域上配置的帧序列构成的运动图像，考虑其帧间的冗余性的影像编码(video coding)方法是已知的(例如，参照非专利文献I)。在典型的影像编码方法中，取代所输入的原始图像而传输P帧(predicted frame ;预测帧)和/或B帧(b1-direct1nal predicted frame ;双向预测帧)。P帧是通过前向预测而计算出的帧，B帧是通过前向预测、后向预测以及双向预测当中的任一者而计算出的帧。非专利文献2公开将这样的影像编码的技术扩展至时域以及空间域来进行应用的方法。即，根据非专利文献2的示教内容，能对于在时域以及空间域上配置的多个帧，生成P帧和/或B帧。作为在空间域上配置的帧序列的一例，能列举在使用多视点影像提供高清晰度的立体影像的三维影像技术中所使用的帧序列。这样的立体影像通过以非常多的视点(例如，200个视点)分别摄像被摄体而得到的多视点影像来实现。通过使用视点内插，对于在空间域上配置的帧序列，也能适用与针对在时域上配置的帧序列的编码同样的方法，该视点内插使用距离图这样的三维信息来生成P帧和/或B帧。非专利文献3公开与多视点影像的编码有关的手法。非专利文献3公开如下手法:不仅在时域上而且在空间域上也使用视点内插，从而根据深度信息等的三维信息来生成P帧和/或B帧。此外，在本说明书中，将数据压缩(变换)为与目的相符的码这一动作记为编码(encoding)，将变换后的码复原(解码)为原始的数据这一动作记为译码(decoding)。另夕卜，编码处理(coding)这一用语指编码单体、以及编码和译码这两者。现有技术文献非专利文献非专利文献1: Thomas Wiegand, Gary J.Sullivan, Gisle Bjontegaard, and AjayLuthra, "Overview of the H.264/AVC Video Coding Standard"，IEEE Transact1ns onCircuits and Systems for Video Technology, Vol.13, N0.7, pp.560-576, July 2003非专利文献2:Ρ.Merkle, K.Muller, A.Smolic, and T.Wiegand, "EfficientCompress1n of Mult1-view Video Exploiting inter-view dependencies based onH.264/MPEG4-AVC, "Proc.1CME 2006，pp.1717-1720非专利文献3: S.Yea, A.Vetro, "View synthesis predict1n for multiviewvideo coding'Signal Processing:1mage Communicat1n 24(2009)pp.89-100.
技术实现思路
专利技术要解决的课题根据非专利文献I?3所公开的方法，生成的P帧以及B帧是以残差(residualvalue)的形式进行传输的。在此，对残差的信息进一步执行数据压缩处理。在该数据压缩处理中，执行图像变换(典型地，离散余弦变换)、量化、熵编码(entropy coding)等。在数据压缩率高的情况下，由于执行量化，数据尺寸减小，从而产生显著的数据损失。也就是，其值小的残差的信息基于数据压缩处理而丢失。另一方面，关于边缘信息(edge informat1n)或边界信息(boundaryinformat1n)这样的几个图像的特征量，必须保证:即使数据压缩率提高，该特征量也不发生丢失。对于分别包含被摄体的不同信息的不同种类的多个输入图像，在压缩效率以及压缩质量这两者间取得平衡的编码技术是需要的。用于解决课题的手段遵照本专利技术的一局面，提供编码多个输入图像的方法。该方法包含如下步骤:获取多个第I输入图像和多个第2输入图像的步骤，该多个第I输入图像包含被摄体的第I信息，该多个第2输入图像与多个第I输入图像分别对应，且包含与被摄体的第I信息不同的第2信息；针对第I输入图像，根据包含在其他的第I输入图像以及第2输入图像的至少一者中的信息来计算第I预测图像的步骤；根据第I输入图像与对应的第I预测图像的差分来生成第I残差图像的步骤；基于第I残差图像的像素值，在构成第I残差图像的像素当中确定要以余数定义该像素值的区域的步骤；将第I残差图像的要以余数定义的区域中所含的像素值变换成余数的步骤；针对第2输入图像，根据包含在其他的第2输入图像以及第I输入图像的至少一者中的信息来计算第2预测图像的步骤；根据第2输入图像与对应的第2预测图像的差分来生成第2残差图像的步骤；基于第2残差图像的像素值，在构成第2残差图像的像素当中确定要以余数定义该像素值的区域的步骤；将第2残差图像的要以余数定义的区域中所含的像素值变换成余数的步骤；以及对变换后的第I残差图像、变换后的第2残差图像以及附加信息进行编码的步骤，该附加信息用于确定第I残差图像以及第2残差图像各自的要以余数定义的区域。优选地，变换成余数的步骤包含如下步骤:对针对要以余数定义的区域的像素值执行取模运算的步骤；获取预测图像的梯度信息的步骤；以及参照梯度强度与成为取模运算的除数的值的预先规定的对应关系，基于获取到的梯度信息来决定成为取模运算的除数的值的步骤。优选地，计算第I预测图像的步骤包含使用与计算对象的第I输入图像对应的第2输入图像以及先行的I个以上的第I输入图像来计算第I预测图像的步骤。或者优选地，计算第2预测图像的步骤包含使用针对与计算对象的第2输入图像对应的第I输入图像的运动数据来计算第2预测图像的步骤，针对第I输入图像的运动数据表示先行的第I输入图像与计算对象的第I输入图像之间的变化成分。优选地，计算第2预测图像的步骤包含使用计算对象的第2输入图像以及先行的I个以上的第2输入图像来计算第2预测图像的步骤。遵照本专利技术的另一局面，提供存放对多个输入图像进行编码的程序的存储介质。该程序使计算机执行如下步骤:获取多个第I输入图像和多个第2输入图像的步骤，该多个第I输入图像包含被摄体的第I信息，该多个第2输入图像与多个第I输入图像分别对应，且包含与被摄体的第I信息不同的第2信息；针对第I输入图像，根据包含在其他的第I输入图像以及第2输入图像的至少一者中的信息来计算第I预测图像的步骤；根据第I输入图像与对应的第I预测图像的差分来生成第I残差图像的步骤；基于第I残差图像的像素值，在构成第I残差图像的像素当中确定要以余数定义该像素值的区域的步骤；将第I残差图像的要以余数定义的区域中所含的像素值变换成余数的步骤；针对第2输入图像，根据包含在其他的第2输入图像以及第I输入图像的至少一者中的信息来计算第2预测图像的步骤；根据第2输入图像与对应的第2预测图像的差分来生成第2残差图像的步骤；基于第2残差图像的像素值，在构成第2残差图像的像素当中确定要以余数定义该像素值的区域的步骤；将第2残差图像的要以余数定义的区域中所含的像素值变换成余数的步骤；本文档来自技高网...

【技术保护点】
一种编码多个输入图像的方法，其特征在于，包含：获取多个第1输入图像和多个第2输入图像的步骤，该多个第1输入图像包含被摄体的第1信息，该多个第2输入图像与所述多个第1输入图像分别对应，且包含与所述被摄体的所述第1信息不同的第2信息；针对所述第1输入图像，根据包含在其他的第1输入图像以及所述第2输入图像的至少一者中的信息来计算第1预测图像的步骤；根据所述第1输入图像与对应的所述第1预测图像的差分来生成第1残差图像的步骤；基于所述第1残差图像的像素值，在构成所述第1残差图像的像素当中确定要以余数定义该像素值的区域的步骤；将所述第1残差图像的要以所述余数定义的区域中所含的像素值变换成余数的步骤；针对所述第2输入图像，根据包含在其他的第2输入图像以及所述第1输入图像的至少一者中的信息来计算第2预测图像的步骤；根据所述第2输入图像与对应的所述第2预测图像的差分来生成第2残差图像的步骤；基于所述第2残差图像的像素值，在构成所述第2残差图像的像素当中确定要以余数定义该像素值的区域的步骤；将所述第2残差图像的要以所述余数定义的区域中所含的像素值变换成余数的步骤；以及对变换后的第1残差图像、变换后的第2残差图像以及附加信息进行编码的步骤，该附加信息用于确定所述第1残差图像以及所述第2残差图像各自的要以所述余数定义的区域。...

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：迈赫达德·帕纳坡尔·德黑兰尼，石川彰夫，河北真宏，井上直己，藤井俊彰，
申请(专利权)人：国立研究开发法人情报通信研究机构，
类型：发明
国别省市：日本;JP