图像处理设备和方法技术

本公开涉及能够有效地更改在多视点编码中视图的参考关系的图像处理装置和方法。在本技术中，即使在视图间参考图像中，切片头或SPS语法中的used_by_curr标志被设置到具有正在被参考的可能性的图像。used_by_curr标志被添加到下述时间列表，该时间列表是当仅一个图像正生成参考列表时所使用的时间列表。因此，L0时间列表(RefPicListTemp0[rldx])按照给定顺序生成具有为0的索引的短期(前)参考图像、具有为1的索引的短期(后)参考图像以及具有为2和3的索引的视图间参考图像。本公开例如可以应用在图像处理装置中。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和方法
本公开涉及一种图像处理设备和方法，并且特别地，涉及在可伸缩编码或多视图编码中能够使得视图的参考关系进行有效的改变的一种图像处理设备和方法。
技术介绍
近年，数字化地处理图像信息、并且着眼于信息的高效传送和累积，通过利用下述编码系统执行图像的压缩编码的装置变得普及：该编码系统使用图像信息所特有的冗余通过诸如离散余弦变换的正交变换以及运动补偿对图像进行压缩。编码系统的示例包括运动图像专家组(MPEG)、H.264以及MPEG-4部分10(先进视频编码，在下文中描述为AVC)。当前，旨在从H.264/AVC起对编码效率进行进一步的改进，由作为ITU-T和ISO/IEC的联合标准化组织的联合协作组-视频编码(JCTVC)向前推进了被称为高效视频编码(HEVC)的编码系统的标准化。此外，作为其扩展，并行地实行了对关于多视图图像的编码的标准化，并且作为关于多视图图像的编码的草案发布了非专利文献1。顺便提及，从按照优先级顺序在时间列表中列出的参考图像的头部起生成参考列表，参考列表是在其中按照优先级顺序列出用于对B图片进行解码的参考图像候选的列表。在非专利文献1中，可以通过切片参数集(SPS)或切片头来切换是长期参考图像还是短期参考图像被添加到时间列表。相反，在视频参数集(VPS)中限定层(视图)间的参考关系。其参考由VPS所指定的层总是被添加到时间列表。即，层间的参考图像可以仅通过VPS进行控制，该VPS仅通过序列传送一次。因此，在非专利文献2中，提出了用于改变视图的参考关系的补充增强信息(SEI)。引用列表非专利文献非专利文献1：GerhardTech，KrzysztofWegner，YingChen，MiskaHannuksela，“MV-HEVCDraftText2”，JCT3V-B1004，2012年11月7日非专利文献2：ByeonghoonChoi，JeonghoonPark，“ViewdependencychangeSEImessageSEIforMV-HEVC”，JCT3V-B0063，2012年10月8日
技术实现思路
专利技术要解决的问题然而，在非专利文献2中所提出的是SEI，而SEI不能影响默认参考列表的生成。因此，为了改变特定视图的参考关系，需要描述所有视图的参考关系。鉴于前述提出了本公开，并且本公开可以有效地改变可伸缩编码或多视图编码中视图的参考关系。问题的解决方案根据本公开的一个方面的图像处理设备包括：解码单元，被配置成对比特流进行解码以生成图像；预测单元，被配置成通过参考基于层参考图像信息所生成的参考图像的列表对由解码单元所生成的图像进行预测，层参考图像信息针对每层控制参考图像，参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。以固定的间隔或以图片单位传送层参考图像信息。层参考图像信息被设置到比特流的序列参数集或切片头。图像处理设备还可以包括：参考列表生成单元，该参考列表生成单元被配置成基于层参考图像信息生成参考图像的列表。关于L1方向，当将能够在层方向上参考的参考图像插入到参考图像的列表中时，参考列表生成单元与L0方向的情况相比可以反转能够在层方向上参考的参考图像的顺序，并且插入参考图像。参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，以生成参考图像的列表。关于L0方向，参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，并且按照时间上位于图像之前的参考图像、时间上位于图像之后的参考图像、长期参考图像以及能够在层方向上参考的参考图像的顺序对参考图像进行组合，以生成参考图像的列表。关于L1方向，参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，并且按照时间上位于图像之后的参考图像、时间上位于图像之前的参考图像、长期参考图像以及能够在层方向上参考的参考图像的顺序对参考图像进行组合，以生成参考图像的列表。层是视图。根据本公开的一个方面的图像处理方法包括：通过图像处理设备，对比特流进行解码以生成图像；以及通过参考基于层参考图像信息所生成的参考图像的列表对所生成的图像进行预测，层参考图像信息针对每层控制参考图像，参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。根据本公开的另一方面的图像处理设备包括：设置单元，被配置成设置层参考图像信息，层参考图像信息控制能够在层方向上参考的并且在对图像进行预测中被参考的参考图像；预测单元，被配置成通过参考基于由设置单元所设置的层参考图像信息所生成的参考图像的列表，生成预测图像；编码单元，被配置成使用由预测单元所生成的预测图像对图像进行编码，以生成比特流；以及传送单元，被配置传送由编码单元所生成的比特流和由设置单元所设置的层参考图像信息。传送单元可以以固定的间隔或以图片单位传送由设置单元所设置的层参考图像信息。设置单元可以将层参考图像信息设置到比特流的序列参数集或切片头。图像处理设备还可以包括：参考列表生成单元，被配置成基于由设置单元所设置的层参考图像信息生成参考图像的列表。关于L1方向，当将能够在层方向上参考的参考图像插入到参考图像的列表中时，参考列表生成单元与L0方向的情况相比可以反转能够在层方向上参考的参考图像的顺序，并且插入参考图像。参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，以生成参考图像的列表。关于L0方向，参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，并且按照时间上位于图像之前的参考图像、时间上位于图像之后的参考图像、长期参考图像以及能够在层方向上参考的参考图像的顺序对参考图像进行组合，以生成参考图像的列表。关于L1方向，参考列表生成单元可以添加能够在层方向上参考的参考图像之中、层参考图像信息指示1的参考图像，并且按照时间上位于图像之后的参考图像、时间上位于图像之前的参考图像、长期参考图像以及能够在层方向上参考的参考图像的顺序对参考图像进行组合，以生成参考图像的列表。层是视图。根据本公开的另一方面的图像处理方法包括：通过图像处理设备，设置层参考图像信息，层参考图像信息控制能够在层方向上参考的并且在对图像进行预测中被参考的参考图像；通过参考基于所设置的层参考图像信息所生成的参考图像的列表，生成预测图像；使用所生成的预测图像对图像进行编码以生成比特流；以及传送所生成的比特流和所设置的层参考图像信息。根据本公开的一个方面，对比特流进行解码并且生成图像。然后，通过参考基于层参考图像信息所生成的参考图像的列表，对所生成的图像进行预测，其中，层参考图像信息针对每层控制参考图像的添加，参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。根据本公开的另一方面，设置层参考图像信息，层参考图像信息控制能够在层方向上参考的并且在对图像进行预测中被参考的参考图像，并且通过参考基于所设置的层参考图像信息所生成的参考图像的列表生成预测图像。然后，使用所生成的预测图像执行编码并且生成比特流，以及传送所生成的比特流和所设置的层参考图像信息。注意，以上所描本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：解码单元，被配置成对比特流进行解码以生成图像；以及预测单元，被配置成通过参考基于层参考图像信息所生成的参考图像的列表对由所述解码单元所生成的图像进行预测，所述层参考图像信息针对每层控制参考图像，所述参考图像能够在层方向上参考并且在对作为经受解码处理的比特流的图像进行预测中被参考。

【技术特征摘要】
【国外来华专利技术】2012.12.21 JP 2012-2798481.一种图像处理设备，包括：解码单元，被配置成对比特流进行解码以生成图像；以及预测单元，被配置成通过参考基于对在视频参数集VPS中设置的能够参考的层之中、添加到在相对于所述VPS位于下位层的切片参数集SPS或切片头中设置的默认参考列表的层参考图像进行识别的识别信息所生成的所述默认参考列表，对由所述解码单元所生成的图像进行预测。2.根据权利要求1所述的图像处理设备，还包括：参考列表生成单元，被配置成基于所述识别信息生成所述默认参考列表。3.根据权利要求2所述的图像处理设备，其中，关于L1方向，当将所述层参考图像插入到所述默认参考列表中时，所述参考列表生成单元与L0方向的情况相比反转所述层参考图像的顺序，并且插入所述层参考图像。4.根据权利要求2所述的图像处理设备，其中，所述参考列表生成单元添加所述层参考图像之中、所述识别信息指示1的层参考图像，以生成所述默认参考列表。5.根据权利要求2所述的图像处理设备，其中，关于L0方向，所述参考列表生成单元添加所述层参考图像之中、所述识别信息指示1的层参考图像，并且按照时间上位于所述图像之前的参考图像、时间上位于所述图像之后的参考图像、长期参考图像以及所述层参考图像的顺序对参考图像进行组合，以生成所述默认参考列表。6.根据权利要求2所述的图像处理设备，其中，关于L1方向，所述参考列表生成单元添加所述层参考图像之中、所述识别信息指示1的层参考图像，并且按照时间上位于所述图像之后的参考图像、时间上位于所述图像之前的参考图像、长期参考图像以及所述层参考图像的顺序对参考图像进行组合，以生成所述默认参考列表。7.根据权利要求1所述的图像处理设备，其中，所述层是视图。8.一种图像处理方法，包括：通过图像处理设备，对比特流进行解码以生成图像；以及通过参考基于对在视频参数集VPS中设置的能够参考的层之中、添加到在相对于所述VPS位于下位层的切片参数集SPS或切片头中设置的默认参考列表的层参考图像进行识别的识别信息所生成的所述默认参考列表，对所生成的图像进行预测。9.一种图像处理设备，包括：设置单元，被配置成设置在视频参数集VPS中能够参考的层...

【专利技术属性】
技术研发人员：高桥良知，中神央二，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP