编码装置和编码方法以及解码装置和解码方法制造方法及图纸

本发明专利技术涉及一种能够根据与现有模式兼容的模式对多视点图像进行编码和解码的编码装置和编码方法以及解码装置和解码方法。兼容编码器通过以访问单元为单位对作为兼容图像的图像（A1）进行编码来生成兼容流。辅助编码器通过以访问单元为单位对作为根据兼容图像生成多视点图像时使用的辅助图像的图像（B1，C1）的复用图像进行编码来生成辅助图像的复用图像的编码流。复用单元对兼容流、表示单元的边界的3DV表示定界符以及辅助图像的复用图像的编码流进行发送。本技术可以应用于例如对多视点模式的3D图像进行编码的编码装置。

【技术实现步骤摘要】
【国外来华专利技术】
本技术涉及编码装置、编码方法、解码装置以及解码方法，更具体地，涉及能够根据与现有模式兼容的模式对多视点图像进行编码和解码的编码装置、编码方法、解码装置以及解码方法。
技术介绍
目前，作为3D图像观看模式，通常存在其中通过佩戴下述眼镜来观看交替显示的双视点图像的模式(下文中，称为双视点模式)，其中该眼镜的左眼快门在显示双视点图像中的一个图像时打开而其右眼快门在显示双视点图像中的另一个图像时打开。然而，在这种双视点模式中，除3D图像显示装置之外观看者还需购买眼镜，因此降低了观看者的购买意愿。另外，由于观看者需要佩戴眼镜才能观看，这使观看者感到苦恼。因此，不用佩戴眼镜也可以观看3D图像的观看模式(在下文中，称为多视点模式)的需求日益增大。在多视点模式中，显示多视点图像使得每个视点的可视角度都不同，于是，在不佩戴眼镜的情况下用左眼和右眼来观看任意两个视点的图像的观看者可以看到3D图像。提供多视点模式的观看的显示装置例如基于用于双视点模式的两个视点的图像生成用于多视点模式的多视点图像并且显示所生成的多视点图像。更具体地，显示装置使用图像视差估计技术(深度估计)来获取用于双视点模式的双视点图像的视差(深度)。然后，显示装置使用多视点图像生成技术(视图生成)来生成与用于双视点模式的两个视点的图像对应的视点相邻的多视点图像的合成图像并且显示该合成图像，其中，多视点图像生成技术使用合成技术(视图合成)以及两个视点的图像之间的视差。现有编码模式包括高级视频编码(AVC)模式和多视图视频编码(MVC)模式。图1是示出以MVC模式对双视点图像进行编码并且对所编码的图像进行复用的编码装置的示例的图。图1中示出的编码装置10由成像单元11A、成像单元11B、MVC编码器12以及复用单元13配置而成。成像单元IlA捕捉预定视点的图像A并且将所捕捉的图像提供给MVC编码器12。另外，成像单元IlB捕捉与图像A的视点不同的视点的图像B并且将所捕捉的图像提供给MVC编码器12。MVC编码器12根据MVC模式在由成像单元IlA提供的图像A被设定为基础图像并且由成像单元IlB提供的图像B被设定为依赖图像的情况下进行编码。MVC编码器12将编码后的图像A和图像B提供给复用单元13。复用单元13基于编码后的图像A生成第一 TS (传送流)(在下文中，称为TS1)，基于编码后的图像B生成第二 TS (在下文中，称为TS2)，并且对TSl和TS2进行复用。由解码装置对复用后的TSl和TS2进行分离，并且根据与MVC模式对应的模式对编码后的图像A和编码后的图像B进行解码。然后，由于解码而获取的图像A和图像B被交替地显示。此时，观看者例如佩戴上其左眼快门在显示图像A时打开而其右眼快门在显示图像B时打开的眼镜，只使用左眼来观看图像A并只使用右眼来观看图像B。这样，观看者就可以看到3D图像。在想要显示2D图像的情况下，只显示图像A就可以了。与此同时，还设计出了对多视点图像进行编码的模式(例如，见专利文件I)。引用列表专利文件专利文件1:日本公开特开第2008-182669号
技术实现思路
本专利技术将要解决的问题然而，未考虑对多视点图像进行编码和解码的、与用于两个或更少的视点的图像的现有模式有兼容性的模式。鉴于这种情况，构思出本技术，其使得能够根据与现有模式兼容的模式对多视点图像进行编码和解码。问题的解决方案根据本技术的第一方面的编码装置包括:兼容图像编码单元，用于通过从多视点图像中指定兼容图像并以访问单元为单位对所指定的兼容图像进行编码来生成第一编码流；辅助图像编码单元，用于通过以访问单元为单位对当根据兼容图像生成多视点图像时使用的辅助图像进行编码来生成第二编码流；设定单元，用于对表示单元的边界的边界信息进行设定；以及发送单元，用于发送由兼容图像编码单元生成的第一编码流、由设定单元设定的边界信息以及由辅助图像编码单元编码的第二编码流。根据本技术的第一方面的编码方法对应于根据本技术的第一方面的编码装置。在本技术的第一方面中，通过从多视点图像中指定兼容图像并以访问单元为单位对所指定的兼容图像进行编码来生成第一编码流；通过以访问单元为单位对当根据兼容图像生成多视点图像时使用的辅助图像进行编码来生成第二编码流；对表示单元的边界的边界信息进行设定，并且发送第一编码流、边界信息以及第二编码流。根据本技术的第二方面的解码装置包括:分离单元，用于接收由于以访问单元为单位对从多视点图像中指定的兼容图像进行编码而获取的第一编码流、表示单元的边界的边界信息、以及由于以访问单元为单位对当根据兼容图像生成多视点图像时使用的辅助图像进行编码而获取的第二编码流，并且基于边界信息来分离第一编码流和第二编码流；兼容图像解码单元，用于对通过分离单元分离的第一编码流进行解码；以及辅助图像解码单元，用于对通过分离单元分离的第二编码流进行解码。根据本技术的第二方面的解码方法对应于根据本技术的第二方面的解码装置。在本技术的第二方面中，接收由于以访问单元为单位对从多视点图像中指定的兼容图像进行编码而获取的第一编码流、表示单元的边界的边界信息以及由于以访问单元为单位对当根据兼容图像生成多视点图像时所使用的辅助图像进行编码而获取的第二编码流，并且基于边界信息来分离第一编码流和第二编码流；对分离的第一编码流进行解码，并且对分离的第二编码流进行解码。另外，可以通过使计算机执行程序来实现根据第一方面的编码装置和根据第二方面的解码装置。此外，可以提供由计算机执行以实现根据第一方面的编码装置和根据第二方面的解码装置的程序，同时程序可以在通过传输介质被发送或被记录在记录介质上。本专利技术的效果根据本技术的第一方面，可以用具有与现有模式的兼容性的模式对多视点图像进行编码。另外，根据本技术的第二方面，可以用具有与现有模式的兼容性的模式对经编码的多视点图像进行解码。附图说明图1是示出传统的编码装置的示例的图。图2是示出根据本技术的第一实施例的编码装置的配置示例的框图。图3是示出由图2中所示的复用单元生成的TS的配置示例的图。图4是示出图3中所示的TS2的详细的配置示例的图。图5是示出对TSl和TS2进行复用的方法的示例的图。图6是示出由图2中所示的编码装置执行的编码处理的流程图。图7是示出由图2中所示的编码装置执行的编码处理的流程图。图8是示出与图2中所示的编码装置对应的解码装置的配置示例的图。图9是示出由图8中所示的解码装置执行的解码处理的流程图。图10是示出由图2中所示的复用单元生成的TS的另一配置示例的图。图11是示出图10中所示的TS2的详细的配置示例的图。图12是示出图10中所示的TS3的详细示例的图。图13是示出由图8中所示的解码装置执行的另一解码处理的流程图。图14是示出根据本技术的第二实施例的编码装置的配置示例的框图。图15是示出由图14中所示的复用单元生成的TS的配置示例的图。图16是示出由图14中所示的编码装置执行的编码处理的流程图。图17是示出由图14中所示的编码装置执行的编码处理的流程图。图18是示出与图14中所示的编码装置对应的解码装置的配置示例的图。图19是示出由图18中所示的解码装置执行的解码处理的流程图。图20是示出由图14中所示的复用单元生成的TS的另一配置示例的图。图21是示出由图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.09.03 JP 2010-198351;2011.06.13 JP 2011-131671.一种编码装置，包括: 兼容图像编码单元，用于通过从多视点图像中指定兼容图像并以访问单元为单位对所指定的所述兼容图像进行编码来生成第一编码流； 辅助图像编码单元，用于通过以访问单元为单位对当根据所述兼容图像生成多视点图像时使用的辅助图像进行编码来生成第二编码流； 设定单元，用于对表示单元的边界的边界信息进行设定；以及 发送单元，用于发送由所述兼容图像编码单元生成的所述第一编码流、由所述设定单元设定的所述边界信息以及由所述辅助图像编码单元编码的所述第二编码流。2.根据权利要求1所述的编码装置，其中，所述发送单元将由所述设定单元设定的所述边界信息添加至所述第二编码流。3.根据权利要求2所述的编码装置，其中，所述发送单元将由所述设定单元设定的所述边界信息添加至所述第二编码流的访问单元的头部。4.根据权利要求3所述的编码装置，其中，在所述兼容图像为双视点图像的情况下，所述第一编码流由经编码的所述兼容图像中的一个视点的图像形成，所述第二编码流由另一个视点的图像和经编码的所述辅助图像形成。5.根据权利要求1所述的编码装置，还包括辅助信息编码单元，用于通过对当根据所述兼容图像和所述辅助图像 生成多视点图像时使用的辅助信息进行编码来生成第三编码流，其中: 所述设定单元设定所述辅助信息；以及 所述发送单元发送由所述辅助信息编码单元生成的所述第三编码流。6.根据权利要求5所述的编码装置，其中，所述发送单元将由所述设定单元设定的所述边界信息添加至所述第三编码流。7.根据权利要求6所述的编码装置，其中，所述发送单元将由所述设定单元设定的所述边界信息添加至所述第三编码流的访问单元的头部。8.根据权利要求1所述的编码装置，还包括视差编码单元，用于通过对表示所述兼容图像的视差的兼容视差图像进行编码来生成第一视差编码流，并且通过对表示所述辅助图像的视差的辅助视差图像进行编码来生成第二视差编码流，其中: 所述发送单元发送由所述视差编码单元生成的所述第一视差编码流和所述第二视差编码流。9.根据权利要求8所述的编码装置，其中，所述发送单元将所述第二编码流、所述第一视差编码流以及所述第二视差编码流分别设定为所述单元并将所述边界信息添加至所设定的所述单元。10.根据权利要求8所述的编码装置，其中，所述发送单元将所述第二编码流、所述第一视差编码流以及所述第二视差编码流一起设定为所述单元并将所述边界信息添加至所设定的所述单元。11.根据权利要求8所述的编码装置，其中，所述发送单元将所述第二编码流设定为所述单元以及将第一和第二视差编码流设定为所述单元，并将所述边界信息添加至所设定的所述单元。12.根据权利要求8所述的编码装置，其中:所述设定单元设定表示视差图像的视差识别信息；以及 所述发送单元将由所述设定单元设定的所述边界信息和所述视差识别信息添加至所述第一视差编码流和所述第二视差编码流。13.根据权利要求12所述的编码装置，其中: 所述设定单元对用于识别所述兼容图像的兼容图像识别信息和用于识别所述辅助图像的辅助图像识别信息进行设定；以及 所述发送单元将所述兼容图像识别信息添加至所述第一视差编码流并且将所述辅助图像识别信息添加至所述第二视差编码流。14.根据权利要求12所述的编码装置，其中: 所述设定单元对表示所述视差图像的每个像素的视差值被归一化的归一化识别信息进行设定；以及 所述发送单元对通过所述设定单元设定的所述归一化识别信息进行发送。15.一种通过编码装置执行的编码方法，所述方法包括: 兼容图像编码步骤，通过从多视点图像中指定兼容图像并以访问单元为单位对所指定的所述兼容图像进行编码来生成第一编码流； 辅助图像编码步骤，通过 以访问单元为单位对当根据所述兼容图像生成多视点图像时使用的辅助图像进行编码来生成第二编码流； 设定步骤，对表示单元的边界的边界信息进行设定；以及...

【专利技术属性】
技术研发人员：服部忍，高桥良知，
申请(专利权)人：索尼公司，
类型：
国别省市：