编码设备、编码方法、解码设备、解码方法、发送设备和接收设备技术

本发明专利技术令人满意地编码宽视角图像的运动图像数据。将宽视角图像的运动图像数据划分为块并且获得要被编码的块。为每个要被编码的块提取运动补偿参考块。对参考块施加旋转和/或缩放的调整处理。对于每个要被编码的块，基于要被编码的块的像素值和经历了调整处理的参考块的像素值来计算残差信号，并且每个要被编码的块的残差信号被编码并且获得编码流。对于每个要被编码的块，将调整处理信息与运动向量一起插入编码流中。这使得可减少残差、降低编码比特率，从而提高运动预测编码的性能。

【技术实现步骤摘要】
【国外来华专利技术】编码设备、编码方法、解码设备、解码方法、发送设备和接收设备
本技术涉及编码设备、编码方法、解码设备、解码方法、发送设备和接收设备。具体而言，本公开涉及用于编码宽视角图像的运动图像数据的编码设备等。
技术介绍
使用对应于宽视角的镜子、透镜等捕获的宽视角图像根据距图像中心的距离而变形。例如，专利文献1描述了作为宽视角图像等的全方位图像。在对所述宽视角图像的运动图像数据进行编码的情况下，如果通过根据传统方法相对于参考图像平移块形数据来执行运动预测，则残差可能变大并且编码比特率可不合需要地增加。引用列表专利文献专利文献1：日本专利申请公开No.2009-200939
技术实现思路
本专利技术要解决的问题本技术的目的是成功地编码宽视角图像的运动图像数据。问题的解决方案本技术的概念在于一种发送设备，包括：编码设备，对宽视角图像的运动图像数据进行编码，以获得编码流，以及发送单元，以预定格式发送包括编码流的容器，其中编码设备包括块划分单元，将宽视角图像的运动图像数据划分成块，以获得编码目标块，参考块提取单元，为每个编码目标块提取运动补偿的参考块，参考块调整单元，对参考块执行旋转和/或缩放的调整处理，编码单元，对于每个编码目标块，基于编码目标块的像素值和经过调整处理的参考块的像素值计算残差信号，并对每个编码目标块的残差信号进行编码获得编码流，和信息插入单元，对于每个编码目标块，将调整处理的信息与运动向量一起插入到编码流中。本技术提供了包括编码设备和发送单元的发送设备。编码设备对宽视角图像的运动图像数据进行编码以获得编码流。发送单元以包括编码流的预定格式发送容器。例如，宽视角图像可以是全方位图像。编码设备包括块划分单元、参考块提取单元、参考块调整单元、编码单元和信息插入单元。块划分单元将宽视角图像的运动图像数据分成块，以获得编码目标块。参考块提取单元为每个编码目标块提取运动补偿的参考块。参考块调整单元对参考块执行旋转和/或缩放的调整处理。例如，参考块调整单元可根据参考块和编码目标块的位置自动确定旋转角度。此外，例如，参考块调整单元可在块匹配之前对每个候选执行旋转处理，在块匹配中参考块提取单元提取参考块。此外，例如，参考块调整单元可对块匹配的结果执行旋转处理，在块匹配中参考块提取单元提取参考块。编码单元基于编码目标块的像素值和经过调整处理的参考块的像素值计算每个编码目标块的残差信号，并对每个编码目标块的残差信号进行编码以获得编码流。然后，信息插入单元将每个编码目标块的调整处理信息与运动向量一起插入编码流中。以这种方式，本技术执行对参考块的旋转和/或缩放的调整处理。因此，可减少残差、可降低编码比特率并且因此可提高运动预测的编码性能。此外，对于每个编码目标块，本技术将调整处理信息与运动向量一起插入到编码流中。因此，在解码侧，可基于调整处理的信息和运动向量容易且适当地获得运动补偿参考块，并且可容易且适当地执行解码处理。此外，本技术的另一个概念是接收设备，包括接收单元，接收预定格式的容器，所述容器包括通过对宽视角图像的运动图像数据进行编码而获得的编码流，以及解码设备，对编码流进行解码，得到宽视角图像的图像数据，其中，解码设备包括解码单元，对编码流进行解码以获得每个解码目标块的残差信号，针对每个编码目标块，编码流包括插入到编码流中的用于获得参考块的运动向量以及旋转和/或缩放的调整处理信息，，解码设备还包括：参考块提取单元，基于每个块的运动向量和调整处理信息，为每个解码目标块提取参考块，以及像素值计算单元，对于每个解码目标块，将参考块的像素值与残差信号相加，以获得宽视角图像的运动图像数据。本技术提供了包括接收单元和解码设备的接收设备。接收单元以预定格式接收容器，该包括通过对宽视角图像的运动图像数据进行编码而获得的编码流。解码设备对编码流进行解码以获得宽视角图像的图像数据。解码设备包括解码单元、参考块提取单元和像素值计算单元。解码单元对编码流进行解码以获得每个解码目标块的残差信号。编码流接收运动向量和插入到编码流中的旋转和/或缩放的调整处理信息，以获得每个编码目标块的参考块。参考块提取单元基于每个块的运动向量和调整处理信息，为每个解码目标块提取参考块。然后，像素值计算单元将参考块的像素值与每个解码目标块的残差信号相加，并获得宽视角图像的运动图像数据。以这种方式，本技术基于每个块的运动向量和插入到编码流中的调整处理信息，提取每个解码目标块的参考块。因此，可容易且适当地获得运动补偿参考块，并且可容易且适当地执行解码处理。专利技术效果根据本技术，可令人满意地编码宽视角图像的运动图像数据。注意，本文列出的效果不是限制性的，并且可获得本文公开的任何一种效果。附图说明图1是示出发送和接收系统的实施例的配置实例的框图。图2示出了由全方位相机捕获的全方位图像的实例。图3示出了在全方位图像的全景展开之后获得的图像的实例。图4是示出发送设备的配置实例的框图。图5示出了通过传统块平移应用运动预测的实例。图6示出了通过参考块调整应用运动预测的实例。图7示出了通过传统块平移应用运动预测的实例与通过参考块调整应用运动预测的实例之间的比较。图8是发送设备的编码器的编码处理部分的配置实例的框图。图9示出了运动预测/运动补偿电路和参考图像调整信息处理单元中的处理流程的实例。图10示出了运动预测/运动补偿电路和参考图像调整信息处理单元中的处理流程的另一实例。图11示出了切片NAL单元的实例结构。图12示出了切片区段数据的实例结构。图13示出了“ref_block_adjust_proc(x,y,mvx,mvy,ref_idx)”字段的实例结构。图14示出了“ref_block_adjust_proc(x,y,mvx,mvy,ref_idx)”字段的实例结构中的主要信息的内容。图15是接收设备的配置实例的框图。图16是接收设备中的解码器的解码处理部分的配置实例的框图。具体实施方式下面将描述用于执行本专利技术的模式(下文中称为实施例)。请注意，描述按以下顺序给出：1.实施例2.修改<1.实施例>[发送和接收系统]图1示出了发送和接收系统10的实施例的配置实例。发送和接收系统10包括发送设备100和接收设备200。发送设备100通过广播波发送作为容器的传输流TS。传输流TS包括通过对本实施例中的全方位图像的宽视角图像进行编码而获得的编码流(视频流)。图2示出了由全方位相机捕获的全方位图像的实例。全方位相机使用例如双曲面镜进行成像，如本领域所公知的。在全方位图像中设置参考点(目标点)O。全方位图像具有以参考点O为中心的360度图像。通过全景展开该全方位图像，获得二维360度图像，如图3所示。全方位图像(例如使用如上所述的双曲面镜成像)根据距参考点O的距离和角位置而变形。发送设备100执行例如运动补偿预测编码，并且当针对每个编码目标块提取运动补偿参考块时，调整参考块的旋转和/或缩放(线性，非线性)。因此，即使全方位图像如上所述变形，也可降低残差和编码比特率，并且运动预测编码的性能得到改善。例如，根据参考块和编码目标块的位置自动确定旋转角度。发送设备100将调整处理信息与运动向量一起插入到每个编码目标块的编码流中。因此，在接收侧(解码侧)，基于调整处理信息与运动向量一起容易本文档来自技高网...

【技术保护点】
1.一种编码设备，包括：块划分单元，将宽视角图像的运动图像数据划分成块，以获得编码目标块；参考块提取单元，为每个编码目标块提取运动补偿的参考块；参考块调整单元，对所述参考块执行旋转和/或缩放的调整处理；编码单元，对于每个所述编码目标块，基于该编码目标块的像素值和经过所述调整处理的参考块的像素值来计算残差信号，并且编码每个编码目标块的残差信号以获得编码流；和信息插入单元，对于每个所述编码目标块，将所述调整处理的信息与运动向量一起插入到所述编码流中。

【技术特征摘要】
【国外来华专利技术】2016.09.26 JP 2016-1867981.一种编码设备，包括：块划分单元，将宽视角图像的运动图像数据划分成块，以获得编码目标块；参考块提取单元，为每个编码目标块提取运动补偿的参考块；参考块调整单元，对所述参考块执行旋转和/或缩放的调整处理；编码单元，对于每个所述编码目标块，基于该编码目标块的像素值和经过所述调整处理的参考块的像素值来计算残差信号，并且编码每个编码目标块的残差信号以获得编码流；和信息插入单元，对于每个所述编码目标块，将所述调整处理的信息与运动向量一起插入到所述编码流中。2.根据权利要求1所述的编码设备，其中，所述参考块调整单元根据所述参考块和所述编码目标块的位置自动确定所述旋转的角度。3.根据权利要求1所述的编码设备，其中所述参考块调整单元在块匹配之前对每个候选进行旋转处理，所述块匹配用于通过所述参考块提取单元提取所述参考块。4.根据权利要求1所述的编码设备，其中所述参考块调整单元对块匹配的结果执行旋转处理，所述块匹配用于通过所述参考块提取单元提取所述参考块。5.一种编码方法，包括以下步骤：由块划分单元将宽视角图像的运动图像数据划分为块，以获得编码目标块；由参考块提取单元为每个所述编码目标块提取参考块；由参考块调整单元对所述参考块执行旋转和/或缩放的调整处理；对于每个所述编码目标块，编码单元基于该编码目标块的像素值和经过所述调整处理的参考块的像素值来计算残差信号，并且编码每个编码目标块的残差信号以获得编码流；和对于每个所述编码目标块，由信息插入单元将所述调整处理的信息与运动向量一起插入到所述编码流中。6.一种解码设备，包括：解码单元，其解码编码流以获得每个解码目标块的残差信号，所述编码流包括通过将宽视角图像的运动图像数据划分为块而获得的每个编码目标块的编码信号，对于每个编码目标块，编码流包括插入到所述编码流中的用于获得参考块的运动向量以及旋转和/或缩放的调整处理信息，并且所述解码设备还包括：参考块提取单元，基于每个块的所述运动向量和所述调整处理信息，为每个所述解码目标块提取参考块；和像素值计算单...

【专利技术属性】
技术研发人员：塚越郁夫，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP