预拼接图像的视频编码方法、视频解码方法和相关的装置制造方法及图纸

本发明专利技术公开一种预拼接图像的视频编码方法、视频解码方法和相关的装置。预拼接图像的视频编码方法，用于视频编码系统，其中每个预拼接图像由全景视频捕获设备的两个摄相机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，所述方法包括：接收包括当前预拼接图像中的当前块的全景视频源数据；接收与用于形成所述预拼接图像的拼接处理相关的拼接信息，其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来编码所述当前块。本发明专利技术所提供的预拼接图像的视频编码方法、视频解码方法和相关的装置，能够提高视频压缩技术的效率。

【技术实现步骤摘要】
预拼接图像的视频编码方法、视频解码方法和相关的装置
本专利技术涉及视频编码。具体来说，本专利技术涉及从全景视频捕获设备的多个摄像机生成的预拼接图像的视频压缩技术。
技术介绍
360度视频，也称为沉浸式视频(immersivevideo)，是一种新兴的技术，它能提供“身临其境的感觉(feelingassensationofpresent)”。通过围绕用户覆盖全景(panoramicview)的环绕场景，特别是360度视野，使用户获得沉浸感。“身临其境的感觉”可以进一步通过立体渲染来提高。因此，全景视频被广泛应用于虚拟现实(VirtualReality，VR)应用中。沉浸式视频涉及使用多个摄像机来捕获一个场景，以覆盖全景，例如360度视野。沉浸式摄像机通常使用一组摄像机，用于捕获360度视野。该组摄像机可以由少至一个摄相机组成。然而，通常两个或更多个摄相机用于沉浸式摄相机。必须同时拍摄所有视频，并记录该场景的单独的片段(也称为单独视角)。此外，该组摄相机通常被布置成水平地捕获视图，而相机的其他布置也是可能的。必须校准该组摄像机以避免可能的未对准(misalignment)。校准是校正透镜失真并描述世界坐标和摄像机坐标之间的变换的处理。校准处理是必要的，以允许正确拼接视频。为了创建一个360度的视频，必须拼接各个视频录像。图像拼接在本领域中已得到完整的研究，包括混合(blending)或接缝(seam)处理。图1为与给定时间实例相对应的来自全景视频的图像的示例。全景视频使用四台摄像机进行拍摄，每台摄像机的主轴相对于相邻摄像机旋转约90度。四个非拼接图像(non-stitchedimage)的集合110来自四个摄像机的四个图像(112,114,116和118)。每个摄像机覆盖非常宽的视野(即，使用广角镜头)，使得来自相邻摄像机的图像具有实质的重叠区域。然后将在给定情况下对应于全景视频的图像集合拼接以形成预拼接图像(pre-stitchedpicture)120。预拼接图像120是在进入视频压缩系统以进行后续压缩之前被拼接的。对于全景视频，特别是360度视频，可以使用多个摄像机来捕获多个视频。为了渲染全虚拟现实环境所需的数据，需要大量的带宽或存储空间。随着视频分辨率的不断增加，所需的带宽或存储空间变得非常大。因此，期望开发用于360度视频(特别是预先拼接的全景视频)的高效视频压缩技术。
技术实现思路
有鉴于此，本专利技术提供一种预拼接图像的视频编码方法、视频解码方法和相关的装置。依据本专利技术一实施方式，提供一种预拼接图像的视频编码方法，用于视频编码系统，其中每个预拼接图像由全景视频捕获设备的两个摄相机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，所述方法包括：接收包括当前预拼接图像中的当前块的全景视频源数据；接收与用于形成所述预拼接图像的拼接处理相关的拼接信息，其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来编码所述当前块。依据本专利技术另一实施方式，提供一种预拼接图像的视频编码的装置，用于视频编码系统，其中每个预拼接图像由全景视频捕获装置的两个摄像机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，所述装置包括一个或多个电子电路或处理器，所述一个或多个电子电路或所述处理器用于执行以下步骤：接收包括当前预拼接图像中的当前块的全景视频源数据；接收与用于形成所述预拼接图像的拼接处理相关的拼接信息，其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来编码所述当前块。依据本专利技术另一实施方式，提供一种预拼接图像的视频解码方法，用于视频解码系统，其中每个预拼接图像由全景视频捕获设备的两个摄相机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，该方法包括：接收压缩数据，所述压缩数据包括当前预拼接图像中的当前块的编码当前块；解析编码参数，其中至少一个编码参数与拼接信息相关，所述拼接信息与形成所述预拼接图像的拼接处理相关，并且其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来解码所述当前块。依据本专利技术另一实施方式，提供一种预拼接图像的视频解码的装置，用于视频解码系统，其中每个预拼接图像由全景视频捕获装置的两个摄像机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，所述装置包括一个或多个电子电路或处理器，所述一个或多个电子电路或所述处理器用于执行以下步骤：接收压缩数据，所述压缩数据包括当前预拼接图像中的当前块的编码当前块；解析编码参数，其中至少一个编码参数与拼接信息相关，所述拼接信息与形成所述预拼接图像的拼接处理相关，并且其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来解码所述当前块。本专利技术所提供的预拼接图像的视频编码方法、视频解码方法和相关的装置，能够提高视频压缩技术的效率。对于已经阅读后续由各附图及内容所显示的较佳实施方式的本领域的技术人员来说，本专利技术的各目的是明显的。附图说明图1为与给定时间实例相对应的来自全景视频的图像的示例，其中使用四个摄像机来捕获全景视频，并且每个摄像机的主轴相对于相邻摄像机的主轴旋转大约90°。图2为两个球面图像中相同对象的失真(distortion)的示例，其中由于两个预先拼接的全景图像之间的投影特性，常规帧间预测将无法预测相应的区域。图3A为根据本专利技术的实施例的包含基于投影的帧间预测的编码器系统的示例性框图，其中该系统包括三种预测模式：基于投影的帧间预测、常规帧间预测和帧内预测。图3B为对应于图3A中的编码器的解码器系统的示例性框图。图4A为根据本专利技术的实施例的包含基于投影的帧间预测的编码器系统的另一示例性框图，其中常规帧间预测与基于投影的帧间预测组合以形成基于投影的帧间预测和常规帧间预测的联合帧间预测。图4B为与图4A中的编码器对应的解码器系统的示例性框图。图5为两幅全景图像的示例，其中当前图像中的块与前一图像中表示相同对象的相应块看起来非常不同。图6A为在编码器侧的基于投影的帧间预测的示例性流程图，其中基于投影的帧间预测模式与常规帧间预测模式相互分离。图6B为在解码器侧的基于投影的帧间预测的示例性流程图。图7A为根据本专利技术的一实施例的在编码器侧的基于投影的帧间预测和常规帧间预测的联合帧间预测的示例性流程图。图7B为在解码器侧的基于投影的帧间预测和常规帧间预测的联合帧间预测的示例性流程图。图8为根据本专利技术的基于投影的帧间预测的示例。图9为预拼接图像中的拼接问题的示例，其中接缝出现在预拼接图像中。图10A为根据本专利技术的实施例的包含基于接缝的帧间预测的编码器系统的示例性框图。图10B为与图10A中的编码器对应的解码器系统的示例性框图。图11A为根据本专利技术的包含基于接缝的帧间预测的编码器系统的另一示例性框图。图11B为与图11A中的编码器相对应的解码器系统示例性框图。图12为基于缝的帧间本文档来自技高网...

【技术保护点】
一种预拼接图像的视频编码方法，用于视频编码系统，其中每个预拼接图像由全景视频捕获设备的两个摄相机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，其特征在于，所述方法包括：接收包括当前预拼接图像中的当前块的全景视频源数据；接收与用于形成所述预拼接图像的拼接处理相关的拼接信息，其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来编码所述当前块。

【技术特征摘要】
2016.10.27 US 62/413,471;2017.05.22 US 15/600,9541.一种预拼接图像的视频编码方法，用于视频编码系统，其中每个预拼接图像由全景视频捕获设备的两个摄相机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，其特征在于，所述方法包括：接收包括当前预拼接图像中的当前块的全景视频源数据；接收与用于形成所述预拼接图像的拼接处理相关的拼接信息，其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来编码所述当前块。2.根据权利要求1所述的方法，其特征在于，所述拼接信息对应于与投影处理相关的匹配结果，并且通过将参考预拼接图像中的参考块投影到所述当前块的坐标，应用基于投影的帧间预测以编码所述当前块。3.根据权利要求2所述的方法，其特征在于，基于被指定为滚动、俯仰和偏航的球面坐标，所述基于投影的帧间预测执行对所述当前块的运动搜索。4.根据权利要求3所述的方法，其特征在于，由球面运动向量指示的预测器候选使用平移矩阵投影到所述当前块的所述坐标，其中所述球面运动向量由滚动、俯仰和偏航值组成，并且所述平移矩阵是基于滚动、俯仰和偏航值得出的。5.根据权利要求4所述的方法，其特征在于，从所述当前块和每个预测器候选的投影预测器导出与每个预测器候选相关的残差，并计算与每个预测器候选相关的信息率-失真成本，并根据所述速率失真成本选择最佳预测器候选以作为所述当前块的当前预测器。6.根据权利要求2所述的方法，其特征在于，仅当所述当前块的y位置在指定范围之外时，将所述基于投影的帧间预测应用于所述当前块；否则，将常规帧间预测应用于所述当前块，并且对于常规帧间预测，在(x，y)域中执行最佳预测器的运动搜索。7.根据权利要求6所述的方法，其特征在于，所述指定范围对应于垂直方向上的中间范围。8.根据权利要求1所述的方法，其特征在于，所述拼接信息对应于与接缝检测相关的接缝信息，并且通过利用所述接缝信息，基于接缝的帧间预测用于编码所述当前块。9.根据权利要求8所述的方法，其特征在于，从所述全景视频源数据解析所述接缝信息，并且如果所述接缝信息存在，则执行运动搜索以识别预测器候选；并且检查接缝是否跨越任何预测器候选或所述当前块，以及检查任何预测器候选和所述当前块是否位于所述接缝的不同侧。10.根据权利要求9所述的方法，其特征在于，如果所述接缝跨越任何预测器候选或所述当前块，则通过缩放在所述接缝一侧的所述预测器候选的像素强度，调整所述预测器候选的亮度、颜色或二者以与所述当前块相匹配；并且如果任何预测器候选和所述当前块位于所述接缝的不同侧，通过缩放所述预测器候选中的所有像素的像素强度，来调整所述预测器候选的亮度、颜色或二者以与所述当前块相匹配。11.根据权利要求9所述的方法，其特征在于，从所述当前块和每个预测器候选的缩放的预测器导出与每个预测器候选相关的残差，并且计算与每个预测器候选相关的信息率-失真成本，并且根据所述速率失真成本选择最佳预测器候选以作为所述当前块的当前预测器。12.根据权利要求8所述的方法，其特征在于，从所述全景视频源数据解析所述接缝信息，并且如果所述接缝信息不存在，常规帧间预测用于编码所述当前块。13.一种预拼接图像的视频编码的装置，用于视频编码系统，其中每个预拼接图像由全景视频捕获装置的两个摄像机捕获的至少两个图像形成，并且由两个相邻摄像机捕获的两个相邻图像至少包括重叠图像区域，所述装置包括一个或多个电子电路或处理器，其特征在于，所述一个或多个电子电路或所述处理器用于执行以下步骤：接收包括当前预拼接图像中的当前块的全景视频源数据；接收与用于形成所述预拼接图像的拼接处理相关的拼接信息，其中所述拼接信息包括校准数据、匹配结果、接缝位置、混合水平、传感器数据或其组合；以及使用与所述拼接处理相关的所述拼接信息来编码所述当前块。14.一...

【专利技术属性】
技术研发人员：张翠姗，黄昱豪，张智凯，刘子明，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71