保持相邻像素相关性的全景视频帧矩形映射方法技术

本发明专利技术公开了一种保持相邻像素相关性的全景视频帧矩形映射方法，包括：将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面纬度上的每个点映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像；将菱形沿中轴线进行分割，获得两个三角形，再将两个三角形分别调整成高宽比为1：1的菱形；将其中一个菱形切割后与未切割的菱形组合成为一正方形，或者，直接将两个菱形的两个边对齐，拼成一个长宽2：1的长方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。该方法可以使三维全景视频帧能够映射到一个面积较小和信息损失较小的矩形平面上，进而帮助优化全景视频压缩。

【技术实现步骤摘要】
保持相邻像素相关性的全景视频帧矩形映射方法
本专利技术涉及全景视频编码
，尤其涉及一种保持相邻像素相关性的全景视频帧矩形映射方法。
技术介绍
随着视频采集和处理技术的进步，全景视频开始逐步进入人们的生活。全景视频是以摄像机为中心，对各个视角的景物进行同时记录而得到的视频。人们在观看全景视频时，可以随意切换视角，仿佛身临其境。与传统的二维平面视频相比，全景视频可以给用户带来更好的体验和沉浸感，是未来虚拟现实技术不可或缺的一部分。然而，全景视频的原始数据量比传统二维平面视频大得多，迫切需要高效的视频压缩方法。全景视频帧的像素分布在一个球体的三维曲面上。为了编码，需要将其映射到2维平面上。因此全景视频的投影映射是全景视频编码中很重要的一个环节。本质上，全景视频记录的是球面上的视频信息。由于球面不易表示，全景视频一般采用经纬图格式进行表达。经纬图将球面的点按照其经度、维度映射到二维平面，例如，经度映射为列坐标、纬度映射为行坐标，从而将球面展开为矩形平面。经纬图格式的视频可以直接采用传统的二维平面视频的编码器进行压缩编码，但是由于经纬图本身对于球面进行了下采样，经纬图与球面的面积比为1：1.5708，经纬图内包含大量冗余像素。另一种方式是通过正多面体的映射，比如正六面体；其中与球面面积最接近的是正二十面体，与球面的比值为1：1.21，但二十面体本身不是方形，为方便编码需要拼剪成矩形；然而，裁剪的过程中将破坏图像本身的相关性，造成了图像信息的损失。
技术实现思路
本专利技术的目的是提供一种保持相邻像素相关性的全景视频帧矩形映射方法，可以使三维全景视频帧能够映射到一个面积较小和信息损失较小的矩形平面上，进而帮助优化全景视频压缩。本专利技术的目的是通过以下技术方案实现的：一种保持相邻像素相关性的全景视频帧矩形映射方法，包括：将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像；将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形；将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。所述圆锥的每个面展开为一个三角形，三角形的底和高的比值为N：1；最终获得的长宽自适应的菱形的图像，其高宽比为N/2：1。所述将所有通过仿射变换调整后的菱形组合成为一正方形包括：若通过仿射变换调整后的菱形数量为2，则将其中一个菱形的沿对角切开，将切开的四个三角形分别旋转90度，并将每一三角形最长的边对应拼接到另一个菱形的边上，从而得到一个完整的正方形，正方形的所有相邻像素点均具有相关性。如果球面的全景视频帧上经度为λ，取值范围(-п,п]，纬度为φ，取值范围为[-п/2,п/2；则最终映射为正方形后，x，y轴取值范围为[0,width]：Width＝2*arcsin(2/п)+√(п2-4)；转换公式如下：λ1＝(λ+λ0)*width/п；φ1＝(φ+φ0)*width/п；其中，λ0＝п，φ0＝п/2；如果x+y<width/2，则x＝width/2-φ1,y＝λ1；如果y-x>width/2，则x＝φ1-width/2，y＝width-λ1；如果x+y>width*3/2，则x＝width*3/2-φ1，y＝λ1+4φ1-3*width；如果y-x<-width/2，则x＝width+φ1，y＝4φ1-λ1；否则，当y<width/2时，当y>＝width/2，y＝φ1。由上述本专利技术提供的技术方案可以看出，矩形平面内部相邻像素点之间都是统计相关的，而传统的二十面体在变为矩形时会有明显的分界面，同时传统正弦映射也会造成互相垂直的经纬线过度变形，因此，本映射方案优于传统的经纬图映射和正六面体映射。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种保持相邻像素相关性的全景视频帧矩形映射方法的流程图；图2为本专利技术实施例提供的对球面进行采样映射的示意图；图3为本专利技术实施例提供的全景视频的球面示意图；图4为本专利技术实施例提供的对经纬面进行采样映射为高宽比为2：1的菱形的示意图；图5为本专利技术实施例提供的2：1的菱形调整为1：1菱形的示意图；图6为本专利技术实施例提供的对1：1菱形进行分割的示意图；图7为本专利技术实施例提供的将两个菱形合并为一个正方形的示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。图1为本专利技术实施例提供的一种保持相邻像素相关性的全景视频帧矩形映射方法的流程图。如图1所示，其主要包括如下步骤：步骤11、将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像。如图2所示，对球面进行采样时，将其嵌入至一个近似于圆锥的面，圆锥的每个面展开为一个三角形，三角形的底和高的比值为N：1；最终获得长宽自适应的菱形的图像，其高宽比为N/2：1。菱形的高宽比为满足之后的菱形调整，从而是自适应，示例性的，针对传统无降采样的经纬图，可以将N设为4，则高宽比为2：1。球面映射的坐标如图3所示。高宽比为2：1的菱形如图4所示。步骤12、将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形。本专利技术实施例中，采用自适应的分割方式，可以适应于不同情况，以便于后续拼接操作。示例性的，可以自适应的分割为两个三角形，进而获得两个高宽比为1：1的菱形。如图5所示，左右两个菱形为调整后的高宽比为1：1的菱形。步骤13、将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。本专利技术实施例中，若通过仿射变换调整后的菱形数量为2，则组合成为一正方形的过程如下：如图6所示，将其中一个菱形的沿对角切开，将切开的四个三角形分别旋转90度(左上右下逆时针旋转90度，左下右上旋转90度)，并将每一三角形最长的边对应拼接到另一个菱形的边上，从而得到一个如图7所示的完整的正方形，正方形的所有相邻像素点均具有相关性。如果球面的全景视频帧上经度为λ，取值范围(-п,п]，纬度为φ，取值范围为[-п/2,п/2；则最终映射为正方形后，x，y轴取值范围为[0,width]：Width＝2*arcsin(2/п)+√(п2-4)；转换公式如下：λ1＝(λ+λ0)*width/п；φ1＝(φ+φ0)*width/п；其中，λ0＝п，φ0＝п/2；如果x+y<width/2，则本文档来自技高网...

【技术保护点】
一种保持相邻像素相关性的全景视频帧矩形映射方法，其特征在于，包括：将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像；将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形；将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。

【技术特征摘要】
1.一种保持相邻像素相关性的全景视频帧矩形映射方法，其特征在于，包括：将球面的全景视频帧嵌入至一个近似于圆锥的面，根据映射关系将球面每个纬度圆环带从高到低映射到圆锥的每个圆环上，将球面经度上的每个点映射到圆锥对应的每个斜面带上，最终获得一菱形的图像；将菱形的图像沿中轴线进行自适应的分割，获得若干三角形，再将每一三角形分别通过仿射变换调整成高宽比为1：1的菱形；将所有通过仿射变换调整后的菱形组合成为一正方形，从而在保持相邻像素相关性的前提下实现全景视频帧矩形映射。2.根据权利要求1所述的一种保持相邻像素相关性的全景视频帧矩形映射方法，其特征在于，所述圆锥的每个面展开为一个三角形，三角形的底和高的比值为N：1；最终获得的长宽自适应的菱形的图像，其高宽比为N/2：1。3.根据权利要求1所述的一种保持相邻像素相关性的全景视频帧矩形映射方法，其特征在于，所述将所有通过仿射变换调整后的菱形组合成为一正方形包括：若通过仿射变换调整后的菱形数量为2，则将其中一个菱形的沿对角切开，将切开的四个三角形分别旋转90度，并将每一三角形...

【专利技术属性】
技术研发人员：陈志波，吴仕林，陈晓明，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34