全景图像映射方法技术

本发明专利技术公布了一种全景图像映射方法，针对分辨率为2M×M的矩形映射全景图像，根据纬度设置映射区域和非映射区域，只将设置的映射区域映射为方形区域包括：对于所述方形区域上的点，计算得到该点到方形区域中心的垂直距离和水平距离，取其中较大者记为m；计算得到该点到同心方形上第零个点的距离n；计算得到该点所对应的经度和纬度；计算得到该点反映射到矩形映射全景图像中所对应的位置(X,Y)；再给该点赋值。本发明专利技术方法可有效降低过采样，由此达到在失真较小的情况下有效降低全景图像的像素数和编码所需的码率的目的。

【技术实现步骤摘要】

本专利技术涉及虚拟现实(VR)领域，尤其涉及一种新的全景图像映射技术，可用于矩形映射(equirectangular)的全景图像，减少编码全景图像所需的码率。
技术介绍
随着虚拟现实技术的日益发展，对虚拟现实视频的需求日益增加。而360°的全景图像由于要求更广的视角，因此相比于传统的平面图像需要更高的分辨率，其编码所需的码率也相较传统的平面图像高出许多。如今最常见的映射方式是矩形映射，但是这种映射方式在高纬度区域存在较严重的过采样现象。学术界和工业界都对全景图像的映射方式进行了改进，将矩形映射的全景图像映射到一些新的平面上来降低高纬度区域的过采样，虽然新的映射方法在码率上有比较不错的节省，但由于映射过程中的插值，均存在一些失真的问题。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种新的全景图像映射方法，可用于矩形映射(equirectangular)的全景图像，有效减少映射过程中的失真问题并减少编码全景图像所需的码率，可改善矩形映射中存在的过采样的问题。本专利技术提供的映射方法，在较优的设置下可以减少25％的像素数，在测试的序列中减少了11％的码率(高纬度区域如果有较多的细节，针对高纬度区域的全景图像会节省更多的码率)，并且基本没有失真。本专利技术提供的技术方案是：一种全景图像映射方法，针对分辨率为2M×M的矩形映射全景图像，根据纬度设置映射区域和非映射区域，只将设置的映射区域映射为方形区域，从而有效降低过采样，由此达到在失真较小的情况下有效降低全景图像的像素数和编码所需的码率的目的；包括如下步骤：第一步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到方形区域中心的垂直距离和水平距离，取其中较大的一个记为m；第二步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到同心方形上第零个点的距离，记为n；所述第零个点为任意位置的点；第三步：根据所述n和m计算得到所述方形区域上的坐标为(x,y)的点所对应的经度latitude和纬度longitude；第四步：根据第三步得到的经度latitude和纬度longitude，通过式8和式9计算得到所述方形区域上的坐标为(x,y)的点反映射到矩形映射全景图像中所对应的位置(X,Y):第五步：当(X,Y)是整像素时，将矩形映射全景图像中(X,Y)处的像素值赋给所述方形区域上的(x,y)点；当(X,Y)不是整像素时，取(X,Y)附近的而像素进行插值得到所述方形区域上的(x,y)点的像素值。针对上述全景图像映射方法，进一步地，将全景图像高纬度的2M×H的区域设置为映射区域，所述映射区域为两个；所述H为设置映射区域的高度，H≤M/2。优选地，所述H为0.25M。针对上述全景图像映射方法，进一步地，所述设置为映射区域的全景图像高纬度范围优选为±45°到±90°之间。针对上述全景图像映射方法，进一步地，第二步所述计算得到该点到同心方形上第零个点的距离，具体选取右上角的像素为第零个像素，通过如下计算过程得到：nup＝y-m′ (式2)nright＝s+x-m′ (式3)ndown＝2×s+(1024-1-y-m′) (式4)nleft＝3×s+(1024-1-x-m′) (式5)其中，nup,nright,ndown,nleft分别表示同心方框的上侧、右侧、下侧和左侧的点到第零个点的距离；s＝2×m,为方框上像素数的m为步骤一所述方形区域上的坐标为(x,y)的点到方形区域中心的垂直距离和水平距离取其中较大者。针对上述全景图像映射方法，进一步地，第三步根据所述n和m，具体通过以下公式计算得到所述方形区域上的坐标为(x,y)的点所对应的经度latitude和纬度longitude：其中，4s是点所在的同心方形的像素个数；longitude的取值从-180°到180°，表示西经180°到东经180°；latitude的取指从到±90°，正值代表北纬，负值代表南纬。针对上述全景图像映射方法，进一步地，第五步所述插值方法为双三次插值方法、双线性插值方法或最近邻插值方法。插值方法优选为双三次插值方法。与现有技术相比，本专利技术的有益效果是：本专利技术提供一种新的全景图像映射方法，可用于矩形映射(equirectangular)的全景图像，有效减少映射过程中的失真问题并减少编码全景图像所需的码率，可改善矩形映射中存在的过采样的问题。一般地，高纬度区域有较多的细节，针对高纬度区域的全景图像会节省更多的码率，并且基本没有失真。本专利技术具有以下优点：(一)降低了纬度较高的区域存在的过采样现象，降低图像的像素数从而降低编码所需要的码率，比如将分辨率为2M×M的矩形映射的纬度较高的两个2M×0.5M区域映射成两个的方形区域可节省25％的像素数，在测试序列上平均节省11％的码率。(二)映射过程中造成的失真很小。附图说明图1是本专利技术实施例中的映射关系示意图。图2是本专利技术提供的全景图像映射方法的流程框图。图3是本专利技术实施例中映射方法具体计算过程示意图；其中，(a)为计算坐标为(x,y)的点到方形区域中心的垂直距离和水平距离的示意图，图中分别为其到中心的垂直距离和水平距离；(b)为计算坐标为(x,y)的点到同心方形上第零个点的距离的示意图(第零个点的位置可随意选取，我们选择左上45°方向的点作为第零个点)。图4是本专利技术实施例的映射效果图；其中，(a)是采用矩形映射方法得到的全景图像；(b)是利用本专利技术提供方法映射得到的全景图像。具体实施方式下面结合附图，通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。本专利技术提供一种新的全景图像映射方法，可用于矩形映射(equirectangular)的全景图像，有效减少映射过程中的失真问题并减少编码全景图像所需的码率，可改善矩形映射中存在的过采样的问题。本专利技术提供的映射方法，对于矩形映射全景图像中纬度较低的区域不进行映射，只将图像中纬度较高的区域映射到两个方形区域上，有效降低了高纬度区域的过采样，在失真较小的情况下有效的降低了全景图像的像素数和编码所需的码率。本专利技术方法可以减少25％的像素数，在测试的序列中减少了11％的码率(高纬度区域如果有较多的细节，针对高纬度区域的全景图像会节省更多的码率)，并且基本没有失真。对于分辨率为2M×M的矩形映射全景图像，对其纬度较低的区域不进行映射，只对存在严重过采样现象的纬度较高的区域进行映射，将矩形映射的全景图像中纬度较高的区域的映射成两个N×N的方形区域(纬度较低的区域和纬度较高的区域的范围可自己设置。实验中，我们发现对±45°之间的2M×0.5M的区域不进行映射，只将±45°到±90°之间的两个2M×0.25M的区域进行映射成两个0.5M×0.5M的方形区域，其效果较好)。可将分辨率为2M×M的矩形映射全景图像中的高纬度的两个2M×H(其中H为自己设置的纬度较高的区域的高度，H≤M/2)的区域映射到两个N×N的方形区域。以下实施例描述了本专利技术的具体实现过程。本专利技术映射过程的关系如图1所示，矩形映射的全景图像的低纬度区域不进行映射，而对于高纬度映射成方形。可将分辨率为4096×2048的矩形映射全景图像的低纬度区域保留(本实施例中保留了低纬度的4096×1024的区域)，将上、下高纬度的4096×5本文档来自技高网...

【技术保护点】
一种全景图像映射方法，针对分辨率为2M×M的矩形映射全景图像，根据纬度设置映射区域和非映射区域，只将设置的映射区域映射为方形区域，从而有效降低过采样，由此达到在失真较小的情况下有效降低全景图像的像素数和编码所需的码率的目的；包括如下步骤：第一步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到方形区域中心的垂直距离和水平距离，取其中较大的一个记为m；第二步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到同心方形上第零个点的距离，记为n；所述第零个点为任意位置的点；第三步：根据所述n和m计算得到所述方形区域上的坐标为(x,y)的点所对应的经度latitude和纬度longitude；第四步：根据第三步得到的经度latitude和纬度longitude，计算所述方形区域上的坐标为(x,y)的点映射到矩形映射全景图像中所对应的位置(X,Y)；第五步：当(X,Y)是整像素时，将矩形映射全景图像中(X,Y)处的像素值赋给所述方形区域上的(x,y)点；当(X,Y)不是整像素时，取(X,Y)附近的而像素进行插值得到所述方形区域上的(x,y)点的像素值。

【技术特征摘要】
1.一种全景图像映射方法，针对分辨率为2M×M的矩形映射全景图像，根据纬度设置映射区域和非映射区域，只将设置的映射区域映射为方形区域，从而有效降低过采样，由此达到在失真较小的情况下有效降低全景图像的像素数和编码所需的码率的目的；包括如下步骤：第一步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到方形区域中心的垂直距离和水平距离，取其中较大的一个记为m；第二步：对于所述方形区域上的坐标为(x,y)的点，计算得到该点到同心方形上第零个点的距离，记为n；所述第零个点为任意位置的点；第三步：根据所述n和m计算得到所述方形区域上的坐标为(x,y)的点所对应的经度latitude和纬度longitude；第四步：根据第三步得到的经度latitude和纬度longitude，计算所述方形区域上的坐标为(x,y)的点映射到矩形映射全景图像中所对应的位置(X,Y)；第五步：当(X,Y)是整像素时，将矩形映射全景图像中(X,Y)处的像素值赋给所述方形区域上的(x,y)点；当(X,Y)不是整像素时，取(X,Y)附近的而像素进行插值得到所述方形区域上的(x,y)点的像素值。2.如权利要求1所述全景图像映射方法，其特征是，将全景图像高纬度的2M×H的区域设置为映射区域，所述映射区域为两个；所述H为设置映射区域的高度，H≤M/2。3.如权利要求2所述全景图像映射方法，其特征是，所述设置为映射区域的全景图像高纬度范围优选为±45°到±90°之间。4.如权利要求2所述全景图像映射方法，其特征是，所述H为0.25M。5.如权利要求1所述全景图像映射方法，其特征是，第二步所述计算得到该点到同心方形上...

【专利技术属性】
技术研发人员：王荣刚，王悦名，王振宇，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44