一种全景视频等密度采样方法及装置制造方法及图纸

本发明专利技术公开了一种全景视频等密度采样方法及装置，该方法包括：根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面；根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；计算得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值,本发明专利技术可以使采样点在球面上均匀分布，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数最少，采样后的数据量最小。

【技术实现步骤摘要】

本专利技术涉及视频编码技术，特别是涉及一种全景视频等密度采样方法及装置。
技术介绍
全景视频是指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成。全景视频可以抽象成一个以观察点为中心的球面。在用计算机处理全景视频的时候，不可避免地要对全景视频进行离散化空间采样。在对全景视频进行离散化空间采样的时候，需要保证一定的空间采样密度，以达到所需的清晰度。同时，又要考虑到计算机的存储器不适合存储球面结构的数据，需要以某种方式把采样点排列到平面上。现有的球面采样方法，通常将球面采样过程分为三步：第一步，映射，把球面映射为平面上的一个区域；第二步，平面采样，以映射后的平面区域为基础设计采样点的分布方式；第三步，排列，把采样点排列为一个矩形。在第一步映射的过程中，经常不是等面积映射，而且球面的不同区域在映射前后面积的比例也是不同的。第二步平面采样的过程中，经常是把采样点设计成在映射后的平面区域中均匀分布。第一步和第二步结合起来，就会造成采样点在球面上的分布不均匀。有些区域采样点比较密，有些区域采样点比较稀。最终采样达到的空间清晰度，是以球面上采样点最稀疏的区域为准。因此，在给定空间清晰度的条件下，采样点在球面上的不均匀分布，会带来冗余。目前，有三种常用的球面采样方法：经纬图采样，六面体采样以及棱锥采样。经纬图采样如图1所示，球面上任意一个点可以用所处的经度θ和纬度描述，θ∈[0,2π)，于是可以将球面映射到坐标系下一个宽高比为2:1的矩形。对这个矩形进行均匀采样。经纬图采样方法在球面的两极附近采样密度过高，会产生很大的冗余。六面体采样如图2所示，首先将球面映射为其外切正六面体的六个面，从而得到六个平面正方形，再对六个平面正方形进行均匀采样，最终用某种方式把六个正方形拼成一个矩形。六面体采样的采样点在球面上的分布也是不均匀的，依然存在较大的冗余。棱锥采样如图3所示，首先将球面映射为一个外切正四棱锥，再将该正四棱锥的每个侧面(等腰三角形)沿底边垂线的方向进行压缩，直到顶角变成直角。这样底面和四个经过二次映射的侧面正好可以拼成一个正方形。最后对这个正方形进行均匀采样。棱锥采样的采样点在球面上的分布也是不均匀的，其不均匀程度介于经纬图采样和六面体采样之间，冗余程度也介于经纬图采样和六面体采样之间。综上所述，已有的全景视频采样方法的主要缺点是存在较大的采样结构冗余。采样点在球面上不均匀分布，不仅会带来采样冗余，还给视频质量评价带来不便，因为最终的采样点对应的球面面积是不同的，因此每个采样点的失真对视频质量的影响也是不同的，在计算全景视频经过某种处理，例如压缩解压缩后的质量损失时，必须考虑到每个采样点的重要性是不同的。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种全景视频等密度采样方法及装置，其可以使采样点在球面上均匀分布，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数最少，采样后的数据量最小，而且，由于每个采样点对应的球面面积相同，每个点的失真对视频质量的影响是相同的。为达上述及其它目的，本专利技术提出一种全景视频等密度采样方法，包括如下步骤：步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；步骤二，根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；步骤三，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；步骤四，计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。进一步地，于步骤一中，从球心的角度观察，Oi按照从上到下的顺序排列。进一步地，于步骤二中，采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)，编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线为0度经线，从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。进一步地，于步骤三中，采样点的编号为(i,0),(i,1)...,(i,Mi-1)，Mi＝round(M×Si/SN/2)，其中，round()表示四舍五入到整数，Si为Oi的面积，SN/2为面积最大的环形曲面ON/2的面积。进一步地，于步骤三中，编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线，从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。进一步地，该方法还包括：在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)。进一步地，该方法还包括：在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列，矩形区域内没有填满的部分用任意数据填充。为达到上述目的，本专利技术还提供一种全景视频等密度采样装置，包括：球面分割单元，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；最大面积环形曲面分割单元，根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；其他环形曲面分割单元，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；采样值计算单元，计算该最大面积环形曲面分割单元和该其他面积环形曲面分割单元得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。进一步地，Mi＝round(M×Si/SN/2)，其中，round()表示四舍五入到整数，Si为Oi的面积，SN/2为面积最大的环形曲面ON/2的面积。进一步地，该装置在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,M0-1),(1,0),(1,1),...,(1,M1-1),...,(N-1,0),(N-1,1),...,(N-1,MN-1-1)；在平面显示器上显示时，将所得的采样点数据排列在一个N行、M列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列，矩形区域内没有填满的部分用任意数据填充。与现有技术相比，本专利技术一种全景视频等密度采样方法及装置使采样点在球面上均匀分布，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数最少，采样后的数据量最小，而且，由于每个采样点对应的球面面积相同，每个点的失真对视频质量的影响相同。附图说明图1为现有技术球面采样方法中经纬图采样的示意图；图2为现有技术球面采样方法中六面体采样的示意图；图3为现有技术球面采样方法中棱锥采样的实验图；图4为本专利技术一种全景视频等密度采样方法的步骤本文档来自技高网...

【技术保护点】
一种全景视频等密度采样方法，包括如下步骤：步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N‑1；步骤二，根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；步骤三，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；步骤四，计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。

【技术特征摘要】
1.一种全景视频等密度采样方法，包括如下步骤：步骤一，根据空间清晰度要求，用等间隔的纬线将球面分成N个环形曲面，将该些环形曲面依次记为Oi，i＝0,1,...,N-1；步骤二，根据空间清晰度要求，将面积最大的环形曲面沿赤道方向均匀地分成M个区域，每个区域对应一个采样点；步骤三，将其他环形曲面按照面积的大小沿赤道方向均匀的分成Mi份，每一份的面积都相等，每一份对应一个采样点；步骤四，计算步骤二和步骤三得到的球面上的每一个区域内的光线的平均值，作为该区域对应的采样点的采样值。2.如权利要求1所述的一种全景视频等密度采样方法，其特征在于：于步骤一中，从球心的角度观察，Oi按照从上到下的顺序排列。3.如权利要求2所述的一种全景视频等密度采样方法，其特征在于：于步骤二中，采样点的编号为(N/2,0),(N/2,1)...,(N/2,M-1)，编号为(N/2,0)的采样点对应的区域和编号为(N/2,M-1)的采样点对应的区域是相邻的，它们的分割线为0度经线，从球心的角度观察，编号为(N/2,k)的采样点对应的区域在编号为(N/2,k+1)的采样点对应的区域的左侧。4.如权利要求3所述的一种全景视频等密度采样方法，其特征在于：于步骤三中，采样点的编号为(i,0),(i,1)...,(i,Mi-1)，Mi＝round(M×Si/SN/2)，其中，round()表示四舍五入到整数，Si为Oi的面积，SN/2为面积最大的环形曲面ON/2的面积。5.如权利要求4所述的一种全景视频等密度采样方法，其特征在于：于步骤三中，编号为(i,0)的采样点对应的区域和编号为(i,Mi-1)的采样点对应的区域是相邻的，它们的分割线是0度经线，从球心的角度观察，编号为(i,k)的采样点对应的区域在编号为(i,k+1)的采样点对应的区域的左侧。6.如权利要求5所述的一种全景视频等密度采样方法，其特征在于，该方法还包括：在存储时，首先记录N和M；然后将所得的所有采样点的数据按照以下...

【专利技术属性】
技术研发人员：陈大鹏，吴成家，顾晓，陈芳，陈智贤，林畅，赵海武，
申请(专利权)人：上海国茂数字技术有限公司，
类型：发明
国别省市：上海;31