全景视频感兴趣区域的描述方法和编码方法技术

本发明专利技术公布了一种基于球面多层圆周的全景视频感兴趣区域的描述方法和编码方法，对全景视频多层感兴趣区域进行描述，首先设定为全景视频感兴趣区域的中心；再设定感兴趣区域的层数为N；通过半径或夹角获得当前层感兴趣区域的大小Rn；全部获取N层感兴趣区域的大小，将感兴趣区域的中心、层数、每一层的大小等信息写入码流的序列头。编码方法通过使用QP调整值对初始QP进行调整或进行滤波，再对图像进行编码。本发明专利技术技术方案可对全景视频多层感兴趣区域进行灵活的码率分配；在保证感兴趣区域具有较高的图像质量的同时，本发明专利技术技术方案能够大幅度降低编码和传输所需的码率。

【技术实现步骤摘要】

本专利技术涉及数字视频编解码
，尤其涉及一种基于球面多层圆周的全景视频感兴趣区域描述方法和编码方法。
技术介绍
目前，虚拟现实技术和相关应用正在快速发展。在虚拟现实技术中，全景视频是一个重要的组成部分。由于全景视频记录了360度视角的全部画面，具有极高的数据量，因此全景视频的压缩是虚拟现实应用中的一个关键技术。由于全景视频记录了360度视角的全部画面，而单一用户在观看的时候，同一时刻只能看到全景视频画面的一部分。而传统的编码方法是不加区分地对全景视频画面的各个不同区域进行质量相同或质量相似的编码，编码生成一路码流，并进行传输。因此，现有传统的编码传输方法存在很大的冗余。要去除该冗余，一个可行的办法是：对全景视频编码生成多个码流；不同码流侧重编码全景视频画面的不同区域，即感兴趣区域；单个码流，只对其感兴趣区域进行高质量高码率编码，其他区域使用低质量低码率编码。这样，单个码流的码率远低于传统编码方法的码流，同时在其感兴趣区域又可以保持同样的编码质量，大大降低了全景视频的传输代价。但是，现有的描述方法效率较低，无法适应上述针对全景视频的感兴趣区域进行有效描述及达到相应的编码要求，因此，目前尚缺乏合理的针对全景视频的感兴趣区域的描述及编码方法。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种基于球面多层圆周的全景视频感兴趣区域描述方法和编码方法，可对单个全景视频码流的感兴趣区域进行合理描述及高效的码率分配。本专利技术的核心构思是：感兴趣区域的描述信息写入单个码流的序列头，所描述的信息是当前单个码流的信息，而不同码流有各自的感兴趣区域描述。基于球面多层圆周，将多层中心相同的感兴趣区域定义为球半径为单位1的全景球面上中心相同、半径不同的多层圆周；所述圆周的中心和半径，按球面几何中的定义，均位于全景球面上；将中心的坐标、圆周层数N、每层圆周半径写入码流的序列头，由此表示多层中心相同的感兴趣区域。感兴趣区域中心即为全景球面上圆周的中心C，可以经纬度(Cx,Cy)表示所述中心的坐标；感兴趣区域大小即为全景球面上圆周在全景球面上的半径大小R(第n层感兴趣的半径大小记为Rn)；圆周在全景球面上的半径大小，其值等于该全景球面上的圆周半径的两端同球心连线的夹角的弧度，因此也可以用所述弧度对应的角度值表示。针对全景视频感兴趣区域的编码方法，一种是对位于不同层的感兴趣区域中的图像块使用不同的QP调整值(第n层QP调整值记为ΔQPn，且ΔQPn≤0)，并将QP调整值同通过传统方法得到的图像块QP初始值相加，得到图像块编码的实际QP；根据当前全景图的映射方式和图像块中心点A在图像上的坐标，计算得到A在所述全景球面上的经纬度(Ax,Ay),并根据经纬度(Ax,Ay)和感兴趣区域中心经纬度(Cx,Cy)计算得到A、C点的球面距离D；也可以用所述弧度对应的角度值表示球面距离D。另一种全景视频感兴趣区域编码方法，具体对每个点，首先采用上述方法计算在全景球面上当前点B与感兴趣区域中心点C的距离D’，根据距离D’确定B点的优先级P，并跟据D’和P选择滤波器或滤波强度，对当前点B进行低通滤波，最后对滤波后的整帧图像进行传统方式的编码。本专利技术提供的技术方案是：一种基于球面多层圆周的全景视频感兴趣区域的描述方法，基于全景球面上的多层圆周来表示全景视频感兴趣区域，设定圆周层数为N，将中心相同的多层感兴趣区域表示为球半径为1个单位的全景球面上中心相同、半径不同的多层(N层)圆周；将所述中心的坐标、圆周层数N、每层圆周半径写入码流的序列头，即完成对全景视频多层感兴趣区域的描述。上述方法基于全景球面上的多层圆周来表示全景视频多层感兴趣区域，包括如下步骤：A1)将全景球面的球半径定义为1个单位(如半径为1)，全景视频感兴趣区域定义为全景球面上的圆周包围的球面区域；A2)使用所述圆周的圆心所处全景球面的经纬度(Cx,Cy)来描述感兴趣区域的中心；使用所述圆周在全景球面上的半径来描述感兴趣区域的大小。本专利技术中，圆周指的是“全景球面上的圆周”，默认应该用球面几何中对圆的定义，这里提到的圆心或半径都应该按球面几何中定义的来理解。举个例子，地球上北纬60°的纬线圈，在球面几何中，这个纬线圈的中心就是北极点，半径就是北纬60°上的任何一个点沿着地球表面到北极点的连线。但是按普通的欧式几何，在三维空间里，北纬60°纬线圈的圆心是在地球内部的，半径也不在地球表面。所以本专利技术中提到圆周中心和半径时，都应是“在全景球面上”的中心或半径。在球面几何中，球面上的圆周是圆周上一点，沿着球面，到达球面上圆周中心最短的连线。这段连线对球来说，或者在三维空间中来看，就是一段弧线。因此，对所述球半径为单位1的全景球面，所述圆周在全景球面上的半径对应为一段弧线，半径长度为半径的两端同球心连线的夹角的弧度，因此也可以用所述弧度对应的角度来表示感兴趣区域的大小。可以使用中心相同，半径不同的N层圆周来描述不同优先级的N层感兴趣区域；其中，位于半径最小的圆周内部的区域为最高优先级；否则，位于半径第二小的圆周内部的区域为第二优先级，以此类推。本专利技术通过上述方法表示多层感兴趣区域。其中，第n层感兴趣区域的大小记为Rn。感兴趣区域的中心、层数、每一层的大小等信息写入码流的序列头。具体地，对全景视频多层感兴趣区域进行描述，首先将全景球面上的圆周的中心所处全景球面的经纬度(Cx,Cy)设定为全景视频感兴趣区域的中心；再设定感兴趣区域的层数为N；设定层数计数器初始值n＝1；通过上述方法(圆周在全景球面上的半径)获得当前层感兴趣区域的大小Rn；直到N层感兴趣区域的大小都获取，感兴趣区域的中心、层数、每一层的大小等信息写入码流的序列头，即完成对全景视频多层感兴趣区域的描述。基于上述描述方法对全景视频感兴趣区域进行的描述，可以采用不同的编码方法来降低非感兴趣区域的码率。本专利技术提供了基于球面多层圆周的全景视频感兴趣区域的编码方法，在本专利技术一实施例中，针对采用上述描述方法进行描述的多层感兴趣区域，通过调整每一层感兴趣区域的量化步长(QP)值进行编码，对全景视频多层感兴趣区域进行灵活的码率分配；包括如下步骤：B1)首先设定感兴趣区域中心点C的经纬度(Cx,Cy)、层数N、每一层的半径(Rn)；设定每一层对应的量化步长(QP)调整值，将第n层QP调整值记为ΔQPn，且ΔQPn≤0；B2)编码当前图像块时，根据当前图像块中心点A的坐标计算得到A点在全景球面的经纬度(Ax,Ay)，并计算全景球面上A、C两点的距离D；对所述球半径定义为单位1的全景球面，A、C的球面距离D为A、C两点同球心连线的夹角的弧度，因此也可以用所述弧度对应的角度来表示距离D；如果D小于R1，则该图像块的QP调整值为ΔQP1；否则，如果D大于RN,则该图像块的QP调整值为0；否则，如果D小于Rn且大于Rn-1(n>1)，则该图像块的QP调整值为ΔQPn；B3)对当前图像块进行传统的码率控制操作得到当前图像块的初始QP,例如，可直接使用当前图像指定的QP作为当前图像块的初始QP；B4)当前图像块的初始QP加QP调整值即为当前图像块的编码QP；B5)根据得到的当前图像块的编码QP，对当前块采用传统的编码方法流程进行编码；可采用目前通用的视频编本文档来自技高网...

【技术保护点】
一种全景视频感兴趣区域描述方法，所述方法基于全景球面上的多层圆周来表示全景视频感兴趣区域，设定圆周层数为N，将中心相同的多层感兴趣区域表示为球半径为1个单位的全景球面上的中心相同、半径不同的多层圆周包围的球面区域；将所述中心的坐标、圆周层数N和每层圆周在全景球面上的半径均写入码流的序列头，即完成对全景视频多层感兴趣区域的描述。

【技术特征摘要】
2016.10.21 CN 20161092124231.一种全景视频感兴趣区域描述方法，所述方法基于全景球面上的多层圆周来表示全景视频感兴趣区域，设定圆周层数为N，将中心相同的多层感兴趣区域表示为球半径为1个单位的全景球面上的中心相同、半径不同的多层圆周包围的球面区域；将所述中心的坐标、圆周层数N和每层圆周在全景球面上的半径均写入码流的序列头，即完成对全景视频多层感兴趣区域的描述。2.如权利要求1所述全景视频感兴趣区域描述方法，其特征是，所述方法具体包括如下步骤：A1)将全景球面上的圆周的中心所处全景球面的经纬度(Cx,Cy)设定为全景视频感兴趣区域的中心；A2)再设定感兴趣区域的层数为N；设定层数计数器初始值n＝1；A3)使用圆周在全景球面上的半径来表示感兴趣区域的大小；当前层为n层，当前层感兴趣区域的大小记作Rn；层数计数器取值加1；A4)循环执行步骤A3)，直到获取到所有N层感兴趣区域的大小；A5)将所述全景视频感兴趣区域的中心的坐标、层数N和每层圆周在全景球面上的半径都写入码流的序列头，即完成对全景视频多层感兴趣区域的描述。3.如权利要求2所述全景视频感兴趣区域描述方法，其特征是，步骤A3)将感兴趣区域的大小表示为全景球面上相应圆周的半径的两端同圆心连线的夹角的弧度。4.一种全景视频感兴趣区域编码方法，针对采用全景视频感兴趣区域描述方法进行描述得到的全景视频多层感兴趣区域，所述编码方法对位于不同层的感兴趣区域中的图像块使用不同的QP调整值(第n层QP调整值记为ΔQPn，且ΔQPn≤0)，并将所述QP调整值同通过传统方法得到的图像块QP初始值相加，得到图像块编码的实际QP；再根据当前图像块所述实际QP，对当前图像块采用现有编码方法的流程进行编码；所述全景视频感兴趣区域描述方法基于全景球面上的多层圆周来描述全景视频感兴趣区域，设定圆周层数为N，将中心相同的多层感兴趣区域表示为半径为1个单位的全景球面上中心相同、半径不同的多层圆周包围的球面区域；将所述中心的坐标、圆周层数N、每层圆周半径写入码流的序列头，即完成对全景视频多层感兴趣区域的描述。5.如权利要求4所述编码方法，其特征是，所述现有编码方法的流程是：对图像进行分块，再对每一个块进行编码；...

【专利技术属性】
技术研发人员：王振宇，王荣刚，王悦名，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44