一种基于HEVC平台对深度图像和彩色图像的编码压缩方法技术

本发明专利技术提出了一种基于HEVC平台对深度图像和彩色图像的编码压缩方法，本发明专利技术涉及图像压缩领域。本方法将输入的深度图像和彩色图像进行分割，利用彩色图像的边缘特性协助深度图像的分割；然后，彩色图像进行基于目标掩膜图像的编码，而深度图像进入预处理过程后在进行编码，分别输出彩色图像视屏码流、掩膜位流、深度图像视屏位流。特点是：1、对彩色和深度图像压缩在设计上实现了一致，即深度和彩色图像可用同一个编码器进行压缩。2、在深度图像压缩中，不同的目标平面独立编码，大大提高了在目标边界处的编码效率。3、在HEVC平台上，加入对掩膜图像编码的反映射模块。4对深度图像和彩色图像的编码中加入预测填充模块。

Coding compression method for depth image and color image based on HEVC platform

The invention provides a coding and compressing method for depth image and color image based on HEVC platform. This method will enter the depth image and color image segmentation, edge based color image characteristic assist depth image segmentation; then, the color image target mask image encoding based on depth image into preprocessing after encoding, respectively output color image screen stream, mask bit stream, the depth of the screen image bit stream. Features: 1, color and depth image compression in the design to achieve a consistent, that is, depth and color images can be compressed with the same encoder. 2, in the depth image compression, different target plane independent coding, greatly improve the coding efficiency at the target boundary. 3, on the HEVC platform, to add the mask image coding reflection module. 4 prediction module is added to the coding of depth image and color image.

【技术实现步骤摘要】
所属领域本专利技术涉及计算机信息
，具体地涉及图像压缩领域。
技术介绍
近年来，随着科技发展，人类不仅仅满足于靠输入指令来实现人机互动，更加希望通过电脑自动识别图像信息以实现指令的传输，而深度图像和彩色图像的获取为此带来了希望和前景，例如人机交互中的行为检测、目标识别、跟踪、前景背景分割和三维重建等。存储或传输如此大量的深度和彩色数据需要高效的压缩方案来减少数据量。大部分的压缩标准针对彩色图像视频编码设计。他们对深度图像的压缩效率并不高，在设计时并没有充分考虑深度图像的结构特性。我们观察知道，深度图像常常在物体内具有光滑性而在物体边界处具有急剧的变化。传统的二维小波或者二维DT变换对于这样的高频内容编码效率不高。有研究者提出了基于边缘的预测和变换方法来避免跨边缘的操作，同时显式地编码用于标记边缘位置的掩膜(mask)信息、形状自适应小波被用于压缩深度和彩色图像，其共同的用于标记边缘信息的掩膜图像显式地被编码。为了避免引入大量高频系数，小波滤波器作用的区域不跨越图像的边缘(edges)。还有学者提出了使用线性模型来逼近深度图像平面的描述性方法。
技术实现思路
针对上述不足之处，本专利技术提出一个基于目标的压缩方案，同时适用于深度图像和彩色图像目标的压缩编码系统，该系统是基于高效视频压缩标准HEVC平台的。本专利技术的目的是：提升图像的压缩效率和传输速度。本专利技术为实现上述目的所采取的技术方案是：一种基于HEVC平台对深度图像和彩色图像的编码压缩方法。实现过程如下：首先，将输入的深度图像和彩色图像进行分割，利用彩色图像的边缘特性协助深度图像的分割；然后，彩色图像进行基于目标掩膜图像的编码，而深度图像进入预处理过程后在进行编码，分别输出彩色图像视屏码流、掩膜位流、深度图像视屏位流。本专利技术的有益效果是：1、对彩色和深度图像压缩在设计上实现了一致，即深度和彩色图像可用同一个编码器进行压缩。2、在深度图像压缩中，不同的目标平面独立编码，大大提高了在目标边界处的编码效率。3、使用HEVC作为开发平台，HEVC在彩色图像视频压缩中有着较高的编码效率。附图说明图1：该方法的总体流程图图2：深度图像获取示意图图3：深度图像优化示意图具体实施方式本专利技术充分研究了深度图像中物体边界处有急剧的变化而物体内或背景区域比较光滑的这一特性，在HEVC平台上设计了基于目标的编码和压缩方案，包括目标的编码、分割、预处理等过程，该方法同时适用于深度图像和彩色图像。一种基于HEVC平台对深度图像和彩色图像的编码压缩方法，该方法的实施步骤如下：步骤1：对输入的彩色图像进行图像分割；步骤2：分解出目标前景、背景、掩膜；步骤3：在编码前对深度图像进行优化处理；步骤4：掩膜编码步骤5：深度图像和彩色图像编码步骤6：图像解码以下，结合图1到图3对本专利技术进行详细说明。一、该方法的系统框架如图1所示，首先需要在输入的深度和彩色图像上进行自动分割以获得不同的目标平面，即前景和背景。掩膜(Mask)图像用来表示分割结果。根据掩膜图像，我们对深度图像进行预处理以便使其目标边界和彩色图像的目标边界一致。掩膜图像由设计的掩膜编码器进行无损编码。深度和彩色图像分别由提出的目标基的编码器进行压缩，该编码器是基于HEVC设计的。为了减少编码掩膜图像的比特消耗，让深度和彩色图像共用掩膜图像。但是这需要目标平面的分割情况在彩色和深度图像上保持一致。作为对同一场景在相同时刻的获取，深度和彩色图像有着极高的相关性。对于深度数据的获取，离摄像头太近或太远的场景可能会捕获不到，从而出现数据缺失，这会在图像中呈现出黑色的洞。当物体表面反射性太强时或者出现遮挡时，也会出现由于数据缺失带来的黑洞。另外，由于计算深度的散斑匹配算法本身的局限性，物体边界处获得的深度值经常不太可靠。这也导致了深度图像中物体边界和彩色图像中的物体边界并不十分对齐。为了获得对齐的深度和彩色序列数据，我们将根据彩色图像的信息对深度图像进行预处理。二、图像分割本方法通过跨边界像素亮度差(用于表示区域间像素亮度差别)和区域内邻域像素亮度差这两个参量来对图像的区域进行描述，两个区域间像素亮度差别大，则这两个区域很可能属于不同的区域，可以被分隔开，深度图像在目标边界处常有很大的深度值差别，而在目标内的深度值变化缓慢。这也使得图基的分割算法适合于对深度图像进行分割。分割过程如下：首先用双边滤波(bilateral)对深度图像降噪，然后再使用下列算法进行分割：图像G可以看成是由顶点集合(v)边缘集(E)组成的，所以可以描述为：G＝(V,E)连接一对顶点的边(vi，vj)∈E具有权重w(vi，vj)，初始化时候，每一个像素点都是一个顶点，选择边权之和最小的点连接，形成最小生成树(MST)，定义int(C)＝max(e)，e∈(MST，E)为类内差异，则区域间的类内差异为Diff(Ci，Cj)，Diff(Ci，Cj)＝minw(vi，vj)，vi∈C2，vj∈C2，(vi，vj)∈E判断两个点是否合并：Diff(C1，C2)≤min(int(Ci))&&Diff(C1，C2)≤min(int(Cj))int(Ci)，int(Cj)分别是Ci，Cj所能忍受的最大差异，当二者都能忍受当前差异时候，两个点合并。图像分割的实现方法如下：步骤1.1:计算每一个像素点与其8邻域的不相似度。步骤1.2:将边按照不相似度non-decreasing排列(从小到大)排序得到e1,e2,···,eN。步骤1.3:选择e1，步骤1.4:对当前选择的边en进行合并判断。设其所连接的顶点为(vi,vj)。如果满足合并条件：(1)vi,vj不属于同一个区域Id(vi)≠ld(vj)；(2)不相似度不大于二者内部的不相似度。Wi，j≤Mint(Ci,Cj)则执行步骤1.4。否则执行下一步骤1.5。步骤1.5:更新阈值以及类标号。更新类标号：将Id(vi),ld(vj)的类标号统一为Id(vi)的标号。更新该类的不相似度阈值为：步骤1.6:如果n≤N，则按照排好的顺序，选择下一条边执行步骤1.4，否则结束。图像经过分割后，将具有相似平均深度值的区域合并使之属于相同的目标平面，前景和背景区域被成功分割出来。将每个前景块外围的几个像素作为掩膜图像处理，掩膜图像标记区分了前景和背景区域。其中，白色区域(像素值255)为前景区域而黑色区域(像素值0)为背景区域。三、深度图像的优化处理如图2所示，由于场景中物体的距离和位置的不同，相对于发射端的图像散斑，接收端获得的散斑在不同深度区域下会得到不同偏移量。局域散斑是对位置的编码，以便对发射的图像和接受的图像的各个局域位置进行一一对应。结合图2，假设投影器和接收器的焦长均为f，两者的距离为s，场景中某一物体的某位置到投影器和接收器平面的距离为h，即深度为h。局域散斑经物体反射后，相对于在发射图像中的位置，在接收图像上投影到的位置产生了偏移量d。根据三角几何关系：即，由接收图像中获得的偏移量d可计算实际场景和投影及接收平面的距离h：由于可测量的像素的偏移量是有限的，映射得到的深度取值属于一个有限的离散数值集合。由于接收器的像素是均匀排布的，在视差图上的偏移量的精度也是均匀的，即偏移量的精度不依赖于偏移量d的值大小。但本文档来自技高网...

【技术保护点】
一种基于HEVC平台对深度图像和彩色图像的编码压缩方法，该方法涉及计算机信息技术领域，具体地涉及图像压缩领域，其特征是：该方法实现步骤如下：步骤1：对输入的彩色图像进行图像分割；步骤2：分解出目标前景、背景、掩膜；步骤3：在编码前对深度图像进行优化处理；步骤4：掩膜图像编码；步骤5：深度图像和彩色图像编码；步骤6：图像解码。

【技术特征摘要】
1.一种基于HEVC平台对深度图像和彩色图像的编码压缩方法，该方法涉及计算机信息技术领域，具体地涉及图像压缩领域，其特征是：该方法实现步骤如下：步骤1：对输入的彩色图像进行图像分割；步骤2：分解出目标前景、背景、掩膜；步骤3：在编码前对深度图像进行优化处理；步骤4：掩膜图像编码；步骤5：深度图像和彩色图像编码；步骤6：图像解码。2.根据权利要求1所述的一种基于HEVC平台对深度图像和彩色图像的编码压缩方法，其特征是：步骤1，图像的分割方法为：设图像G可以看成是由顶点集合（v）边缘集(E)组成的，所以可以描述为：G=(V,E)连接一对顶点的边具有权重，初始化时候，每一个像素点都是一个顶点，选择边权之和最小的点连接，形成最小生成树（MST），定义为类内差异，则区域间的类内差异为，，，，判断两个点是否合并：分别是所能忍受的最大差异，当二者都能忍受当前差异时候，两个点合并；图像分割的实现方法如下：步骤1.1:计算每一个像素点与其8邻域的不相似度；步骤1.2:将边按照不相似度non-decreasing排列（从小到大）排序得到；步骤1.3:选择，步骤1.4:对当前选择的边进行合并判断，设其所连接的顶点为，如果满足合并条件：（1）不属于同一个区域；（2）不相似度不大于二者内部的不相似度，则执行步骤1.4,否则执行下一步骤1.5;步骤1.5:更新阈值以及类标号；更新类标号：将的类标号统一为的标号；更新该类的不相似度阈值为：；步骤1.6:如果，则按照排好的顺序，选择下一条边执行步骤1.4，否则结束。3.根据权利要求1所述的一种基于HEVC...

【专利技术属性】
技术研发人员：范勇，胡成华，
申请(专利权)人：四川用联信息技术有限公司，
类型：发明
国别省市：四川;51