一种基于压缩感知的自适应深度图像编码方法技术

本发明专利技术提供了一种基于压缩感知的自适应深度图像编码方法，包括以下过程：首先对深度图像进行隔点采样，采用0.5的下采样率；然后用canny算子提取出下采样后深度图像的边缘，根据不同的边缘信息对图像块进行自适应选取采样率，最后根据采样值以高概率重构出深度图像，再通过上采样得到和原来分辨率相同的深度图像。

【技术实现步骤摘要】
ー种基于压缩感知的自适应深度图像编码方法
[0001 ] 本专利技术涉及数字视频处理
，具体涉及ー种基于压缩感知的自适应深度图像编码方法。
技术介绍
随着多媒体技术的发展,三维视频(Three-DimensionalVideo, 3DV)已经成为图像与视频处理领域的热点研究方向。与传统的二维视频相比，三维视频使用户能够自由地选择观看的视点，获得更加真实的立体视觉体验。但是，三维视频的原始数据量巨大，数据存储空间和传输带宽的限制成为制约其发展的瓶颈。因此，简单而有效的压缩编码算法对于三维视频的发展至关重要。典型的三维视频数据格式包括多视点的颜色视频和与之--对应的深度图像序列。深度图像中每个像素点的灰度值代表的是场景中每个像素点与摄像机间的距离。在三维视频系统中它并不直接用于视频或图像的显示，而用于解码端虚拟视点合成。因此，深度图像的解码质量严重影响到解码端合成的视频质量。图像的边缘是图像分割所依赖的重要特征之一，也是纹理特征的信息源和形状特征的基础。与传统的二维图像不同，深度图像的边缘锐利，所在的块像素值不够紧凑，但其他区域均匀，具有更强的稀疏性。Xie和Sarkis等在文献中针对整幅图像做测试，用远远少于图像原始数据量的測量值重构原始图像，但是随着图像分辨率的増大，重构算法的复杂程度及运算量会以指数的速度增长，造成编解码速率下降。Gan在文献中提出基于图像块的压缩感知方法，先对图像进行分块，然后对每个块采用同一个块测量矩阵，这样不但可以减少测量矩阵的存储量还有效解决了高维图像的采集问题。Zhang在文献中提出基于局部DCT变换系数的图像重建方法，首先将二维图像降维成ー维的数据，再对数据做DCT变换，得到ー维的DCT系数，但它只简单截取前M个ー维DCT系数作为测量数据，·降低了图像的重构质量。针对同一幅图像不同采样率下重构出的图像质量是不同的。随着采样率的提高，重构图像与原始图像之间的差异逐渐减小，即PSNR值逐渐上升，但是采样率较高时，图像的压缩效率降低，编码的码率也会较高，重构算法的复杂程度也随之提升。因此需要在PSNR值与图像的编码码率之间做ー个很好的折中。另ー方面，深度图像中不同图像块的稀疏程度是不一样的，同时不同图像块在重构时的重要程度也是不同的，若采用传统方法对整幅图像中的所有块选取同一个采样率，不但会造成采样数据的浪费也会对重构图像的整体质量造成一定的影响，比如出现块效应等等。
技术实现思路
本专利技术针对深度图像的边缘统计特征，提出了ー种基于压缩感知的自适应深度图像编码方法。该方法首先提取出深度图像的边缘，然后根据边缘在各个图像块中所占的比例，自适应地选取不同的采样率进行压缩，从而能够更好的重构深度图像。为了实现上述目的，本专利技术采用的技术方案为:—种基于压缩感知的自适应深度图像编码方法，包括:(I)首先对深度图像进行隔点采样，采用0.5的下采样率；(2)然后用canny算子提取出下采样后深度图像的边缘，根据不同的边缘信息为图像块自适应地选取采样率，(3)最后根据采样值以高概率重构出深度图像，再通过上采样得到和原来分辨率相同的深度图像。本专利技术的基于深度边缘应用压缩感知的知识进行自适应编解码的具体算法过程，如图2所示,包括:(I)首先用经典的canny算子提取出图像的边缘信息；(2)然后将图像分成m个nXn的块，n取16 ;m的取值与图像的分辨率有关，例如，如果图像为512X512分辨率，则m= (512X512)/ (nXn)。对于本方法中，我们并不限定图像的分辨率。通用的图像分辨率即可。(3)接下来令i = 1，从第一个图像块开始做DCT变换，统计边缘在各个图像块中所占的比例W，根据W与0、5%、10%,20%,30%的关系选择采样率，直到i = m完成整幅图像的采样；(4)根据图像块中边缘信息的统计比例，用不同的颜色将其标记出来，具体的，若边缘点占的比例大于等于30%，该块用白色方格标出，选择P !的压缩采样率；若边缘点占的比例大于等于20%小于30%，该块用红色方格标出，选择P2的压缩采样率；边缘点占的比例大于等于10%小于20%，该块用蓝色方格标出，选择P3的压缩采样率；边缘点占的比例大于等于5%小于10%，该块用緑色方格标出，选择P 4的压缩采样率；若该块含有图像边缘，但边缘点所占比例小于5%，该块用黄色方格标出，选择P 5的压缩采样率；不含图像边缘的图像块用黑色标出，并选择P6的压缩采样率，且 ( 5 )得到各个图像块的采样率之后，就可以基于压缩感知进行深度图像的编解码。假设X ERtl是ー个离散信号，s是其在某个正交基屯下的系数，则1 =ぎ，如果s中只有k个系数为非零元素，则称X在某个正交基W下为k稀疏，根据压缩感知理论，不需要像传统编码器那样去编码k个非零系数，压缩感知编码器的流程如下:y = Ox(I)这里①是pXq矩阵，y G Rp。因为p < q，所以原始信号X被压缩了。在图像重构中，s能够通过解下面的优化问题得到重构，min || Sll1,s.t.y = O ^ts (2)该式表示的是非凸优化问题，为典型的NP-hard问题，在求解过程中需穷举s中非零值的所有种排列可能，计算的复杂度较高，鉴于此，Canc^s和Donoho提出了用I1范数代替Itl范数，把⑵式转化成一个凸优化问题，通过线性规划加以求解，即多=minIML s.t.&s = y(3)这种方法也叫做基追踪方法，如果考虑重构产生的误差，上述问题可以进ー步转化为如(4)式所示的最小I1范数的问题，通过二阶圆锥规划来求解:min Ilsll1 s.t.|| ? s-y || 2 < e (4)求解得到了信号X在P下的最优稀疏解め之后，重构的X即可表示为:X = Cps)本专利技术的编码方法中，将图像分成16X16的块，每个块可以按照行扫描排列为ー个qXl的列向量X,这时q = 256,矩阵①的姆一行为对称独立Bernoulli分布的取样点，即每行中的元素为±1，其中+1和-1的概率为1/2。需要注意的是，对于所有的块使用同一个矩阵の，从而保证了计算的低复杂度。根据公式(1)，可以得到測量值为y，是ー个pXl的列向量。然后y经过算术编码后在信道上传输。本专利技术在图像重构中，使用DCT变换基作为正交基W，具体的恢复算法使用了通用的log-barrier算法来求解公式(2),相关的matIab代码见文献。本专利技术的深度图像编码方法采用的所述自适应选取采样率的方法，包括:对深度图像中边缘所占比例较大的图像块选取较高的采样率，边缘所占比例较小的图像块选取较低的采样率，确保整体图像在较低的平均采样率下，重构出具有较高主客观质量的深度图像。其中，本专利技术结合虚拟视点合成技术，设计了针对“顔色+深度”格式的三维图像编解码方案，如图1所示，应用多路相机的颜色图像和对应的深度图像来合成虚拟视点的颜色图像，对于多路相机的颜色图像，采用最新的国际视频编码标准ffiVC (HighEfficiency Video Coding)进行编解码；对于多路相机的深度图像,采用本专利技术的基于压缩感知的自适应编码方法，以 此评价深度图像的编解码算法性能。有益效果(I)本专利技术提出了基于深度图像边缘自适应选取采样率本文档来自技高网...

【技术保护点】
一种基于压缩感知的自适应深度图像编码方法，其特征在于，包括以下过程：（1）首先对深度图像进行隔点采样，采用0.5的下采样率；（2）然后用canny算子提取出下采样后深度图像的边缘，根据不同的边缘信息对图像块进行自适应选取采样率；（3）最后根据采样值以高概率重构出深度图像，再通过上采样得到和原来分辨率相同的深度图像。

【技术特征摘要】
1.ー种基于压缩感知的自适应深度图像编码方法，其特征在于，包括以下过程: (1)首先对深度图像进行隔点采样，采用0.5的下采样率； (2)然后用canny算子提取出下采样后深度图像的边缘，根据不同的边缘信息对图像块进行自适应选取采样率； (3)最后根据采样值以高概率重构出深度图像，再通过上采样得到和原来分辨率相同的深度图像。2.根据权利要求1所述的基于压缩感知的自适应深度图像编码方法，其特征在于，所述算法过程进一歩包括: (1)首先用经典的canny算子提取出图像的边缘信息； (2)然后将图像分成nXn的块，n取16; (3)接下来令i= 1，从第一个图像块开始做DCT变换，统计边缘在各个图像块中所占的比例W，根据W与0、5%、10%,20%,30%的关系选择采样率，直到i = m完成整幅图像的采样； (4)根据图像块中边缘信息的统计比例，用不同的颜色将其标记出来，若边缘点占的比例大于等于30%，该块用白色方格标出，选择P:的压缩采样率；若边缘点占的比例大于等于20%，小于30%，该块用红色方格标出，选择P2的压缩采样率；边缘点占的比例大于等于.10%，小于20%，该块用蓝色方格标出，选择P3的压缩采样率；边缘点占的比例大于等于5%，小于10%，该块...

【专利技术属性】
技术研发人员：白慧慧，高静，刘美琴，林春雨，赵耀，
申请(专利权)人：北京交通大学长三角研究院，
类型：发明
国别省市：