基于混合框架的图像位深度扩展方法及装置制造方法及图纸

本发明专利技术公布了一种基于混合框架的图像位深度扩展方法及装置，通过融合传统去带效应算法和基于深度网络的学习算法，可较好的移除图像平坦区域的不自然效应，同时更逼真的恢复所缺失的比特位的数值信息；包括图像平坦区域的提取、基于局部自适应像素值调整的平坦区域位深度扩展和基于卷积神经网络的非平坦区域位深度扩展。本发明专利技术采用基于学习的方法，通过训练有效的深度网络来解决逼真的恢复缺失比特位问题；同时，针对平坦区域使用简单而鲁棒的局部自适应像素值调整的方法，有效抑制平坦区域的带效应、振铃效应、以及平坦噪声等不自然效应，提升平坦区域的主观视觉质量。

Image bit depth expansion method and device based on mixed frame

The invention discloses an extension method and device based on hybrid frame image bit depth, to take effect through the integration of traditional algorithm and learning algorithm of depth based on network, can not remove the natural effect of the image with good flat area, and more realistic than the lack of recovery numerical information bit; including image flat area the extraction, based on local adaptive pixel value adjustment flat area depth expansion and convolution neural network based on non flat area depth expansion. The invention adopts the learning based method, through the depth of network training and effective to solve the realistic problem to recover the missing bits; at the same time, the flat area using simple and robust local adaptive pixel value adjustment method, effectively inhibit the flat area with effect and ringing effects, and flat noise natural effect, enhance the subjective the visual quality of flat area.

【技术实现步骤摘要】
基于混合框架的图像位深度扩展方法及装置
本专利技术属于图像处理
，涉及图像位深度扩展与增强处理技术，尤其涉及一种基于混合框架的图像位深度扩展方法及装置，该混合框架融合了自适应像素值调整与基于卷积神经网络的重建技术。
技术介绍
图像位深度扩展(Bit-DepthExpansion)指的是通过低位深度的额图像恢复高位深度的图像。图像的位深度(Bit-Depth)即图像中每个像素的值的二进制位的个数，例如8位深(8-bits)的图像中像素的取值范围为0～255(28)。图像的位深度越高，所能体现的亮度变化即更为细腻。人眼所能感知的位深度在12～14bits，因而我们常常会感到通过8bits显示器看到的图像和眼睛所见到的画面有所差异，图像及图像显示的位深度不足是其中的一个重要原因。随着图像显示技术的不断发展，图像位深度扩展在图像显示、图像编辑、高清电视等领域有着潜在的广泛应用前景。现有最经典的图像位深度扩展算法包括：零扩展(ZeroPadding)方法，通过图像像素值按比特位进行位移来提升位深度，位移产生的新比特位全部补0；理想增益(IdealGain)方法，通过乘以位深度提升的因子来对低位深的像素值进行放大，以提升位深度；位复制(BitReplication)方法，与零扩展方法相似先进行比特位位移，但位移产生的新比特位通过复制之前的比特位来得到。但是这些经典方法会产生一些不自然效应，例如在平坦区域的带(Banding)效应、振铃(Ringing)效应、以及平坦区域噪声，等。近年来，一些聚焦于消除带效应的位深度扩展方法的提出，一定程度上降低了平坦区域的不自然效应。但是，目前的位深度扩展方法多为传统非学习方法，使用固定策略来填补缺失的比特位信息，而对缺失的比特位的真实数值的重建能力较弱，同时在去带效应的同时又常常导致非平坦区域高频细节的损失。现有方法难以实现通过低位深度图像恢复出无不自然效应、高频纹理细节有更高保真度的高位深度图像。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种基于混合框架的图像位深度扩展方法及装置，通过融合传统去带效应算法和基于深度网络的学习算法，可以较好的移除图像平坦区域的不自然效应，同时更逼真的恢复所缺失的比特位的数值信息。本专利技术提供的技术方案是：一种基于混合框架的图像位深度扩展方法，包括图像平坦区域的提取过程、基于局部自适应像素值调整的平坦区域位深度扩展过程、基于卷积神经网络的非平坦区域位深度扩展过程；具体包括如下步骤：第一步：图像平坦区域的提取，将图像划分为平坦区域和纹理(非平坦)区域；根据局部数值变化的程度提取图像的平坦区域，将图像划分为平坦区域和纹理(非平坦)区域，以便于后续对平坦区域和纹理(非平坦)区域进行分别处理；具体使用局部平均像素值差异信息来衡量局部数值变化的程度，计算方式如式1：其中，P为局部总的像素个数，gi(i＝1,2,…,P)为局部的每个像素，为局部平均像素值。完成计算每个局部像素值差异D之后，可以得到整副图像的平均局部像素值差异因为平坦区域的局部像素值变化较为缓慢，即差异D数值较小，所以通过引入系数λ，如果局部区域满足则该局部区域为平坦区域，反之则为非平坦的区域。该系数λ的取值范围为0.1～0.2。第二步：基于局部自适应像素值调整的平坦区域位深度扩展过程，消除低位深度图像平坦区域的不自然效应；为消除低位深度图像在平坦区域的不自然效应，首先定位与某邻居像素值差异为1的位变化像素，再依据该像素周围像素的位深度信息自适应的调整该像素的值，使得位变化更加自然，消除带效应等不自然效应；在图像的平坦区域，本专利技术使用基于局部自适应像素值调整的方法来消除低位深度图像中的平坦区域带效应和噪声等不自然效应。假定输入为位深度为l-bits的低位深度图像Y，位深度扩展后获取的高位深度图像X的位深度为h-bits。因为平坦区域的带效应存在于比特位数值差异为1的像素处，因而将满足|gi-gc|＝1的像素点gc称为等高线点(ContourPixel)，而gi为该点的邻居像素。本专利技术中使用与像素点相邻的8个像素作为其邻居像素。对于每个等高线点，可以通过式2、式3计算其提升因子σ+和抑制因子σ-：然后，可以通过式4得到该等高线点位深度提升后的像素值：其中，ZP(gc)为对像素值gc使用传统零扩展方法提高位深度，α为调整值参数，默认为0.125，可以通过调节该参数以提高或降低去噪程度。第三步：基于卷积神经网络的非平坦区域位深度扩展过程。该过程首先使用大量的低比特位图像和对应的高比特位图像训练一个放大残差学习的卷积神经网络，再通过使用该网络重建更加准确的缺失比特位数值信息。本专利技术使用放大残差学习的卷积神经网络来学习图像的缺失位深度重建。因为在位深度扩展中，所缺失和增加的比特位均为最末尾的比特位，因而缺失量的数值较小。为了有效训练网络以重建缺失的比特位信息，在深度网络训练的过程中，本专利技术使用低位深度图像Y作为输入，将对应的高位深度图像X与Y的残差(X-Y)经过因子β放大后的值β(X-Y)作为标定真实值。对于输入Y，该卷积神经网络F的重建结果定义为F(Y)，则最终重建的高位深度图像表示为式5：其中，X*为最终重建的高位深度图像。自适应像素值调整的方法可以更好的抑制平坦区域不自然效应，但会引入非平坦区域模糊，进一步损失高频细节信息；基于卷积神经网络的方法可以更准确的恢复缺失的比特位数值，但平坦区域的主观质量仍受到带效应和噪声的影响。通过对平坦区域和非平坦区域采用不同方法，在平坦区域使用基于自适应像素调整方法的结果，而在非平坦的非平坦区域使用卷积神经网络重建的结果，最终得到高位深度图像，由此达到综合上述两种方法各自优势的技术效果。本专利技术还提供一种基于混合框架的图像位深度扩展装置，如图1所示，它包括三个模块，一个图像平坦区域提取模块，一个基于局部自适应像素值调整的平坦区域位深度扩展模块，一个基于卷积神经网络的非平坦区域位深度扩展模块。图像平坦区域提取模块：对于位深度扩展问题，在平坦区域的主要目标是消除带效应等不自然效应，提高直观视觉质量，在非平坦区域的主要目标是尽可能的恢复高逼真的高频细节。因而，首先我们使用局部平均像素值差异信息来提取图像的平坦区域，将图像划分为平坦区域和纹理(非平坦)区域，然后分别处理。基于局部自适应像素值调整的平坦区域位深度扩展模块：为消除低位深度图像在平坦区域的不自然效应，首先定位与某邻居像素值差异为1的位变化像素，再依据该像素周围像素的位深度信息自适应的调整该像素的值，使得位变化更加自然，消除带效应等不自然效应。基于卷积神经网络的非平坦区域位深度扩展模块：图像位深度在降低的过程会丢失舍弃的比特位的数值信息，因而恢复这些比特位的数值是一个病态问题，而传统的比特位深度扩展的方法多基于简单策略，缺乏使用有效的基于学习的重建算法。我们首先使用大量的低比特位图像和对应的高比特位图像训练一个放大残差学习的卷积神经网络，再通过使用该网络重建更加准确的缺失比特位数值信息。与现有技术相比，本专利技术的有益效果是：目前的图像位深度扩展方法多基于传统的聚焦于如何消除平坦区域的带效应的方法，难以解决如何高逼真度的恢复缺失的比特位的技术问题。本专利技术提供一种基于混合框架的图像位深度扩展方法及其本文档来自技高网...

【技术保护点】
一种基于混合框架的图像位深度扩展方法，包括图像平坦区域的提取过程、基于局部自适应像素值调整的平坦区域位深度扩展过程、基于卷积神经网络的非平坦区域位深度扩展过程；包括如下步骤：第一步：提取图像的平坦区域，将图像划分为平坦区域和非平坦区域；第二步：对平坦区域，基于局部自适应像素值调整进行位深度扩展；包括：首先定位与邻居像素值有差异的位变化像素；再依据该像素周围像素的位深度信息，使用基于局部自适应像素值调整的方法，自适应调整该像素的值，由此消除低位深度图像平坦区域的不自然效应；第三步：对非平坦区域，基于卷积神经网络进行位深度扩展；包括：首先使用大量的低比特位图像和对应的高比特位图像训练一个放大残差学习的卷积神经网络；再通过使用训练好的卷积神经网络重建更加准确的缺失比特位数值信息；完成基于卷积神经网络的非平坦区域位深度扩展过程；通过上述步骤实现图像的位深度扩展。

【技术特征摘要】
1.一种基于混合框架的图像位深度扩展方法，包括图像平坦区域的提取过程、基于局部自适应像素值调整的平坦区域位深度扩展过程、基于卷积神经网络的非平坦区域位深度扩展过程；包括如下步骤：第一步：提取图像的平坦区域，将图像划分为平坦区域和非平坦区域；第二步：对平坦区域，基于局部自适应像素值调整进行位深度扩展；包括：首先定位与邻居像素值有差异的位变化像素；再依据该像素周围像素的位深度信息，使用基于局部自适应像素值调整的方法，自适应调整该像素的值，由此消除低位深度图像平坦区域的不自然效应；第三步：对非平坦区域，基于卷积神经网络进行位深度扩展；包括：首先使用大量的低比特位图像和对应的高比特位图像训练一个放大残差学习的卷积神经网络；再通过使用训练好的卷积神经网络重建更加准确的缺失比特位数值信息；完成基于卷积神经网络的非平坦区域位深度扩展过程；通过上述步骤实现图像的位深度扩展。2.如权利要求1所述基于混合框架的图像位深度扩展方法，其特征是，第一步中将图像划分为平坦区域和非平坦区域具体包括如下步骤；11)使用局部平均像素值差异信息来衡量局部数值变化的程度，计算方式如式1：其中，D为每个局部像素值差异；P为局部总的像素个数；gi(i＝1,2,…,P)为局部的每个像素；为局部平均像素值；12)根据每个局部像素值差异D得到整副图像的平均局部像素值差异13)平坦区域的局部像素值变化较为缓慢，即差异D数值较小；引入系数λ，如果局部区域满足则该局部区域为平坦区域，反之则为非平坦的区域。3.如权利要求1所述基于混合框架的图像位深度扩展方法，其特征是，第二步针对图像的平坦区域，使用基于局部自适应像素值调整的方法，以消除低位深度图像中的平坦区域的不自然效应；具体地，假定输入为位深度为l-bits的低位深度图像Y，位深度扩展后获取的高位深度图像X的位深度为h-bits；平坦区域的带效应存在于比特位数值差异为1的像素处，将满足|gi-gc|＝1的像素点gc称为等高线点，gi为该点的邻居像素；使用与像素点相邻的8个像素作为该像素点的邻居像素；对每个等高线点，通过式2、式3计算等...

【专利技术属性】
技术研发人员：赵洋，王荣刚，高文，王振宇，王文敏，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东,44