一种基于空间和角度测量的光场图像质量评价方法技术

本发明专利技术提供了一种基于空间和角度测量的光场图像质量评价方法，该方法包括：步骤Step1：采用多频带局部二值模式算法从4维光场图像的子孔径图像阵列中提取光场图像的空间特征；步骤Step2：利用基于熵加权局部相位量化的特征提取算法提取4维光场图像的微透镜图像阵列的特征作为光场图像的角度特征；步骤Step3：将所述光场图像的空间特征和所述光场图像的角度特征进行特征融合得到一维特征向量；步骤Step4：对所述一维特征向量进行支持向量回归池化操作后得到光场图像的质量分数，本发明专利技术通过对子孔径图像和宏像素分别进行特征提取以有效地量化光场图像的空间质量和角度一致性，避免了光场图像的质量受空间质量和角度一致性制约的问题。度一致性制约的问题。度一致性制约的问题。

【技术实现步骤摘要】
一种基于空间和角度测量的光场图像质量评价方法


[0001]本专利技术涉及光场图像质量评价
，具体涉及到一种基于空间和角度测量的光场图像质量评价方法。

技术介绍

[0002]光场作为一种新的成像技术，它可以同时记录场景的空间和角度信息，因此光场提供了场景的单目、双目和深度信息，从而具有更为广泛地应用。然而，光场图像的高维特性给其压缩、重建、传输和可视化等处理带来了新的挑战。在对光场图像处理的过程，这些算法会不可避免地将失真引入到光场图像中。清晰的光场图像在引入失真后，会导致其图像质量退化。质量退化的光场图像会影响它的后续应用和用户体验。为了指导并优化光场图像处理算法，给用户提供更好的服务，对于光场图像质量进行客观和定量的评估具有重要研究意义。设计准确地光场图像质量评价方法来监控光场图像系统的视觉质量是至关重要。
[0003]在过去的几十年里，研究人员已经开发出相对成熟的方法用于准确地评估平面图像、立体图像和高动态范围图像。然而，这些方法仅根据特定图像(平面图像、立体图像和高动态图像)的特点而设计。光场图像质量主要受空间质量和角度一致性的制约，而这些方法并没有考虑到光场图像的特点，因此无法准确地估计光场图像的质量。
[0004]近年来，为了准确地评估光场图像的质量，Tian等人设计了一个多导数特征模型(MDFM)来度量原始光场图像和失真光场图像的结构相似性。Huang等人提出了一种基于角域曲线分析和场景信息统计的全参考光场图像质量评估方法。Shi等人提出了一种无参考光场图像质量评估(NR
‑
LFQA)方法，该方法结合光场独眼图像阵列的自然分布特征和极线平面图像的全局和局部特征来评估失真光场图像的质量。Zhou等人开发了一种张量定向无参考光场图像质量评估器(Tensor
‑
NLFQ)，采用Tucker分解从四个定向子孔径视图堆栈中生成主分量，利用主成分的全局自然度和局部频率特征量化失真光场图像的空间质量，并提出主成分与视图堆栈中每个子孔径图像之间的结构相似性分布来评估失真光场图像的角度一致性。
[0005]在不考虑彩色维度时，光场图像可以被视为4维函数，它具有多种表示方式，例如子孔径图像阵列、微透镜图像阵列以及极平面图像等表示形式。上述光场图像质量评价方法主要考虑了子孔径图像阵列和极平面图像阵列的表示形式。其中，子孔径图像阵列很难有效的表示光场图像的角度一致性。
[0006]综上所述，提供一种可有效地量化光场图像的空间质量和角度一致性，避免光场图像的质量受空间质量和角度一致性制约的基于空间和角度测量的光场图像质量评价方法，是本领域技术人员急需解决的问题。

技术实现思路

[0007]本方案针对上文提到的问题和需求，提出一种基于空间和角度测量的光场图像质
量评价方法，该方法是一种无参考光场图像质量评价方法，无参考方法不需要使用参考光场图像的信息。其在子孔径图像阵列中考虑视觉感知的多通道特性，利用多频带局部二值模式从子孔径图像阵列中每个子孔径图像上提取特征量化光场图像的空间质量。且为了能够捕获光场图像的角度一致性，采用加权局部相位量化算法在微透镜图像阵列中每个宏像素上提取特征来表示失真光场图像的角度一致性。最后，将两部分特征联合来表示光场图像的整体质量。具体由于采取了如下技术方案而能够解决上述技术问题。
[0008]为实现上述目的，本专利技术提供如下技术方案：一种基于空间和角度测量的光场图像质量评价方法，包括：获取待评价的4维光场图像，并采用多频带局部二值模式算法从4维光场图像的子孔径图像阵列中提取每个子孔径图像的特征信息，平均每个子孔径图像的特征作为光场图像的空间特征；
[0009]步骤Step2：利用基于熵加权局部相位量化的特征提取算法提取4维光场图像的微透镜图像阵列的特征作为光场图像的角度特征；
[0010]步骤Step3：将所述光场图像的空间特征和所述光场图像的角度特征进行特征融合得到一维特征向量；
[0011]步骤Step4：对所述一维特征向量进行支持向量回归池化操作后得到光场图像的质量分数。
[0012]进一步地，所述提取每个子孔径图像的特征信息的具体步骤包括：
[0013]首先将待评价的4维光场图像记为L，子孔径图像阵列记为 {I
u,v
}，微透镜图像阵列{M
s,t
}，其中，u和v表示光场图像的角度平面，s和t表示光场图像的空间平面；
[0014]利用高斯差分滤波器对子孔径图像阵列中的每个子孔径图像进行卷积，得到子孔径图像的高斯差分结果：
[0015][0016]其中，表示标准差为σ
i
的高斯函数，标准差被设置为σ
i
＝1.6
i
‑1以近似高斯拉普拉斯算子，则子孔径图像第L
I
级高斯差分分解为：
[0017][0018]将L
I
设置为4，获得4个不同频带的高斯差分图，分别为并利用Prewitt算子计算得到I
u,v
的梯度图将替换为得到最终的4个不同频带的特征图
[0019]然后对每类特征图进行旋转不变等价局部二值模式编码得到对应的10种编码模式的编码图；
[0020]最后对每个子孔径图像I
u,v
的4个不同频带的特征图分别采用旋转不变等价局部二值模式编码，统计各特征图每个模式出现的频率，分别得到特征向量对所有子孔径图像的特征向量进行平均计算得到向量
F
Gradient
，并将向量F
Gradient
串联得到一个40维的特征向量特征向量用于表述光场图像的空间质量。
[0021]更进一步地，所述对每类特征图进行旋转不变等价局部二值模式编码的具体步骤包括：
[0022]定义一个图像I，计算图像I中每个像素点的中心领域：
[0023][0024]其中，Ic和Ip表示I上的像素Ic和其周围领域像素的灰度值，P和R表示领域像素的个数和领域的半径，设置P＝8和R＝1，阈值函数z()被定义为：
[0025][0026]根据公式计算图像I的局部二值模式初始化编码ρ()为位转换的次数，表示为:
[0027][0028]I
P,R
是对I进行旋转不变等价局部二值模式编码，总共获得P+2个不同类型的模式，即包含了10种编码模式的编码图；
[0029]将编码图I
P,R
上相同模式的对应图像I中像素值的振幅累加，得到每个模式的频率h
lbp
，其中，表示编码图 I
P,R
在像素Ic上的编码模式，C表示图像I的总像素个数，j表示第j个编码模式，j＝0,1,
…
,P+1，函数g()表示如下：
[0030][0031]更进一步地，提取4维光场图像的微透镜图像阵列的特征信息的具体步骤包括：
[0032]先对光场图像L中的每个宏像素M
s,t
...

【技术保护点】

【技术特征摘要】
1.一种基于空间和角度测量的光场图像质量评价方法，其特征在于，包括以下步骤：步骤Step1：获取待评价的4维光场图像，并采用多频带局部二值模式算法从4维光场图像的子孔径图像阵列中提取每个子孔径图像的特征信息，平均每个子孔径图像的特征作为光场图像的空间特征；步骤Step2：利用基于熵加权局部相位量化的特征提取算法提取4维光场图像的微透镜图像阵列的特征作为光场图像的角度特征；步骤Step3：将所述光场图像的空间特征和所述光场图像的角度特征进行特征融合得到一维特征向量；步骤Step4：对所述一维特征向量进行支持向量回归池化操作后得到光场图像的质量分数。2.如权利要求1所述的基于空间和角度测量的光场图像质量评价方法，其特征在于，所述提取每个子孔径图像的特征信息的具体步骤包括：首先将待评价的4维光场图像记为L，子孔径图像阵列记为{I
u,v
}，微透镜图像阵列{M
s,t
}，其中，u和v表示光场图像的角度平面，s和t表示光场图像的空间平面；利用高斯差分滤波器对子孔径图像阵列中的每个子孔径图像进行卷积，得到子孔径图像的高斯差分结果：其中，表示标准差为σ
i
的高斯函数，标准差被设置为σ
i
＝1.6
i
‑1以近似高斯拉普拉斯算子，则子孔径图像第L
I
级高斯差分分解为：将L
I
设置为4，获得4个不同频带的高斯差分图，分别为并利用Prewitt算子计算得到I
u,v
的梯度图将替换为得到最终的4个不同频带的特征图然后对每类特征图进行旋转不变等价局部二值模式编码得到对应的10种编码模式的编码图；最后对每个子孔径图像I
u,v
的4个不同频带的特征图分别采用旋转不变等价局部二值模式编码，统计各特征图每个模式出现的频率，分别得到特征向量对所有子孔径图像的特征向量进行平均计算得到向量F
Gradient
，并将向量F
Gradient
串联得到一个40维的特征向量特征向量用于表述光场图像的空间质量。3.如权利要求2所述的基于空间和角度测量的光场图像质量评价方法，其特征在于，所
述对每类特征图进行旋转不变等价局部二值模式编码的具体步骤包括：定义一个图像I，计算图像I中每个像素点的中心领域：其中，Ic和Ip表示I上的像素Ic和其周围领域像素的灰度值，P和R表示领域像素的个数和领域的半径，设置P＝8和R＝1，阈值函数z()被定义为：根据公式计算图像I的局部二值模式初始化编码ρ()为位转换的次数，表示为:I
P,R
是对I进行旋转不变等价局部二值模式编码，总共获得P+2个不同类型的模式，即包含了10种编码模式的编码图；将编码图I
P,R
上相同模式的对应图像I中像素值的振幅累加，得到每个模式的频率h
lbp
，其中，表示编码图I
P,R
在像素Ic上的编码模式，C表示图像I的总像素个数，j表示第j个编码模式，j＝0,1,
…
,P+1，...

【专利技术属性】
技术研发人员：项建军，张笑钦，
申请(专利权)人：温州大学大数据与信息技术研究院，
类型：发明
国别省市：