基于丰富特征的光场图像质量评价方法技术

本发明专利技术公开了一种基于丰富特征的光场图像质量评价方法。本发明专利技术步骤如下：1：将数据集随机拆分成训练集和2测试集。对其中的光场图像通过固定表示角度信息的两个维度，转化成9

【技术实现步骤摘要】
基于丰富特征的光场图像质量评价方法


[0001]本专利技术涉及一种基于丰富特征的光场图像质量评价方法，具体是一种结合色彩信息、纹理信息、角度信息特征来模拟人类视觉系统对光场图像进行质量评价的方法。

技术介绍

[0002]在人类感官与多媒体产生交互的过程中，视觉信息大概占了75％。相比文字和言语，图像的这一表现形式更加直观，生动且易于理解。随着人们对于视觉感知上的服务增长和更多的感知需求比如对场景的沉浸式体验，我们传统二维成像这种只记录光线经过二维积分后的辐射强度已然无法满足大众需求。而光场图像可以通过记录光场在自由空间中的强度和方向信息，捕捉真实场景中的丰富信息，有大景深，宽视角的特性。在大多数光场图像处理的任务中，比如获取，编码，压缩，存储，传输以及渲染会难以避免地收到各种失真效应，人们的视觉体验会有不良的影响。因此，我们可以通过模拟人类视觉系统(HVS)，从对环境的空间，颜色，结构感知来建立光场图像质量评价体系。
[0003]因为光场图像(LFI)的发展历史并不长，所以现有的光场图像质量评价的模型还有待完善。首先，现有的光场图像大多从高维特征出发，没有考虑到人类视觉系统对多层信息的感知；其次在大多光场图像质量评价模型中，都是将图像转化为灰度图像以后进行质量评价，没有考虑到图像色度和亮度的信息；最后，光场图像相比传统二维图像具有更多空间，角度，纹理等信息，需要结合更多特征去对光场图像做质量评价。针对这些问题，本专利技术拟提出丰富特征光场图像质量评价模型，通过提取转换色彩空间提取亮度和色度信息，生成伪视频来获取子孔径图像(SAI)的结构信息，同时也提供了运动感知和视差信息，最后再从极平面图像(EPI)中获取纹理和角度一致性的变化特性，综合上述所有丰富特征来模拟人类视觉系统，对光场图像质量更精确，更科学地进行评价。

技术实现思路

[0004]针对上述所提出的背景与问题，本专利技术提出了一种基于丰富特征的光场图像质量评价方法，模拟人类视觉系统，从色彩特征、纹理特征和角度特征来对光场图像进行质量评价。
[0005]本专利技术解决其的技术方案所采用的技术方案包括如下步骤：
[0006]步骤1：将Win5
‑
LID数据集随机拆分成80％的训练集和20％的测试集。对其中的光场图像，通过固定表示角度信息的两个维度，将光场图像转化成9
×
9的子孔径图像阵列。
[0007]步骤2：将每一张子孔径图像从RGB空间转换到HSV坐标上，提取亮度、色调和饱和度作为颜色信息特征。
[0008]步骤3：将9
×
9子孔径图像阵列以行为组分成9组，按组进行张量分解，得到每组伪视频的第一个最主要的切片。将伪视频序列分成两部分，进行剪切波变换，提取出视差结构特征。
[0009]步骤4：通过固定光场图像坐标得到极平面图像，利用Sobel算子处理水平极平面
[0028]其中，(F
(3)
)
‑1为F
(3)
的逆矩阵，C1表示ξ的第1个切片，里面包含了切片ξ的80％的能量，并且能量是随切片序号增大而逐渐减少的。
[0029]3.2对每一组伪视频序列提取出来的第一切片记为C
m1
，其中m＝1，2...，M，做剪切波变换，剪切波计算公式如下：
[0030][0031]其中，D
a
是剪切矩阵，A
a
是各向异性膨胀矩阵，a表示尺度，s表示方向，t表示位置参数。
[0032][0033]每一个尺度包含6个不同方向的剪切系数，拼接成视差结构特征S。
[0034]步骤4.通过固定光场图像坐标得到极平面图像，利用Sobel算子处理水平极平面图像和垂直极平面图像，然后分别对其水平梯度和垂直梯度进行计算，得到图像角度纹理特征。
[0035]通过固定光场图像的u，s坐标得到垂直极平面图像为固定v，t坐标得到水平极平面图像为然后经过Sobel算子过滤对垂直极平面图像求梯度得到梯度计算过程如下：
[0036][0037][0038]其中，
[0039][0040]最后得到梯度特征同理对水平极平面图像做同上处理。最终对所得到的水平极平面图像和垂直极平面图像的特征做均值处理和熵值得到图像角度纹理特征[G
mean
，G
entropy
]。
[0041]步骤5：将所有特征进行标准化，后拼接融合，利用基于遗传算法的支持向量回归方法训练模型得到光场图像预测分数，具体实现如下：
[0042]5‑
1.将得到的颜色信息特征R、视差结构特征S、图像角度纹理特征G归一标准化以后，拼接到一起，得到样本训练集合X＝{(x1，y1)，(x2，y2)，...，(x
n
，y
n
)}，其中x
i
表示第i个特征，y
i
表示第i个标签，n为训练样本数目。
[0043]5‑
2.设置初始种群大小为20，最大遗传代数100，单点交叉概率为0.7。
[0044]5‑
3.采用实数编码的方法，随机初始化SVR模型参数对(c，g)，进行二进制编码。c是惩罚因子，g是径向基函数。
[0045]5‑
4.将初始化的参数对代入SVR，用训练集进行训练，用交叉验证作为参数优化准则，将测试样本的标签和SVR得到的预测值的均方误差作为适应度值函数，值越小，表明适应度越高，遗传到下一代的概率越大。公式如下所示：
[0046][0047]5‑
5.按照轮盘赌规则等选择方法选择N1个个体，计算群体的平均适应度值f
ave
和最大适应度值f
max
。
[0048]5‑
6.将群体个体随机配对，对每对个体，计算自适应交叉概率p
c
和变异概率p
m
，以p
c
和p
m
为概率分别进行交叉操作及变异操作。
[0049]5‑
7.计算由交叉和变异生成的新个体的适应度，新个体与父代一起构成新一代群体。
[0050]5‑
8.若满足终止条件，得到最优参数对(c，g)代入SVR模型进行预测。否则转回步骤(4)。
[0051]5‑
9通过GA
‑
SVR模型预测得到光场图像质量评分，其中图2是GA
‑
SVR模型具体流程图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于丰富特征的光场图像质量评价方法，其特征在于包括如下步骤：步骤1：将Win5
‑
LID数据集随机拆分成80％的训练集和20％的测试集；对其中的光场图像，通过固定表示角度信息的两个维度，将光场图像转化成9
×
9的子孔径图像阵列；步骤2：将每一张子孔径图像从RGB空间转换到HSV坐标上，提取亮度、色调和饱和度作为颜色信息特征；步骤3：将9
×
9子孔径图像阵列以行为组分成9组，按组进行张量分解，得到每组伪视频的第一个最主要的切片；将伪视频序列分成两部分，进行剪切波变换，提取出视差结构特征；步骤4：通过固定光场图像坐标得到极平面图像，利用Sobel算子处理水平极平面图像和垂直极平面图像，然后分别对其水平梯度和垂直梯度进行计算，得到图像角度纹理特征；步骤5：将颜色信息特征、视差结构特征、图像角度纹理特征进行标准化，后拼接融合，利用基于遗传算法的支持向量模型得到光场图像预测分数。2.根据权利要求1所述的基于丰富特征的光场图像质量评价方法，其特征在于步骤1将Win5
‑
LID数据集随机拆分成80％的训练集和20％的测试集；设表示一个场景的一张光场图像的维度为(u,v,s,t)，其中(u,v)为角坐标，通过固定(u,v)可分成9
×
9的子孔径图像阵列。3.根据权利要求1所述的基于丰富特征的光场图像质量评价方法，其特征在于步骤2具体实现如下：将每一张子孔径图像的亮度、色度和饱和度矩阵表示为T
x
，其中x表示为亮度、色度和饱和度；最终光场图像的色度、亮度和饱和度矩阵可以由以下公式计算得到：其中M、N表示一张光场图像上每个水平和垂直方向上子孔径图像的数量，其中M＝N＝9，最终得到所需的颜色信息特征[R1,R2,R3]。4.根据权利要求2或3所述的基于丰富特征的光场图像质量评价方法，其特征在于步骤3提取视差结构特征具体实现如下：3.1对光场图像分出来的9
×
9子孔径图像进行伪视频分组，每一行记为一组，记...

【专利技术属性】
技术研发人员：张桦，胡馨文，王慕薇，沈卓南，罗逸章，吴以凡，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：