一种基于机器学习的立体图像视觉舒适度评价方法技术

本发明专利技术公开了一种基于机器学习的立体图像视觉舒适度评价方法，其首先通过右视点图像的显著图和右视差图像提取出立体图像的视觉重要区域掩膜，然后利用视觉重要区域掩膜提取出用于反映视差幅度特征、视差梯度特征的特征矢量及用于反映空间频率特征的特征矢量，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的视觉舒适度评价预测值，优点是获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，从而有效地提高了客观评价情况与主观感知的相关性。

【技术实现步骤摘要】

【技术保护点】
一种基于机器学习的立体图像视觉舒适度评价方法，其特征在于包括以下步骤：①将待评价的立体图像的左视点图像记为{IL(x,y)}，将待评价的立体图像的右视点图像记为{IR(x,y)}，将待评价的立体图像的右视差图像记为{dR(x,y)}，其中，此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度，H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值；②提取出{IR(x,y)}的显著图；然后根据{IR(x,y)}的显著图和{dR(x,y)}，获取{IR(x,y)}的视觉显著图；再将{IR(x,y)}的视觉显著图划分为视觉重要区域和非视觉重要区域；最后根据{IR(x,y)}的视觉显著图的视觉重要区域和非视觉重要区域，获取待评价的立体图像的视觉重要区域掩膜，记为{M(x,y)}，其中，M(x,y)表示{M(x,y)}中坐标位置为(x,y)的像素点的像素值；③根据{dR(x,y)}和{M(x,y)}，获取{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差均值μ、视差方差δ、最大负视差θ、视差范围χ，然后将μ、δ、θ和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量，记为F1，F1=(μ，δ，θ，χ）；④通过计算{dR(x,y)}的视差梯度幅值图像和视差梯度方向图像，计算{dR(x,y)}的视差梯度边缘图像；然后根据{dR(x,y)}的视差梯度边缘图像和{M(x,y)}，计算{dR(x,y)}的视差梯度边缘图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值ψ；最后将ψ作为用于反映{dR(x,y)}的视差梯度特征的 特征矢量，记为F2；⑤获取{IR(x,y)}的空间频率图像；然后根据{IR(x,y)}的空间频率图像和{M(x,y)}，获取{IR(x,y)}的空间频率图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率均值ν、空间频率方差ρ、空间频率范围ζ、空间频率敏感因子τ；再将ν、ρ、ζ和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量，记为F3，F3=(ν,ρ,ζ,τ)；⑥将F1、F2及F3构成一个新的特征矢量，记为X，X=[F1,F2,F3]，然后将X作为待评价的立体图像的特征矢量，其中，符号“[]”为矢量表示符号，[F1,F2,F3]表示将F1、F2和F3连接起来形成一个新的特征矢量；⑦采用n副不同的立体图像以及对应的右视差图像建立立体图像集合，利用主观质量评价方法分别计算立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，记为MOS，其中，n≥1，MOS∈[1,5]；然后按照步骤①至步骤⑥计算待评价的立体图像的特征矢量X的操作，以相同的方式分别计算立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为Xi，其中，1≤i≤n，n表示立体图像集合中包含的立体图像的幅数；⑧将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt，接着利用wopt和bopt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k“幅立体图像的客观视觉舒适度评价预测值记为Qk“，Qk“=f(Xk“)，其中，f()为函数表示形式，Xk“表示测试 样本数据集合中的第k“幅立体图像的特征矢量，(wopt)T为wopt的转置矩阵，表示测试样本数据集合中的第k“幅立体图像的线性函数，1≤k“≤n?...

【技术特征摘要】

【专利技术属性】
技术研发人员：邵枫，姜求平，蒋刚毅，郁梅，李福翠，彭宗举，
申请(专利权)人：宁波大学，
类型：发明
国别省市：