一种绘制图像质量评价方法技术

本发明专利技术公开了一种绘制图像质量评价方法，其在训练阶段，利用尺度不变特征变换流建立原始图像与绘制图像之间的匹配关系，计算绘制图像的纹理失真和几何失真，然后利用支持向量回归对训练集中的由纹理失真和几何失真构成的特征矢量进行训练，构造得到绘制图像的支持向量回归训练模型；在测试阶段，通过计算测试集中的绘制图像的特征矢量，并根据构造的绘制图像的支持向量回归训练模型，预测得到测试集中的绘制图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映绘制图像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。

A Method of Drawing Image Quality Evaluation

【技术实现步骤摘要】
一种绘制图像质量评价方法
本专利技术涉及一种图像质量评价技术，尤其是涉及一种绘制图像质量评价方法。
技术介绍
三维视频(Three-DimensionalVideo，3DV)是一种先进的视觉模式，其使人们在屏幕上观看图像时富有立体感和沉浸感，可以满足人们从不同角度观看三维(3D)场景的需求。通常，三维视频系统主要包括视频捕获、视频编码、传输解码、虚拟视点绘制和交互显示等模块。基于深度图像的绘制(DepthImageBasedRendering，DIBR)是一种利用参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法，其通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素点对应的深度信息来合成三维场景的虚拟视点图像。由于DIBR将场景的深度信息引入到虚拟视点图像绘制中，因此大大减少了虚拟视点图像绘制所需的参考视点的数目。与传统的二维图像相比，彩色图像质量、深度图像质量及空洞填充方法都会影响虚拟视点图像质量，例如，彩色图像的失真会直接影响绘制的虚拟视点图像的质量，深度图像的编码失真会导致绘制的虚拟视点图像与真实图像之间会存在几何失真(也称为结构位置失真)，同时空洞填充会在绘制的虚拟视点图像中产生纹理失真，因此，如何在绘制的虚拟视点图像质量的评价过程中有效地提取出纹理失真和几何失真，是在对绘制的虚拟视点图像进行客观质量评价过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种绘制图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。本专利技术解决上述技术问题所采用的技术方案为：一种绘制图像质量评价方法，其特征在于包括以下步骤：步骤一：令Iorg表示原始图像，令Isyn表示Iorg对应的绘制图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Isyn中坐标位置为(x,y)的像素点的像素值记为Isyn(x,y)；其中，1≤x≤W，1≤y≤H，W表示Iorg和Isyn的宽度，H表示Iorg和Isyn的高度；步骤二：采用SIFT-Flow方法，建立Iorg与Isyn之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vO(x,y)，然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中重构得到重构绘制图像，记为将中坐标位置为的像素点的像素值记为其中，用于表示水平方向，用于表示垂直方向，表示vO(x,y)的水平偏移量，表示vO(x,y)的垂直偏移量，中的“＝”为赋值符号；步骤三：计算Isyn与的残差图像，记为Idif，将Idif中坐标位置为(x,y)的像素点的像素值记为Idif(x,y)，然后将Idif划分成个互不重叠的尺寸大小为16×16的子块；再从Idif中的所有子块中提取出所有属于关键区域的子块，若Idif中的任一个子块中的所有像素点中像素值不为0的像素点的个数大于T2，则确定该子块属于关键区域，将Idif中的所有属于关键区域的子块构成的集合记为其中，符号“||”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，符号为向下取整运算符号，T1和T2均为阈值；步骤四：根据Isyn和及计算Isyn的纹理失真，记为Qtex；并根据Iorg中的像素点的SIFT-Flow向量和Idif中的子块，计算Isyn的几何失真，记为Qgem；步骤五：根据Qtex和Qgem，获取Isyn的特征矢量，记为Q，Q＝[Qtex,Qgem]；其中，Q的维数为2×1，[Qtex,Qgem]表示将Qtex和Qgem连接起来形成一个特征矢量；步骤六：将n幅绘制图像构成绘制图像集合；然后采用主观质量评价方法，获取绘制图像集合中的每幅绘制图像的主观评分差值，将绘制图像集合中的第g1幅绘制图像的主观评分差值记为并按照步骤一至步骤五的过程，以相同的方式获取绘制图像集合中的每幅绘制图像的特征矢量，将绘制图像集合中的第g1幅绘制图像的特征矢量记为其中，n为正整数，n＞1，g1为正整数，g1的初始值为1，1≤g1≤n，MOSg1∈[0,5]，的维数为2×1；步骤七：随机选择绘制图像集合中的m幅绘制图像构成训练集，将绘制图像集合中剩余的n-m幅绘制图像构成测试集；然后将训练集中的所有绘制图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造绘制图像的支持向量回归训练模型，记为f(Finp)，其中，m为正整数，m∈[1,n)，f()为函数表示形式，Finp表示绘制图像的支持向量回归训练模型的输入矢量，为绘制图像的特征矢量，Finp的维数为2×1，(wopt)T为wopt的转置，表示绘制图像的支持向量回归训练模型的输入矢量Finp的线性函数；步骤八：将测试集中的所有绘制图像的特征矢量构成测试样本数据集合；然后根据构造得到的绘制图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的绘制图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的绘制图像的客观质量评价预测值记为其中，q为正整数，q的初始值为1，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为2×1，表示Fq的线性函数；步骤九：重复执行步骤七至步骤八共Num次，并使绘制图像集合中的每幅绘制图像至少有一次属于测试集，经过Num次执行后计算绘制图像集合中的每幅绘制图像的若干个客观质量评价预测值的平均值，再将绘制图像集合中的每幅绘制图像的客观质量评价预测值的平均值作为该幅绘制图像的最终的客观质量评价预测值；其中，Num＞1。所述的步骤四中的Qtex的获取过程为：A1、将Isyn和分别从RGB颜色空间转化为CIELAB颜色空间，三个分量分别为亮度分量、第一色度分量和第二色度分量；A2、将Isyn的第一色度分量中与位置对应的区域分割成尺寸大小为2×2的非重叠子块；然后确定Isyn的第一色度分量中的每个非重叠子块的扫描模式，对于Isyn的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为：以该非重叠子块的左上角像素点为起点，将起点作为第1个指向像素点，将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点，连接第1个指向像素点与第1个被指向像素点；将第1个被指向像素点作为第2个指向像素点，将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点，连接第2个指向像素点与第2个被指向像素点；将第2个被指向像素点作为第3个指向像素点，将剩余的1个像素点作为第3个被指向像素点，连接第3个指向像素点与第3个被指向像素点；将连接4个像素点的连接方式作为该非重叠子块的扫描模式；接着获取Isyn的第一色度分量中的所有非重叠子块的颜色共生矩阵，记为{p(j1,j2)|1≤j1≤J,1≤j2≤J}；其中，j1和本文档来自技高网...

【技术保护点】
1.一种绘制图像质量评价方法，其特征在于包括以下步骤：步骤一：令Iorg表示原始图像，令Isyn表示Iorg对应的绘制图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Isyn中坐标位置为(x,y)的像素点的像素值记为Isyn(x,y)；其中，1≤x≤W，1≤y≤H，W表示Iorg和Isyn的宽度，H表示Iorg和Isyn的高度；步骤二：采用SIFT‑Flow方法，建立Iorg与Isyn之间的匹配关系，得到Iorg中的每个像素点的SIFT‑Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为vO(x,y)，

【技术特征摘要】
1.一种绘制图像质量评价方法，其特征在于包括以下步骤：步骤一：令Iorg表示原始图像，令Isyn表示Iorg对应的绘制图像；将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y)，将Isyn中坐标位置为(x,y)的像素点的像素值记为Isyn(x,y)；其中，1≤x≤W，1≤y≤H，W表示Iorg和Isyn的宽度，H表示Iorg和Isyn的高度；步骤二：采用SIFT-Flow方法，建立Iorg与Isyn之间的匹配关系，得到Iorg中的每个像素点的SIFT-Flow向量，将Iorg中坐标位置为(x,y)的像素点的SIFT-Flow向量记为vO(x,y)，然后根据Iorg中的所有像素点的SIFT-Flow向量，从Iorg中重构得到重构绘制图像，记为将中坐标位置为的像素点的像素值记为其中，用于表示水平方向，用于表示垂直方向，表示vO(x,y)的水平偏移量，表示vO(x,y)的垂直偏移量，中的“＝”为赋值符号；步骤三：计算Isyn与的残差图像，记为Idif，将Idif中坐标位置为(x,y)的像素点的像素值记为Idif(x,y)，然后将Idif划分成个互不重叠的尺寸大小为16×16的子块；再从Idif中的所有子块中提取出所有属于关键区域的子块，若Idif中的任一个子块中的所有像素点中像素值不为0的像素点的个数大于T2，则确定该子块属于关键区域，将Idif中的所有属于关键区域的子块构成的集合记为其中，符号“||”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，符号为向下取整运算符号，T1和T2均为阈值；步骤四：根据Isyn和及计算Isyn的纹理失真，记为Qtex；并根据Iorg中的像素点的SIFT-Flow向量和Idif中的子块，计算Isyn的几何失真，记为Qgem；步骤五：根据Qtex和Qgem，获取Isyn的特征矢量，记为Q，Q＝[Qtex,Qgem]；其中，Q的维数为2×1，[Qtex,Qgem]表示将Qtex和Qgem连接起来形成一个特征矢量；步骤六：将n幅绘制图像构成绘制图像集合；然后采用主观质量评价方法，获取绘制图像集合中的每幅绘制图像的主观评分差值，将绘制图像集合中的第g1幅绘制图像的主观评分差值记为并按照步骤一至步骤五的过程，以相同的方式获取绘制图像集合中的每幅绘制图像的特征矢量，将绘制图像集合中的第g1幅绘制图像的特征矢量记为其中，n为正整数，n＞1，g1为正整数，g1的初始值为1，1≤g1≤n，的维数为2×1；步骤七：随机选择绘制图像集合中的m幅绘制图像构成训练集，将绘制图像集合中剩余的n-m幅绘制图像构成测试集；然后将训练集中的所有绘制图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造绘制图像的支持向量回归训练模型，记为f(Finp)，其中，m为正整数，m∈[1,n)，f()为函数表示形式，Finp表示绘制图像的支持向量回归训练模型的输入矢量，为绘制图像的特征矢量，Finp的维数为2×1，(wopt)T为wopt的转置，表示绘制图像的支持向量回归训练模型的输入矢量Finp的线性函数；步骤八：将测试集中的所有绘制图像的特征矢量构成测试样本数据集合；然后根据构造得到的绘制图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的绘制图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的绘制图像的客观质量评价预测值记为其中，q为正整数，q的初始值为1，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为2×1，表示Fq的线性函数；步骤九：重复执行步骤七至步骤八共Num次，并使绘制图像集合中的每幅绘制图像至少有一次属于测试集，经过Num次执行后计算绘制图像集合中的每幅绘制图像的若干个客观质量评价预测值的平均值，再将绘制图像集合中的每幅绘制图像的客观质量评价预测值的平均值作为该幅绘制图像的最终的客观质量评价预测值；其中，Num＞1。2.根据权利要求1所述的一种绘制图像质量评价方法，其特征在于所述的步骤四中的Qtex的获取过程为：A1、将Isyn和分别从RGB颜色空间转化为CIELAB颜色空间，三个分量分别为亮度分量、第一色度分量和第二色度分量；A2、将Isyn的第一色度分量中与位置对应的区域分割成尺寸大小为2×2的非重叠子块；然后确定Isyn的第一色度分量中的每个非重叠子块的扫描模式，对于Isyn的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为：以该非重叠子块的左上角像素点为起点，将起点作为第1个指...

【专利技术属性】
技术研发人员：邵枫，王雪津，李福翠，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江,33