基于字典学习和机器学习的无参考立体图像质量评价方法技术

本发明专利技术公开了一种基于字典学习和机器学习的无参考立体图像质量评价方法，其首先对左、右视点图像实施log-Gabor滤波，得到各自的幅值和相位信息，然后对幅值和相位信息进行局部二值化操作，得到左、右视点图像的局部二值化模式特征图像；其次，采用双目能量模型对左、右视点图像的幅值和相位信息进行融合，得到双目能量信息，并获取双目能量信息的局部二值化模式特征图像；接着，采用协作表示算法，对左、右视点图像和双目能量信息的局部二值化模式特征图像进行字典学习，得到双目视觉感知稀疏特征信息，最后获得待评价的失真立体图像的客观质量评价预测值；优点是其能够充分考虑到立体视觉感知特性，能够有效地提高客观评价结果与主观感知之间的相关性。

【技术实现步骤摘要】
基于字典学习和机器学习的无参考立体图像质量评价方法
本专利技术涉及一种立体图像质量客观评价方法，尤其是涉及一种基于字典学习和机器学习的无参考立体图像质量评价方法。
技术介绍
进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，由于在大多数的应用系统中原始无失真参考图像是不可得的，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。目前，研究人员提出了不少针对单视点视觉质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视觉感知特性，因此还没有有效地无参考立体图像质量评价方法。相比单视点视觉质量无参考评价模型，无参考立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应以及与之相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体图像质量评价方法中。现有的无参考质量客观评价方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性，因此，如何在评价过程中有效地提取特征信息，在评价过程中进行双目视觉特性结合，使得客观评价结果更加符合人类视觉感知系统，是立体图像进行客观质量评价过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于字典学习和机器学习的无参考立体图像质量评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。本专利技术解决上述技术问题所采用的技术方案为：一种基于字典学习和机器学习的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤为：①-1、选取K幅原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，在此W表示原始的无失真立体图像的宽度，在此H表示原始的无失真立体图像的高度，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①-2、对每幅原始的无失真立体图像的左视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像，将{Lorg,k(x,y)}的幅值图像和相位图像对应记为{GL_org,k(x,y)}和{PL_org,k(x,y)}，其中，GL_org,k(x,y)表示{GL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，PL_org,k(x,y)表示{PL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，对每幅原始的无失真立体图像的右视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像和相位图像，将{Rorg,k(x,y)}的幅值图像和相位图像对应记为{GR_org,k(x,y)}和{PR_org,k(x,y)}，其中，GR_org,k(x,y)表示{GR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，PR_org,k(x,y)表示{PR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①-3、采用块匹配方法计算每幅原始的无失真立体图像的左视点图像与右视点图像之间的视差图像，将{Lorg,k(x,y)}与{Rorg,k(x,y)}之间的视差图像记为{dorg,k(x,y)}，其中，dorg,k(x,y)表示{dorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①-4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左视点图像与右视点图像之间的视差图像，计算每幅原始的无失真立体图像的左右视点特征融合图像，将第k幅原始的无失真立体图像的左右视点特征融合图像记为{Forg,k(x,y)}，其中，Forg,k(x,y)表示{Forg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①-5、采用局部二值化模式操作对每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像进行处理，得到各自的局部二值化模式特征图像，将{GL_org,k(x,y)}的局部二值化模式特征图像记为{LMPL_org,k(x,y)}，将{PL_org,k(x,y)}的局部二值化模式特征图像记为{LPPL_org,k(x,y)}，将{GR_org,k(x,y)}的局部二值化模式特征图像记为{LMPR_org,k(x,y)}，将{PR_org,k(x,y)}的局部二值化模式特征图像记为{LPPR_org,k(x,y)}，将{Forg,k(x,y)}的局部二值化模式特征图像记为{LEPL_R_org,k(x,y)}，其中，LMPL_org,k(x,y)表示{LMPL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LMPL_org,k(x,y)∈[0,P+1]，LPPL_org.k(x,y)表示{LPPL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LPPL_org,k(x,y)∈[0,P+1]，LMPR_org,k(x,y)表示{LMPR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LMPR_org,k(x,y)∈[0,P+1]，LPPR_org,k(x,y)表示{LPPR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LPPR_org,k(x,y)∈[0,P+1]，LEPL_R_org,k(x,y)表示{LEPL_R_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LEPL_R_org,k(x,y)∈[0,P+1]，P表示局部二值化模式操作中的领域参数；①-6、采用直方图统计方法对每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像各自的局部二值化模式特征图像进行统计操作，得到各自的直方图统计特征向量，将{GL_org,k(x,y)}的直方图统计特征向量记为HL_M_org,k，将{PL_org,k(x,y)}的直方图统计特征向量记为HL_P_org,k，将{GR_org,k(x,y)}的直方图统计特征向量记为HR_M_or本文档来自技高网...

【技术保护点】
一种基于字典学习和机器学习的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤为：①‑1、选取K幅原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，在此W表示原始的无失真立体图像的宽度，在此H表示原始的无失真立体图像的高度，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①‑2、对每幅原始的无失真立体图像的左视点图像实施log‑Gabor滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像，将{Lorg,k(x,y)}的幅值图像和相位图像对应记为{GL_org,k(x,y)}和{PL_org,k(x,y)}，其中，GL_org,k(x,y)表示{GL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，PL_org,k(x,y)表示{PL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，对每幅原始的无失真立体图像的右视点图像实施log‑Gabor滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像和相位图像，将{Rorg,k(x,y)}的幅值图像和相位图像对应记为{GR_org,k(x,y)}和{PR_org,k(x,y)}，其中，GR_org,k(x,y)表示{GR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，PR_org,k(x,y)表示{PR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①‑3、采用块匹配方法计算每幅原始的无失真立体图像的左视点图像与右视点图像之间的视差图像，将{Lorg,k(x,y)}与{Rorg,k(x,y)}之间的视差图像记为{dorg,k(x,y)}，其中，dorg,k(x,y)表示{dorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①‑4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左视点图像与右视点图像之间的视差图像，计算每幅原始的无失真立体图像的左右视点特征融合图像，将第k幅原始的无失真立体图像的左右视点特征融合图像记为{Forg,k(x,y)}，其中，Forg,k(x,y)表示{Forg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①‑5、采用局部二值化模式操作对每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像进行处理，得到各自的局部二值化模式特征图像，将{GL_org,k(x,y)}的局部二值化模式特征图像记为{LMPL_org,k(x,y)}，将{PL_org,k(x,y)}的局部二值化模式特征图像记为{LPPL_org,k(x,y)}，将{GR_org,k(x,y)}的局部二值化模式特征图像记为{LMPR_org,k(x,y)}，将{PR_org,k(x,y)}的局部二值化模式特征图像记为{LPPR_org,k(x,y)}，将{Forg,k(x,y)}的局部二值化模式特征图像记为{LEPL_R_org,k(x,y)}，其中，LMPL_org,k(x,y)表示{LMPL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LMPL_org,k(x,y)∈[0,P+1]，LPPL_org.k(x,y)表示{LPPL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LPPL_org,k(x,y)∈[0,P+1]，LMPR_org,k(x,y)表示{LMPR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LMPR_org,k(x,y)∈[0,P+1]，LPPR_org,k(x,y)表示{LPPR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LPPR_org,k(x,y)∈[0,P+1]，LEPL_R_org,k(x,y)表示{LEPL_R_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LEPL_R_org,k(x,y)∈[0,P+1]，P表示局部二值化模式操作中的领域参数；①‑6、采用直方图统计方法对每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像各自的局部二值化模式特征图像进行统计操作，得到各自的直方图统计特征向量，将{GL_org,k(x,y)}的直方图统计特征向量记为HL_M_org,k，将{PL_org,k(x,y)}的直...

【技术特征摘要】
1.一种基于字典学习和机器学习的无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤为：①-1、选取K幅原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，在此W表示原始的无失真立体图像的宽度，在此H表示原始的无失真立体图像的高度，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①-2、对每幅原始的无失真立体图像的左视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像，将{Lorg,k(x,y)}的幅值图像和相位图像对应记为{GL_org,k(x,y)}和{PL_org,k(x,y)}，其中，GL_org,k(x,y)表示{GL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，PL_org,k(x,y)表示{PL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，对每幅原始的无失真立体图像的右视点图像实施log-Gabor滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像和相位图像，将{Rorg,k(x,y)}的幅值图像和相位图像对应记为{GR_org,k(x,y)}和{PR_org,k(x,y)}，其中，GR_org,k(x,y)表示{GR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，PR_org,k(x,y)表示{PR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①-3、采用块匹配方法计算每幅原始的无失真立体图像的左视点图像与右视点图像之间的视差图像，将{Lorg,k(x,y)}与{Rorg,k(x,y)}之间的视差图像记为{dorg,k(x,y)}，其中，dorg,k(x,y)表示{dorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①-4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左视点图像与右视点图像之间的视差图像，计算每幅原始的无失真立体图像的左右视点特征融合图像，将第k幅原始的无失真立体图像的左右视点特征融合图像记为{Forg,k(x,y)}，其中，Forg,k(x,y)表示{Forg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①-5、采用局部二值化模式操作对每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像进行处理，得到各自的局部二值化模式特征图像，将{GL_org,k(x,y)}的局部二值化模式特征图像记为{LMPL_org,k(x,y)}，将{PL_org,k(x,y)}的局部二值化模式特征图像记为{LPPL_org,k(x,y)}，将{GR_org,k(x,y)}的局部二值化模式特征图像记为{LMPR_org,k(x,y)}，将{PR_org,k(x,y)}的局部二值化模式特征图像记为{LPPR_org,k(x,y)}，将{Forg,k(x,y)}的局部二值化模式特征图像记为{LEPL_R_org,k(x,y)}，其中，LMPL_org,k(x,y)表示{LMPL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LMPL_org,k(x,y)∈[0,P+1]，LPPL_org.k(x,y)表示{LPPL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LPPL_org,k(x,y)∈[0,P+1]，LMPR_org,k(x,y)表示{LMPR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LMPR_org,k(x,y)∈[0,P+1]，LPPR_org,k(x,y)表示{LPPR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LPPR_org,k(x,y)∈[0,P+1]，LEPL_R_org,k(x,y)表示{LEPL_R_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LEPL_R_org,k(x,y)∈[0,P+1]，P表示局部二值化模式操作中的领域参数；①-6、采用直方图统计方法对每幅原始的无失真立体图像的左视点图像的幅值图像和相位图像、右视点图像的幅值图像和相位图像、左右视点特征融合图像各自的局部二值化模式特征图像进行统计操作，得到各自的直方图统计特征向量，将{GL_org,k(x,y)}的直方图统计特征向量记为HL_M_org,k，将{PL_org,k(x,y)}的直方图统计特征向量记为HL_P_org,k，将{GR_org,k(x,y)}的直方图统计特征向量记为HR_M_org,k，将{PR_org,k(x,y)}的直方图统计特征向量记为HR_P_org,k，将{Forg,k(x,y)}的直方图统计特征向量记为HL_R_E_org,k；然后采用双目竞争算法，对每幅原始的无失真立体图像的左视点图像的幅值图像的直方图统计特征向量和右视点图像的幅值图像的直方图统计特征向量进行融合，得到每幅原始的无失真立体图像的双目竞争幅值特性统计向量，将对HL_M_org,k和HR_M_org,k进行融合后得到的第k幅原始的无失真立体图像的双目竞争幅值特性统计向量记为HL_R_M_org,k；同样，采用双目竞争算法，对每幅原始的无失真立体图像的左视点图像的相位图像的直方图统计特征向量和右视点图像的相位图像的直方图统计特征向量进行融合，得到每幅原始的无失真立体图像的双目竞争相位特性统计向量，将对HL_P_org,k和HR_P_org,k进行融合后得到的第k幅原始的无失真立体图像的双目竞争相位特性统计向量记为HL_R_P_org,k；其中，HL_M_org,k、HL_P_org,k、HR_M_org,k、HR_P_org,k、HL_R_E_org,k的维数均为m'×1维，HL_M_org,k中的第m个元素为HL_M_org,k(m)，HL_P_org,k中的第m个元素为HL_P_org,k(m)，HR_M_org,k中的第m个元素为HR_M_org,k(m)，HR_P_org,k中的第m个元素为HR_P_org,k(m)，HL_R_E_org,k中的第m个元素为HL_R_E_org,k(m)，1≤m≤m'，m'＝P+2，HL_R_M_org,k和HL_R_P_org,k的维数均为m'×1维，HL_R_M_org,k中的第m个元素为HL_R_M_org,k(m)，HL_R_P_org,k中的第m个元素为HL_R_P_org,k(m)；①-7、将所有原始的无失真立体图像的双目竞争幅值特性统计向量、双目竞争相位特性统计向量、左右视点特征融合图像的直方图统计特征向量组成字典学习特征矩阵，记为Horg，其中，Horg的维数为3m'×K，Horg中第k列的3m'个元素依次为HL_R_M_org,k中的m'个元素、HL_R_P_org,k中的m'个元素、HL_R_E_org,k中的m'个元素；所述的测试阶段的具体步骤为：②-1、对于任意一幅尺寸大小与步骤①-1中选取的原始的无失真立体图像的尺寸大小一致的失真立体图像，将该失真立体图像作为待评价的失真立体图像，并记为Sdis，将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，在此W表示Sdis的宽度，在此H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②-2、对{Ldis(x,y)}和{Rdis(x,y)}两幅图像分别实施log-Gabor滤波，得到{Ldis(x,y)}和{Rdis(x,y)}各自的幅值图像和相位图像，将{Ldis(x,y)}的幅值图像和相位图像对应记为{GL_dis(x,y)}和{PL_dis(x,y)}，将{Rdis(x,y...

【专利技术属性】
技术研发人员：周武杰，王中鹏，邱薇薇，周扬，吴茗蔚，翁剑枫，葛丁飞，王新华，孙丽慧，陈寿法，郑卫红，李鑫，吴洁雯，文小军，金国英，王建芬，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33