一种基于视觉跟踪的插值图像评价方法技术

本发明专利技术涉及一种基于视觉跟踪的插值图像评价方法。首先通过主观实验获取用户在观看插值图像时的视觉注意力分布情况。其次根据注意力分布的特点分别构建时间维度的显著性模型以及空间维度的感兴趣区域（Region of Interest，ROI）模型。最后可以通过将上述模型加权求和以构建整体的质量评价算法对插值图像进行质量评价，以提高预测插值图像质量的精确度。本发明专利技术主要解决用户观看插值图像时的视觉注意力分布问题，以提高插值图像质量评价的精确度。

【技术实现步骤摘要】
一种基于视觉跟踪的插值图像评价方法
本专利技术涉及图像质量评价领域，特别是一种基于视觉跟踪的插值图像评价方法。
技术介绍
在很多情况下，人们需要对数字图像进行进一步的处理比如，为了做广告宣传，需要将拍摄的艺术照片做成巨幅海报；为了分析深层地质结构，需要对仪器采集的图像做局部细化；为了分析外星球的大气和地面状况，需要使遥感卫星图片模糊细节变得有意义；为了侦破缺少目击证人的案件，需要对监控录像做清晰化处理这些，就需要用到图像的插值技术，将原始低分辨率图像或模糊图像进行放大，并且要保证所要求的清晰度。插值，分为图像内插值和图像间插值，其主要应用是对图像进行放大以及旋转等操作，是根据一幅较低分辨率图像再生出另一幅均具有较高分辨率的图像，是图像内插值。图像间的插值，也叫图像的超分辨率重建，是指在一图像序列之间再生出若干幅新的图像，可应用于医学图像序列切片和视频序列之间的插值图像内插值实际上是对单帧图像的图像重建过程，这就意味着生成原始图像中没有的数据。现有的大多数算法都仅考虑插值图像本身的特征，对于插值图像的视觉特性的研究涉足甚少，而符合人眼视觉特性的的质量评价才是发展趋势。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于视觉跟踪的插值图像评价方法，能实现对插值图像质量的精确预测。本专利技术采用以下方案实现：一种基于视觉跟踪的插值图像评价方法，包括以下步骤：步骤S1：构建插值图像数据库，通过主观实验获取用户的视觉跟踪数据；步骤S2：分析视觉跟踪数据的特点，构建时间维度的显著性模型；步骤S3：分析视觉跟踪数据的特点，构建空间维度的ROI模型；步骤S4：通过步骤S2得到的显著性模型和步骤S3得到的ROI模型的加权传统质量评价方法来构建基于视觉跟踪的插值图像的质量评价方法。进一步地，步骤S1具体为：使用15张分辨率为1024×768的原始图像，使用6种插值算法(bicubic，bilinear,nearest,EOD,RLLR,NARM)以4个不同的插值因子(2，3.7，4.5，6)对原始图像进行插值处理，最终组成375张的图像数据集，包括15张原始图像和360张插值图像；使用TobbiProSpectrum150眼动仪记录24名用户在观看插值图像时的视觉注意力分布，获得最终的用户视觉跟踪数据。该眼动仪的采样频率为150Hz，空间分辨率为0.4度，精度为0.1度。头部运动箱在65厘米处为34×26厘米，操作距离为55-75厘米。图像显示在分辨率为1920×1080像素的显示器上。进一步地，步骤S2具体包括以下步骤：步骤S21：使用热图可视化视觉跟踪数据；步骤S22：将得到的热图线性归一化到0-1之间，并提取alpha通道的信息，作为时间维度的显著性模型。进一步地，步骤S21具体为：首先遍历所有用户的所有注视点的持续时间，然后将图像中同一位置上的持续时间相加，最后使用样条拟合高斯分布，得到热图。较佳的，由于热图能够准确地可视化用户的视觉跟踪数据，本专利技术可以使用热图可视化视觉跟踪数据。首先遍历24名用户在观看插值图像时所有注视点的持续时间，然后在图像里相同的X和Y像素中添加了所有记录的持续时间总和。最后固定持续时间的分布是通过2D图像处理中常用的高斯曲线的近似，即CubicHermite(cspline)，这里的cspline使用如下多项式进行拟合：y＝x2(3-2x)；其中，高斯的标准偏差为50像素。本专利技术将得到的热图线性归一化到0-1之间。为了获得时间维度的显著性模型，提取每张插值图像热图的alpha通道信息，作为其时间维度的显著性模型。进一步地，上述所得的插值图像的显著性模型可以用来获得该图像对应的ROI模型。ROI模型为用户在观看图像时的眼动轨迹，即包含显著性模型中值大于0的所有值。步骤S3具体为：将步骤S22归一化后的热图中值大于0的像素值赋值为1，其余为0，即可构建空间维度的ROI模型。进一步地，步骤S4具体为：通过显著性模型和ROI模型的加权来构建最终的插值质量评价算法SM_Q和ROI_Q：式中，m代表插值图像块的个数，每个插值图像块的大小为256×256；Saliency(i)和ROI(i)分别代表第i个插值图像块时间维度和空间维度的权重值，Q(i)表示第i个插值图像块的质量值。与现有技术相比，本专利技术有以下有益效果：本专利技术提出的基于视觉跟踪的质量评价方法，主要解决用户观看插值图像时的视觉注意力分布问题，以提高插值图像质量评价的精确度，实现对插值图像质量精准预测的目的。附图说明图1为本专利技术实施例的方法流程示意图。图2为本专利技术实施例的热图、时间维度显著性模型和空间维度ROI模型的示意图，其中(a)为热图，(b)为时间维度显著性模型，(c)为空间维度ROI模型。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图1以及图2所示，本实施例提供了一种基于视觉跟踪的插值图像评价方法，包括以下步骤：步骤S1：构建插值图像数据库，通过主观实验获取用户的视觉跟踪数据；步骤S2：分析视觉跟踪数据的特点，构建时间维度的显著性模型；步骤S3：分析视觉跟踪数据的特点，构建空间维度的ROI模型；步骤S4：通过步骤S2得到的显著性模型和步骤S3得到的ROI模型的加权传统质量评价方法来构建基于视觉跟踪的插值图像的质量评价方法。在本实施例中，步骤S1具体为：使用15张分辨率为1024×768的原始图像，使用6种插值算法(bicubic，bilinear,nearest,EOD,RLLR,NARM)以4个不同的插值因子(2，3.7，4.5，6)对原始图像进行插值处理，最终组成375张的图像数据集，包括15张原始图像和360张插值图像；使用TobbiProSpectrum150眼动仪记录24名用户在观看插值图像时的视觉注意力分布，获得最终的用户视觉跟踪数据。该眼动仪的采样频率为150Hz，空间分辨率为0.4度，精度为0.1度。头部运动箱在65厘米处为34×26厘米，操作距离为55-75厘米。图像显示在分辨率为1920×1080像素的显示器上。在本实施例中，步骤S2具体包括以下步骤：步骤S21：使用热图可视化视觉跟踪数据；步骤S22：将得到的热图线性归一化到0-1之间，并提取alpha通道的信息，作为时间维度的显著性模型。在本实施例中，步骤S21具体为：首先遍历所有用户的所有注视点的持续时间，然后将图像中同一位置上的持续时间相加，最后使用样条拟合高斯分布，得到热图。较佳的，在本实施例中，由于热图能够准确地可视化用户的视觉跟踪数据，本专利技术可以使用热图可视化视觉跟踪数据。首先遍历24名用户在观看插值图像时所有注视点的持续时间，然后在图像里相同的X和Y像素中添加了所有记录的持续时间总和本文档来自技高网...

【技术保护点】
1.一种基于视觉跟踪的插值图像评价方法，其特征在于：包括以下步骤：步骤S1：构建插值图像数据库，通过主观实验获取用户的视觉跟踪数据；步骤S2：分析视觉跟踪数据的特点，构建时间维度的显著性模型；步骤S3：分析视觉跟踪数据的特点，构建空间维度的ROI模型；步骤S4：通过步骤S2得到的显著性模型和步骤S3得到的ROI模型的加权传统质量评价方法来构建基于视觉跟踪的插值图像的质量评价方法。

【技术特征摘要】
1.一种基于视觉跟踪的插值图像评价方法，其特征在于：包括以下步骤：步骤S1：构建插值图像数据库，通过主观实验获取用户的视觉跟踪数据；步骤S2：分析视觉跟踪数据的特点，构建时间维度的显著性模型；步骤S3：分析视觉跟踪数据的特点，构建空间维度的ROI模型；步骤S4：通过步骤S2得到的显著性模型和步骤S3得到的ROI模型的加权传统质量评价方法来构建基于视觉跟踪的插值图像的质量评价方法。2.根据权利要求1所述的一种基于视觉跟踪的插值图像评价方法，其特征在于：步骤S1具体为：使用15张分辨率为1024×768的原始图像，使用6种插值算法以4个不同的插值因子对原始图像进行插值处理，最终组成375张的图像数据集，包括15张原始图像和360张插值图像；使用眼动仪记录24名用户在观看插值图像时的视觉注意力分布，获得最终的用户视觉跟踪数据。3.根据权利要求1所述的一种基于视觉跟踪的插值图像评价方法，其特征在于：步骤S2具体包括以下步骤：步骤S21：使用热图可视化视觉跟...

【专利技术属性】
技术研发人员：徐艺文，陈锦铃，赵铁松，陈静，刘怡桑，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35