图像序列的质量评估制造技术

描述了图像的质量估计或一致性计算。在一个或更多个域中的图像之中执行视差估计，计算基于该视差估计的指标以评估质量或一致性。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及图像质量评估。更具体而言，本专利技术的实施例涉及图像序列的质量评估。
技术介绍
质量评估对于改进许多多媒体应用中的用户体验是有用的。生成可以准确估计图像序列的感知质量的客观质量指标(metrics)可以促进质量评估。质量评估可以用于一些多媒体应用。这种应用包括视频压缩、预处理、后处理、以及水印制作等。在视频压缩中，编码技术可以使用视频质量指标通过速率失真优化改进编码参数，预处理技术有赖于视频质量指标来优化在给定目标应用或环境下的预处理滤波器参数。在视频后处理中，内容适用于以各种空间和时间分辨率在各种显示器类型上显示，可以对于每种显示器类型评估所得的视频质量。在水印制作中，可以在嵌入水印时使用视频质量指标来最小化由于水印所致的可感知失真或者可以在检测和/或译解嵌入的水印信号时考虑视频质量指标。质量测量的一个途径是执行主观测试。然而，建立这种测试会招致一些困难和花费。开发能够对使用主观测试获得的途经提供质量评级的客观的图像质量指标。(见整体经引用并入本文的参考文献、)。然而，尽管当前存在这种困难或花费(见整体经引用并入本文的参考文献)，大多数视频压缩团体继续使用MSE (均方差)和PSNR(峰值信噪比)作为失真指标。近来，对新应用(如3D/立体视频递送)的相当的兴趣已重建了对创建更好地对人类视觉系统建模的更好、更准确的指标的兴趣。通过压缩、预/后处理等引入到视频的失真在性质上既可以是空间的也可以是时间的。在多视图视频中，也会引入交叉视图/立体失真。空间失真包括诸如量化、组块(blocking)、模糊、以及振铃失真(ringing artifacts)等的压缩失真(compression artifacts)。图像质量评估团体已深入研究了空间失真指标但是对时间和多视图失真的作用却知之甚少。这种失真导致在所得视频中的时间或/和视图的不一致。在客观知觉质量指标中考量时间失真的早期尝试考虑一个时间对比灵敏度函数来确定序列在时间域中的可感知差异(见整体经引用并入本文的参考文献、、)。 然而这些方法并未考量序列中的运动，并且像这样，未完全测量序列的感知的时间一致性。 类似地，对于立体图像，未考虑视图之中的立体视图视差。其它客观质量指标，诸如整体经引用并入本文的参考文献、中示出的那些客观质量指标，通过测量序列中连续图像之间的像素差或相关性来测量序列的时间一致性。然而，他们未在测量以前执行运动估计，因此仍然无法充分估计序列的真实的时间一致性。在整体经引用并入本文的参考文献中，通过引入基于序列的每个图像中的运动量的全局加权方案把公知的结构相似性图像质量指标(见整体经引用并入本文的参考)扩展到视频领域。然而，该方法忽略了时间一致性与质量之间的关系。整体经引用而并入本文的参考文献中提出了更完善的运动补偿结构相似性指标。然而，提出的技术有赖于光学流(optical flow)的运算，这实施起来可能复杂并且无法用于包含显著运动的图像区域中。附图说明并入本说明书中并构成本说明书一部分的附图示出了本公开的一个或更多个实施例，并且附图连同详细描述和实例一起，旨在解释公开内容的原理和实施。图1示出了根据本公开的质量评估系统和方法的实施例。图2更详细地示出了图1的视差估计块的实施例。图3示出了将图2的方案适用到多视图环境。图4示出了按照本公开的指标的第一实施例。图5示出了按照本公开的指标的第二实施例。图6示出了图5实施例的组合的时间/多视图实例。图7示出了按照本公开的指标的第三实施例。具体实施例方式概述本专利技术的实施例涉及图像序列的质量评估。提供了用于图像序列评估的质量评估方法，包括在一个或更多个域中执行图像之中的视差估计以生成视差向量；以及基于视差向量计算指标以评估质量。在实施例中，提供了用于计算测试图像序列的一致性的系统，包括视差估计器， 用以通过生成视差向量来估计测试图像序列的图像之中的视差或者测试图像序列的图像与参考图像序列的图像之间的视差；指标计算器，用以计算根据视差估计器生成的视差向量的测试图像序列的一致性估计。本申请的说明书、附图、权利要求书和摘要中描述了本公开实例实施例的进一步实例特征。根据本公开的一些实施例，公开了用于计算图像序列的时间和/或多视图一致性的新型系统和方法。不同于已有方案，视差估计方法被用来估计(见整体经引用并入本文的参考、、))跟踪图像内像素区域的移动以及计算视差(例如，运动和照明度改变)补偿之后序列的一致性，例如像增强式预测区域搜索(EPZQ的基于块的运动估计算法。立体视图视差可以考虑类似方法以便分析。按照本公开实施例中的一些实施例，使用时间(例如，运动)或/和视图视差以及视差补偿像素信息(也例如包括解块)测量序列图像之间时间和多视图特征的一致性以及相对于参考序列的测试序列中特征的一致性。本公开中讨论的技术和实施例也应用于比特流模式中的图像。可以把具有或不具有照明度补偿支持的任何已有视差估计技术，例如任何基于块的运动估计算法，用于此目的，指标的准确性将取决于使用的视差估计方法的准确性。也可以使用重叠块运动估计以避免块边缘上的杂散(spurious)结果。另外，描述了可以把时间和/或多视图质量的不同方面考虑在内的指标的实例实施例。第一实施例是可以测量在视差估计处理期间计算的用于参考和测试序列的视差向量的一致性的完全参考指标。其它两个实施例是可以测量测试序列的连续视差补偿图像上的像素值的一致性的非参考指标。因此，本公开描述了一组帮助测量视频序列中时间和/或多视图失真程度的时间和立体/多视图一致性指标。根据一些实施例，根据本公开的指标在输入序列中执行视差 (例如，运动)估计，以及测量序列的视差补偿图像中的时间一致性。类似地，对于多视图指标，可以评估“交叉视图”补偿的图像中的一致性。在一些实施例中，可以使用全局和局部加权参数确保通过指标将只测量可感知的失真。在一些实施例中，也包括知觉加权方案以把诸如序列中场景转变(如裁剪、淡入淡出、交叉淡入淡出)的全局事件以及局部属性(如纹理、对象和图像边缘)等等考虑在内。可以把时间/多视图特征与已有的或新的空间失真指标进一步组合以便更好地表征视频序列的总体失真。这些域中会出现的可能失真类型是1)闪烁一在视频压缩中，例如，通过以不同质量编码不同的图片(例如，由于速率控制而改变量化参数)会引起闪烁。闪烁在所有帧内(intra)编码、或者对只有I和P编码的图片编码期间特别突出，特别是在周期性的帧内刷新图像存在的情况下。闪烁也可能例如作为拍摄处理、帧速率转换等的结果而出现；2)运动不一致性一运动不一致性会由于编码处理期间运动向量的不正确的运动估计和量化而出现。在立体视频中，会由于视频内容的性质而进一步加重运动不一致性。运动不一致性也会例如由于摄像装置的不稳定而出现；3)蚊式噪声一岐式噪声由图像中尖锐边缘附近随时间变化的混叠失真引起。立体视频中这一点也会被加重，特别是在编码处理期间复用立体视图以及在显示以前解复用立体视图的情况下；4)时空和时空立体视图混叠；以及5)立体视图不一致性一与运动不一致性相类似，立体视图不一致性会由于从一个视图至另一个视图的预测不一致性/变化而出现。立体视图不一致性也会由于摄像装置传感器中的差异或者摄像装置错位而出现。根据一些实施例，把两本文档来自技高网...

【技术保护点】
１．一种用于评估图像序列的质量的方法，包括以下步骤：在一个或更多个域中估计图像之中的视差以生成视差向量；以及基于所述视差向量计算指标以评估所述图像序列的质量。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：佩沙拉·V·帕哈拉瓦达，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：US