检测内插图像中的图像损坏制造技术

本发明专利技术提供一种用于检测因从两个或更多个输入图像进行内插的输出图像中因内插引起的图像损坏的方法和设备。该方法包括将基本上移位不变的变换应用于内插图像和输入或邻近图像中的至少一个输入或邻近图像以获得针对每个图像的变换后的图像表示。内插图像和所述至少一个邻近图像的变换后的图像表示之后被比较，且基于比较结果来确定指示由内插引起的输出图像中的图像损坏的变换后的图像表示之间的差异。

【技术实现步骤摘要】
检测内插图像中的图像损坏本专利技术涉及用于识别图像损坏的方法和系统，尤其涉及用于识别从两个或更多个邻近图像插入其中的图像中因内插引起的图像损坏的方法和系统。
技术介绍
在图像序列中的邻近图像之间进行内插以生成中间图像表示的过程是一种完善的技术，其通常被用于现代电视显示中的广播标准转换和帧率上转换(up-conversion)中。存在着用于精确内插方法的各种方式，但是这些方法通常落入两个宽泛的类别中运动补偿和非运动补偿。这些类别具有各自的优点和缺点，因此有必要在输出的被感知视觉质量与内插算法的复杂性之间做出不同的折中(trade-off)。虽然存在着各种性能特征，但是被广泛意识到的是，运动补偿转换通常提供比非运动补偿转换好的内插质量。还被广泛意识到的是，两种类别的内插算法能够引入内插伪像(artefact)，诸如存在于输出序列中而没有存在于输入序列中的图像失真，而且这些损坏了输出的感知质量。例如，非运动补偿转换通常有必要根据最接近或邻近的输入帧的权重组合来形成输出图像，而且这产生了“双重成像”伪像，这在图像中的任何物体运动时是明显的。运动补偿转换需要对邻近输入帧之间的运动矢量进行估计的步骤，并之后使用这些来在适当的中间位置处如实地内插运动对象，而且在校正矢量的识别中的任何误差都会在对象或对象的一部分的不正确运动描绘中清楚显示。这能够在输出图像中产生明显损坏感知质量的可视的分散注意力的裂缝和裂口。附图说明图1示出了在 两个在时间上顺序的输入图像或帧101和102之间进行非运动补偿内插以在这两个图像或帧之间的某个点处形成输出图像103的示例。输入图像包含运动对象，该运动对象在输入图像101中被标识为104，该运动对象向着输入帧102中的新图像位置105运动。内插输出图像103通过两个输入图像101和102的正常化混合而形成，其中混合的比例线性依赖于两个输入图像101和102的时间距离。输出图像103中输入对象104的表不被标记为106,而且输出图像103中输入对象105的表不被标记为107。表不106和107因对象的运动而不对准，从而产生同一对象的两个部分重叠的视图，或者是“双重图像”。图2示出了在两个在时间上顺序的输入图像201和202之间进行运动补偿内插以在这两个图像之间的点处形成输出图像203的示例。运动补偿内插的目的是检测输入帧之间的运动，形成运动矢量场并之后在期望的时间输出点处向恰当的图像位置中内插对象。在所示的示例中，输入图像包含运动对象，该运动对象在输入图像201中被标识为204，该运动对象向着输入帧202中的新图像位置205运动。该运动对象在输入帧201和202之间的期望路径由虚线206和207指示。表示208描绘了中间时间点处运动对象的期望位置。运动补偿内插通常是有瑕疵和误差的，因为矢量的确定能够引起所产生的输出图像的误差。图像元素209指示在一些矢量不正确时出现的伪像，从而导致运动对象的一部分被渲染(render)到错误的位置中。相应地，图像元素210指示因丢失图像元素209产生的输出图像中对象的伪像。已经被内插的图像中转换伪像的出现显然是不期望的。虽然这些损坏的可视展现即使对于非专业人士而言也通常是非常明显的，但是众所周知的是通过自动度量对这些图像损坏进行识别是非平凡(non-trivial)的问题。一些公知的质量测量(例如，均方根误差)能够在存在与内插输出进行比较的期望输出-“基准(ground truth)”-的情况下被使用。然而，基准通常不存在。在没有相符的参考输出或基准可用的情况下，不能进行直接比较，而且图像内插
中的技术人员的公共实践是简单地操纵内插算法参数并使用人对输出的视觉观察来最小化这种伪像的主观可视性。显然，使用人的视觉观察来检测图像内插损坏或伪像是费时的，且需要大量的人力资源。图像质量的测量通常是被很好开发的主题领域，其已经被研究了几十年且在学术文献中被广泛讨论。存在着两个主要的测量类别“双端”测量(在该测量中，将损坏的图像与相应的未被损坏的图像进行比较)和“单端”测量(该测量试图仅根据损坏图像估计损坏程度)。双端类别被进一步划分成两个子类别“全参考(reference)”测量(在该测量中，在损坏图像和未损坏图像的全分辨率版本之间进行比较)和“简化参考”测量(在该测量中，在损坏图像和未损坏图像之间进行比较，但涉及比较降低的分辨率或比较图像的测量属性而非图像自身的直接比较)。简化参考质量度量有时在没有足够带宽来传递整个未损坏图像至损坏图像测量发生于其中的点、但是有足够的辅助或侧信道带宽来传递关于未损坏图像的一些元数据的应用中使用。质量测量技术能够适于(pertain to)单独图像，或者适于单独图像对的比较，或者适于两个图像序列中相应图像对(例如，在压缩编码和解码之后具有相同材料的视频源视频序列的比较)。单端质量度量的优点在于其不需要访问参考图像或图像序列，但是它们通常专用于特定类型的损坏或特定的环境，诸如压缩块的测量。双端全参考度量和简化参考质量度量的约束在于在对未损坏图像进行测量的点处需要关于未损坏源的一些或所有图像信息，但一般而言它们在范围上更广且能够被更广泛地米用。在图像质量评估领域中，最经常遇到的度量是基于损坏和未损坏图片之间的像素差(误差)的测量的双端技术。这些通常涉及图像亮度分量的差，虽然也使用其他分量。示例包括绝对误差的测量、均方误差(MSE)的测量、均方根误差(RMS)的测量、以及由下式定义的峰值信号与噪声比(PSNR)的测量本文档来自技高网...

【技术保护点】
一种用于检测由从两个或更多个邻近图像对其进行内插的图像中因内插引起的图像损坏的计算机实施的方法，每个图像包括多个像素，该方法包括：将基本上移位不变的图像变换应用于所述内插图像和应用于所述邻近图像中的至少一个邻近图像以获得针对每个图像的变换后的图像表示，每个变换后的图像表示包括基本上与所述图像中的所述像素的空间位置无关的多个值；将所述内插图像和所述邻近图像中的至少一个邻近图像的变换后的图像表示中的对应值进行比较；对所述比较的结果求和；以及根据所述比较的结果的和来检测所述变换后的图像表示之间的差异，该差异指示由内插引起的所述内插图像中的图像损坏。

【技术特征摘要】
2011.10.04 GB 1117191.51.一种用于检测由从两个或更多个邻近图像对其进行内插的图像中因内插引起的图像损坏的计算机实施的方法，每个图像包括多个像素，该方法包括 将基本上移位不变的图像变换应用于所述内插图像和应用于所述邻近图像中的至少一个邻近图像以获得针对每个图像的变换后的图像表示，每个变换后的图像表示包括基本上与所述图像中的所述像素的空间位置无关的多个值； 将所述内插图像和所述邻近图像中的至少一个邻近图像的变换后的图像表示中的对应值进行比较； 对所述比较的结果求和；以及 根据所述比较的结果的和来检测所述变换后的图像表示之间的差异，该差异指示由内插引起的所述内插图像中的图像损坏。2.根据权利要求1所述的方法，其中，所述变换后的图像表示包括所述图像的功率频3.根据权利要求2所述的方法，其中，每个表示中的所述多个值包括高频分量和低频分量处的功率或能量值。4.根据前述任一权利要求所述的方法，其中，所述基本上移位不变的图像变换被应用于每个所述邻近图像；以及所述比较步骤包括将所述内插图像和每个所述邻近图像的变换后的图像表示中的对应值进行比较。5.根据前述任一权利要求所述的方法，该方法还包括将所述内插图像和一个或多个邻近图像划分成多个图像块，所述图像块包括多个像素；其中所述应用步骤包括将基本上移位不变的图像变换应用于所述内插图像和所述邻近图像中的每个图像中的一个或多个图像块中的每个图像块，以获得包括多个值的变换后的图像表示，该多个值与针对所述一个或多个图像块中的每个图像块的图像中的像素的空间位置基本上无关；以及所述比较步骤包括将所述内插图像和所述邻近图像中在空间上对应的图像块的变换后的图像表示中的对应值进行比较。6.根据权利要求5所述的方法，该方法还包括形成针对所述内插图像中的一个或多个图像块中的每个图像块而言图像损坏存在的程度的指示。7.根据权利要求6所述的方法，该方法还包括使用针对所述内插图像的一个或多个图像块中的每个图像块而言图像损坏存在的程度的指示来获得针对整体内插图像而言图像损坏存在的程度的指示。8.根据前述任一权利要求所述的方法，其中，所述检测步骤包括将所述比较结果的和与阈值进行比较，以确定差异是否指示由内插误差引起的图像损坏。9.根据权利要求2至8中任一权利要求所述的方法，该方法还包括在对所述功率频谱进行比较之前，对所述功率频谱进行滤波以平滑所述功率率中的变化。10.根据权利要求2至9中任一权利要求所述的方法，其中，所述检测步骤包括检测在所述内插图像中的一个或多个频率分量处增加的功率或能量。11.根据权利要求2至10中任一权利要求所述的方法，其中，所述检测步骤包括检测在所述内插图像中的一个或多个频率分量处减小的功率或能量。12.根据前述任一权利要求所述的方法，其中，所述比较步骤包括针对所述内插图像的所述变换后的图像表示中的每个值，确定所述内插图像的变换后的图像表示中的值与所述至少一个邻近图像的变换后的图像表示中的对应值的比率；以及对所述比率求和。13.根据权利要求4或权利要求5至12中任一权利要求所述的方法，当从属于权利要求4时，其中，将所述内插图像的变换后的图像表示中的每个值与所述邻近图像的变换后的图像表示中的对应值的平均值进行比较。14.根据权利要求4或权利要求5至11中任一权利要求所述的方法，当从属于权利要求4时，其中，所述比较步骤包括针对所述内插图像的变换后的图像表示中的每个值，确定所述内插图像的变换后的图像表示中的值与所述邻近图像的变换后的图像表示中的每个变换后的图像表示中的对应值之间的差异幅度的和与所述邻近图像的变换后的图像表示中的对应值之间的差异幅度的比率；以及对所述比率求和。15.一种计算机程序，该计算机程序被配置成当在计算机上运行时执行根据前述任一权利要求所述的方法。16.一种用于检测由从两个或更多个邻近图像对其进行内插的图像中因内插引...

【专利技术属性】
技术研发人员：J·迪金斯，
申请(专利权)人：想象技术有限公司，
类型：发明
国别省市：