超高分辨率视频处理的稀疏几何结构制造技术

在分析输入视频序列的方法中，输出视频序列合成图像的像素与属于趋势预定子集的各个规律趋势相关联。从预定集中确定输出序列的第一图像区域的候选趋势的第一子集。根据输入序列的图像和候选趋势的第一子集，从趋势的预定集中确定第一图像之后的输出序列第二合成图像对应区域的候选趋势的第二子集。从候选趋势的第二子集中检测第二合成图像这个区域的像素的规律趋势。候选趋势子集的递归确定为视频序列的有效分析提供了稀疏几何。该方法非常适用于超高分辨率视频应用，例如去隔行扫描，帧频转换和降噪。

【技术实现步骤摘要】
【国外来华专利技术】超高分辨率视频处理的稀疏几何结构
技术介绍
本专利技术涉及数字视频处理的方法。具体地，本专利技术能够用在超高分辨率视频处理 领域。超高分辨率视频处理方法应用于包括超高分辨率插值(例如，帧频转换，超高分辨率 视频的缩放和去隔行扫描)以及减少压缩伪像和/或噪声的各种应用中。在数字系统中，视频序列通常表示为像素值的列阵It (χ)，式中t为整数时间索引， X为一个表示图像中的像素位置的二维整数索引(Xl，X2)。该像素数值可以是例如单一数字 (例如，灰度值)或表示在颜色空间(例如，RGB，YUV，YCbCr，等)中的颜色坐标的三数集。超高分辨率视频处理方法通过结合在多个时间相邻的视频帧的像素值来计算新 像素值(用于插值)或者已有像素的新值(降低噪声)。文献WO 2007/115583 Al阐述了一种显示很少伪像的超高视频处理方法。该方法 包括为每个将要算计的新像素选择最适合计算该像素的插值。然而，对某些特定序列，就需 要通过增加被考虑插值的总数量来改善该方法。但是，质量的提高是以较高复杂度为代价 的。在视频插值的应用中，现有技术为动态自适应或动态补偿。当视频不运动时，动态自适应视频的去隔行扫描只提供全分辨率的去隔行扫描 帧。否则，去隔行扫描帧会出现锯齿状的轮廓或者较低分辨率纹理以及闪烁。例如，美国专 利No. 5，428，398描述了先进动态自适应技术的实例。众所周知，动态补偿技术可达到较高的质量等级，但与动态自适应技术相比，是以 较低的鲁帮性和在有些情况下显示较为严重的伪像为代价的。这种情况尤其发生在动态预 测不能很好工作的视频的位置，如遮挡物，透明物体或阴影。美国专利No. 6，940，557讨论 了动态补偿去隔行扫描技术的实例。执行帧频转换的标准方法包括用于计算密集动态区域的预测两帧之间的动态预 测，以及通过动态补偿插值计算新的帧。由于上述相同的原因，根据这样步骤的帧频换转换 会有一些缺点。密集的动态预测对周期模式、轮廓、或平坦区域失去效果。动态预测的常用技术称为“块匹配”。在块匹配技术中，预测在χ和t上的动态包括 通过窗W的最小化匹配能量Ex(V)，其中一组偏移量为d= (ClljCl2)0匹配能量(Lrenergy)的可能形式为Ex(V) = ^l't(x+d)-lt+i(x+d+v)|。另一种经常使用的形式为L2能量dew_^ 2(L2-energy)或欧几里得距离(Euclidean distance) :Ex(v)= X|lt(x+d)-lt+l(x+d+v)|。deW块匹配非常适合视频补偿方案中的动态补偿，例如，使用根据块变换的MPEG。如果 匹配算法匹配图像中有两个窗口，该图像具有相似性但不是表示相同对象(例如，在单词 “sweet”的图像中，用第二个‘e’匹配第一个‘e’)，则压缩效果不会有损失。但是，当执行 视频插值时，不能与实际相同对相对应的匹配像素组会产生插值伪像，这是由于图像中所 显示的对象中的空间相关性使得插值像素会反映出“不正确的动态”。块匹配的方法是计算密集型的，且与各个像实际考虑的可能位移的数量成比例。 在视频压缩中，“快速”块匹配方案包括使用预定动态子集合来限制可能位移的范围。这在视频插值中是不能接受的，在视频插值中，使用不太精确的位移向量会导致模糊插值图像 或者形成伪像。为了避免在运动预测中的这些问题，已开发多种不同的方法。第一类方法强调在 动态区域中的平滑性约束，例如，通过相邻的像素进行平滑处理，因而对相应的动态向量是 相互接近的。该方法可利用多个尺度的动态预测或递归块匹配来实现。另一类解决该问题 的方法是相位相关。美国专利No. 5，742，710讨论了根据多个尺度的块匹配的方法。在两个尺度的情 况中，块匹配在各个维度减少2倍的尺寸因子(即，像素减少4倍)的It和It+Ι的副本之 间执行，并细化所产生的位移图从而获得好两倍的分辨率。细化处理是在粗尺寸结果周围 的限制范围的搜索。因此，因为仅仅只对较小的图像进行全范围的搜索，可以降低位移搜索 的代价。所产生的位移区域同样更加平滑，因为其进精细化了低分辨的图(map)。但是，在 视景(scene)中的动态不能通过平滑的位移图进行准确的计算动态区域基本上不连续， 尤其是在遮挡对象的附近。实施位移图的平滑约束不是解决鲁棒性问题的合适方法。以相似方法来解决这个问题的另一类方法是递归块匹配，如文献〃 True-Motion with 3D Recursive Search Block Matching" ,G.De Haan etal. ,IEEE Transactions on Circuits and Systems for Video Technology, Vol. 3, No. 5, October 1993, pp. 368—379 所阐述的。这种方法显著降低了计算动态图的代价，但是仍然会受到周期模式或者甚至遮 挡物误导。文献GB-A-2 188 510阐述了称为相位相关的方法，其为候选位移集合通过一个 大图像窗计算位移能量图。该图可以通过快速傅立叶变换进行有效的计算。对应于在该能 量图中峰值的位移子集合确定为这个窗所包括的最具代表性的位移。随后，块匹配仅以考 虑这个位移子集的第二步骤像素(pixelwise)进行执行。这个方法降低了动态预测的复杂性，并且还能够检测不连续的动态图。根据相位 相关技术，动态图也是规范和约束的，但非常不同于空间规范方法。取代了对动态图进行局 部平滑，相位相关限制了在动态图中的不同可能向量集合的固定数量。但是，相位相关还要求根据二维快速傅里叶变换的相对复杂计算，其硬件实施的 代价很大。此外，该方法根据动态向量的相位相关有关的各自特性来选择动态向量。所以， 其具有限制提供最小动态向量集合的能力。当然，当一个移动模式具有周期性结构或者位 移不变时，不同的向量具有可比较特性量，并且难以对它们之间的相位相关进行判断。因 此，产生的动态补偿视频插值处理方法具有次优的鲁棒性。这也具有复杂性的代价，因为对 于所有的像素都需要考虑多于必要数量的候选动态向量。其它类型的方法包括通过在候选向量中计算低复杂性匹配能量进行选择第一位 移子集。这样可以在某种程度上降低计算的复杂性，但是，这不是一种使动态补偿插值更加 可靠的合适方法。减少视频序列噪声的典型和最普遍的方法包括动态补偿递归或非递归时间滤波。 可以参考，例如文献〃 Noise reduction in ImageSequences Using Motion-Compensated Temporal Filtering" , E.Duboisand S. Sabri, IEEE Transactions on Communications, Vol. C0M-32, No. 7，July 1984，pp. 826-832。该方法包括了在帧和先前帧之间的动态预测， 以及通过时间滤波器随着预测动态对视频序列进行滤波。其它已知的方法是用动态补偿的三维(3D)小波变换。参 考， 例 如 文献"Three-Dimensional Embedded Subband Coding with OptimizedTruncation(3D-ESC0T)“ , Xu, 本文档来自技高网...

【技术保护点】
一种分析输入视频序列的分析方法，其使输出视频序列合成图像的像素与属于趋势预定集合（Ω）的各个规律趋势相关联，所述方法包括：－从所述趋势预定子集中，确定所述输出序列第一图像（＊↓［τ］）区域的候选趋势的第一子集（Ｄ↓［τ］）；－根据输入序列的图像（Ｉ↓［ｔ］、Ｉ↓［ｔ＋１］）和所述候选趋势的第一子集（Ｄ↓［τ］），从所述趋势预定集中，确定在第一图像后的第二合成图像（＊↓［τ′］）输出序列对应区域的候选趋势的第二子集（Ｄ↓［τ′］）；以及，－从所述候选趋势的第二子集中，检测所述第二合成图像所述区域的像素规律趋势。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：琼布鲁纳埃斯特拉奇，马克亚历山大香德，
申请(专利权)人：卓然法国，
类型：发明
国别省市：FR[法国]