用于高效视频处理的方法和系统技术方案

本发明专利技术的实施例针对用于计算上高效地对视频帧的流进行去噪、锐化、对比度增强、去模糊和其他空间和时间处理的高效的视频处理方法和系统。本发明专利技术的实施例使仅针对从视频流中以固定的或可变的间隔选择的小百分比的视频帧执行的统计量相关计算与针对视频流的每个帧执行的各种空间和时间处理步骤分离，所述统计量相关计算包括估计像素值关联方差、标准差、噪声阈值和信号对比度阈值。在本发明专利技术的某些实施例中，统计量相关计算由计算机系统的一个或多个通用处理器执行，而逐帧的空间和时间处理由计算机系统中的一个或多个专用图形处理器执行。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理，并且具体地，涉及一种用于将各种处理操作应用于视频流 的帧的高效视频处理方法和系统，所述处理操作包括对视频图像流进行去噪、锐化、增强和 去模糊。
技术介绍
当前，图像处理是对其付出了显著的研究和开发努力的重要的
随着 包括手持式摄像机、视频会议系统、蜂窝电话和包括通过互联网的视频图像的实时传送的 视频分送信道的各种类型的视频图像捕获、传输和显示设备的可用性的增加以及成本的降 低，视频图像的处理正在变为日益重要的研究和开发领域并且提供了视频处理系统的越来 越大的市场。在许多应用中，可以在视频采集之后以及在视频分送之前通过计算上昂贵的技术 执行视频处理。然而，在许多当前的和涌现的应用中，诸如在实时视频处理系统中，视频处 理需要快速地和高效地执行。视频会议是其中实时视频处理可以提供众多益处的应用的一 个示例。视频会议设备制造商和销售商已经确定，视频会议的有效性可以极大地取决于递 送到视频会议参与者的视频图像的质量。通过使用复杂的和昂贵的相机、高端显示系统、大 量的专用计算硬件和宽带宽通信信道，可以实现视频质量。不幸地，这种昂贵的、高端视频 会议系统的市场较之较低成本的视频会议系统的潜在市场是相对小的。需要实时视频处理 的视频会议设备和其他系统的研究人员和开发人员、制造商和销售商以及视频会议设备和 其他这种基于视频的系统的用户均已认识到需要较低成本的基于视频的系统，其中视频处 理部件可以用于在计算上抵消因使用不太昂贵的相机、通信信道和专用硬件而导致的视频 图像质量的降低。
技术实现思路
本专利技术的实施例针对用于计算上高效地对视频帧的流进行去噪、锐化、对比度增 强、去模糊和其他空间和时间处理的高效的视频处理方法和系统。本专利技术的实施例使仅针 对从视频流中以固定的或可变的间隔选择的小百分比的视频帧执行的统计量相关计算与 针对视频流的每个帧执行的各种空间和时间处理步骤分离，所述统计量相关计算包括估计 像素值关联方差、标准差、噪声阈值和信号对比度阈值。在本专利技术的某些实施例中，统计量 相关计算由计算机系统的一个或多个通用处理器执行，而逐帧的空间和时间处理由计算机 系统中的一个或多个专用图形处理器执行。附图说明图1图示了二维图像信号。图2示出了具有数值像素值的图1的二维图像。图3A-E图示了由本专利技术的方法和系统实施例执行的各种类型的图像和视频帧处理的简单示例。图4提供了简单的计算机系统的高级别的类似框图的表示。图5图示了图像中的邻域的概念。图6A-B图示了基于邻域的操作中使用的图像的各种类型的遍历。图7图示了由本专利技术的方法和系统实施例解决的基本问题。图8图示了表示本专利技术的一个实施例的实时高质量视频处理系统。图9-11图示了表示本专利技术的一个实施例的实时视频处理系统的噪声和对比度模 块的操作。图12图示了两个图像A和B的相加。图13图示了被称为“缩减(downscaling)”的一种类型的缩放操作。图14图示了 D操作的一个实施例。图15图示了权重模板(mask) W中包括的权重的计算。图16图示了通过将D操作两次应用到中间尺度图像而获得的高斯金字塔的一部 分。图17图示了 U操作的一个实施例图18图示了本专利技术的实施例中使用的鲁棒过滤操作的一个实施例。图19图示了作为本专利技术的实施例中使用的上文参照图18描述的鲁棒过滤操作的 一部分的针对原始图像Y的每个像素Y(i，j)执行的过滤操作fs(i，j)。图20图示了在本专利技术的实施例中使用的过滤操作fs(i，j)中使用的非线性函数 的一般形式。图21图示了在本专利技术的实施例中使用的函数Ψ3。图22示出了在图15中使用的许多图示约定。图23图示了由本专利技术的各种实施例中的多尺度去噪、锐化和对比度增强模块使 用的一个多尺度鲁棒锐化和对比度增强方法。图Μ-25图示了由表示本专利技术的一个实施例的实时视频处理系统的运动检测模 块针对当前分析的帧中的每个像素执行的计算。图沈-29图示了表示本专利技术的一个实施例的实时视频处理系统的自适应时间处 理模块的操作。图30示出了用于本专利技术的实时视频处理方法的实施例的高级别控制流程图。图31提供了表示本专利技术的一个实施例的实时视频处理系统的噪声和对比度模块 的控制流程图。图32提供了表示本专利技术的实施例的实时视频处理系统的运动检测模块的控制流 程图。图33提供了用于表示本专利技术的一个实施例的视频处理系统的自适应时间处理模 块的控制流程图。具体实施例方式本专利技术的实施例针对计算上高效的实时视频处理。首先，提供了数字图像和数字 图像处理的一般概况，作为本专利技术的实施例的后继描述的背景。然后，提供了表示本专利技术的一个实施例的计算上高效的实时视频处理系统的概况。随后更详细地讨论了该系统的部 件。最后，提供了用于表示本专利技术的一个实施例的视频图像处理方法的控制流程图。图像处理背景图1图示了二维图像信号。如图1中所示，二维图像信号可以被视为包含具有索引 0，1，…，r-Ι的R个行和具有索引0，1，…，C-I的C个列的二维矩阵101。通常，单个大写字 母，诸如字母“Y”，用于表示整个图像。图1中示出的二维图像Y中的每个元素或单元被称 为“像素”并且由一对坐标来指代，一个坐标指定其中包含该像素的行而另一个坐标指定其 中包含该像素的列。例如，图像Y中的单元103被表示为Y(l，2)。图2示出了具有数值像素值的图1的二维图像。在图2中，每个像素与数值值关 联。例如，在图2中像素Υ(2，8) 202被示出为具有值“97”。在某些情况中，特别是黑白照 片中，每个像素可以与单个灰度值关联，该灰度值的范围常常是从表示黑色的0到表示白 色的255。对于彩色照片，每个像素可以与多个数值值关联，诸如亮度值和两个色度值，或者 替选地，三个RBG (红蓝绿)值。在其中像素与不止一个值关联的情况中，图像增强技术可以 单独地应用于分图像，每个分图像表示从每个像素中选择的一种类型的像素值的集合。替 选地，图像增强技术可以被应用于计算的单值像素图像，其中通过针对与原始图像中的像 素关联的多个值的数学运算来为每个像素生成计算值。替选地，图像增强技术可以主要应 用于仅亮度分图像。在下面的讨论中，图像被视为单值的，如例如与黑白照片中的像素关联 的灰度值那样。然而，通过将本专利技术的公开方法单独地应用于一个或多个分图像或者通过 在数学上组合与每个像素关联的多个值以计算与每个像素关联的单个值，并且将本专利技术的 方法应用于计算像素值的集合，可以将本专利技术的方法直接应用于具有多值像素的图像和信 号。应当注意，尽管图像被视为像素值的二维阵列，但是图像可以作为数值值的连续列表， 作为值的压缩序列或者以其他方式被存储和传送。下面的讨论假设，不管图像被如何存储 和传送，图像可以被视为像素值的二维矩阵，所述像素值可以通过针对二维矩阵的各种类 型的操作而进行变换。视频流由时间排序的一系列视频图像(在下文中被称为“帧”)组成，每个帧通常在 时间上与前一帧和后一帧隔开诸如1/30秒的某个固定时间间隔。各种视频处理方法可以 应用于隔离的帧，并且其他方法可以应用于连续的时间排序的帧子集。图3Α-Ε图示了由本专利技术的方法和系统实施例执行的各种类型的视频帧处理的简 单示例。在图3Α-Ε的每一个中，示出了两个非常小的数字图像区域，一个图像是本文档来自技高网...

【技术保护点】
１．　一种视频处理系统，其接收视频帧的输入流并且输出增强帧的流以进行存储、传送、和／或再现以用于显示，所述实时视频处理系统包括：在计算机系统的一个或多个中央处理单元上执行的测量模块，其根据所述视频帧的输入流的选定帧生成关于像素值的统计量的一个或多个函数；以及在计算机系统的一个或多个图形处理器单元上执行的处理模块，其使用由所述测量模块生成的所述关于像素值的统计量的一个或多个函数来处理所述视频帧的输入流的每个帧，包括对每个帧进行去噪、锐化、对比度增强和去模糊，以便于输出增强帧的流。

【技术特征摘要】
【国外来华专利技术】1.一种视频处理系统，其接收视频帧的输入流并且输出增强帧的流以进行存储、传 送、和/或再现以用于显示，所述实时视频处理系统包括在计算机系统的一个或多个中央处理单元上执行的测量模块，其根据所述视频帧的输 入流的选定帧生成关于像素值的统计量的一个或多个函数；以及在计算机系统的一个或多个图形处理器单元上执行的处理模块，其使用由所述测量模 块生成的所述关于像素值的统计量的一个或多个函数来处理所述视频帧的输入流的每个 帧，包括对每个帧进行去噪、锐化、对比度增强和去模糊，以便于输出增强帧的流。2.根据权利要求1所述的视频处理系统，其中所述测量模块通过如下方式之一选择 根据其生成所述关于像素值的统计量的一个或多个函数的帧按固定帧间隔选择在所述视频帧的输入流中出现的每个帧； 按固定时间间隔选择在所述视频帧的输入流中出现的每个帧； 按可变帧间隔选择在所述视频帧的输入流中出现的每个帧；以及 按可变时间间隔选择在所述视频帧的输入流中出现的每个帧。3.根据权利要求1所述的视频处理系统，其中所述测量模块通过如下方式根据所述 视频帧的输入流的选定帧生成关于像素值的统计量的一个或多个函数根据所述帧生成像素块； 为每个块计算平均像素值和估计的样本方差； 将所述块划分为分区，每个分区与不同的平均像素值关联； 对于每个分区，基于估计的样本方差移除离群块以产生不具有离群块的块分区， 根据不具有离群块的块分区的许多块计算噪声相关估计方差和/或标准差，所述许多 块在不具有离群块的块分区的块中具有最低估计样本方差，以及 根据不具有离群块的块分区的块计算对比度相关方差；计算关于像素值的噪声相关方差的函数和/或关于像素值的噪声相关标准差的函数；以及计算关于像素值的对比度相关方差的函数。4.根据权利要求1所述的视频处理系统，其中所述处理模块包括多尺度去噪、锐化和 对比度增强模块，其通过如下方式对每个输入帧进行去噪、锐化和对比度增强以生成对应 的经空间处理的帧在大于最低分辨率尺度的一个或多个当前考虑的分辨率尺度的每一个下， 使输入帧或者从所述输入帧得到的中间帧缩减以产生用于输入到下一较低分辨率尺 度的中间帧，使从较低分辨率尺度接收到的中间帧放大以产生用于输出到下一较高分辨率尺度的 中间帧，以及使用关于像素值的噪声相关方差的函数或者关于像素值的噪声相关标准差的函数来 计算噪声相关阈值，对所述输入帧或中间帧中的至少一个进行鲁棒过滤。5.根据权利要求4所述的视频处理系统，其中所述处理模块包括运动检测模块和自 适应时间处理模块。6.根据权利要求5所述的视频处理系统，其中所述运动检测模块通过如下方式生成用于所述多尺度去噪、锐化和对比度增强模块生成的每个经空间处理的帧中的每个像素的 因子ω u 在基于邻域的操作中，通过如下方式考虑邻域η (i, j, t)中的在视频帧流中的时间t处 出现的经空间处理的帧中的每个像素(i，j)计算邻域n(i，j，t)中的每个像素k即n(i，j，t)k和在所述视频帧流中的时间t-Ι处 出现并且紧邻在所述视频帧流中的时间t处出现的经空间处理的帧之前的经空间处理的 帧的邻域中的对应像素k即n(i，j, t-l)k之间的差的量值，根据邻域n(i，j，t)和邻域n(i，j，t-...

【专利技术属性】
技术研发人员：P基西列夫，S谢恩，
申请(专利权)人：P基西列夫，S谢恩，
类型：发明
国别省市：US