视频稳像方法及其装置制造方法及图纸

本发明专利技术涉及智能视频监控领域，公开了一种视频稳像方法及其装置。本发明专利技术中，针对背景建模的模型，利用输入图像维护其背景，利用矫正图像维护其前景，延伸了背景建模的模型中背景与前景只用输入图像进行维护的思路，较好地抑制了由于抖动造成的虚假前景，减少了漏报和误报现象，提高了视频监控的有效性。在视频稳像过程中，合理地把仿射变换模型、RANSAC算法与最小二乘法结合起来，这样较好地描述了由于抖动造成的输入图像与背景建模的模型中的背景的几何变换关系。最小二乘法保证所求的参数在均方意义下误差最小，可以进一步减少光流匹配带来的误差。

【技术实现步骤摘要】
视频稳像方法及其装置
本专利技术涉及智能视频监控领域，特别涉及视频稳像技术。
技术介绍
随着计算机视觉和模式识别等技术的发展和成熟，智能视频监控（IntelligentVideoSurveillance，简称“IVS”）系统逐渐走进了人们的视线。IVS是一种基于视频分析，并提取出语义级别信息的技术，它包括前景分割、目标跟踪和事件检测等几个环节。相对于传统“以人为本”的监控模式，IVS系统有以下几个特点：1、传统监控模式需要人通过监视器观察，长时间特别是同时观察多路视频时必然会导致人的疲劳；而基于数字信号处理器、电脑或者图形处理器的IVS系统不会有“疲劳”的问题。2、传统监控模式一般有异常情况发生以后，都是事后取证，有时候需要安排人力在海量的数据库中搜索；而IVS可以“事先预警”、“事中报警”或者是在数据流中利用时间戳快速定位到事件发生的时间，减少了人力搜索的成本。3、IVS其实并非比人类还智能，这样就难免存在一些漏报和误报，所以它可以作为传统模式的一种辅助，提高监控的有效性。如何提升IVS系统在各种实际应用场景的鲁棒性，一直是学术界、工业界亟待解决的问题。由于某些IVS应用场景摄像头架设位置较高，所以大风会导致摄像头抖动，从而导致所拍摄的画面也存在抖动，造成误报和漏报。针对这种场景，现有技术中的解决策略通常有以下几种：1、考虑到背景建模前景在频率上的特征，其中抖动位置（一般是纹理较丰富位置）引起的前景频率较大，所以通过某种概率统计，针对这些前景频率出现较大的位置做一个处理（比如说屏蔽该区域，不让生成前景）。这样可以大大降低因为抖动生成的虚假前景，从而降低抖动引起的误报。但是与之产生的一个问题是，如果有正常目标在这些位置出现，那么正常目标也不会生成前景了。2、在IVS处理视频之前，或者具体说在背景建模处理之前加入一个视频稳像单元，如图1所示。这种想法中视频稳像作为单独一个单元，单元间的耦合小，而且确实有一定效果，能够减少一部分由于抖动引起的虚假前景。该算法的假设是把摄像机运动分解为正常运动与抖动，而抖动相对于正常运动运动频率高，所以该算法把多帧的运动之和进行低通滤波，然后再把需要矫正的那一帧图像针对该低频分量补偿回来。但是该算法针对IVS算法中碰到的抖动场景也有不足，首先抖动不一定完全是高频振动，也有可能是幅度较大而频率较低的运动，这种运动已经与摄像机正常运动非常类似了，所以假设不成立。而且，在这种情况下，由于抖动造成的虚假前景点还是很多。
技术实现思路
本专利技术的目的在于提供一种视频稳像方法及其装置，较好地抑制了由于抖动造成的虚假前景，减少了漏报和误报现象，提高了视频监控的有效性。为解决上述技术问题，本专利技术的实施方式公开了一种视频稳像方法，包括以下步骤：根据输入图像提取特征点；根据提取的特征点对背景图像进行光流特征点跟踪，得到输入图像和背景图像之间相匹配的特征点对的集合；根据几何变换模型从特征点对的集合中选择有效点的集合；利用有效点的集合，计算出几何变换模型的最终参数；根据最终参数对输入图像进行几何变换，得到矫正图像；将得到的矫正图像进行背景建模得到前景图像。本专利技术的实施方式还公开了一种视频稳像装置，包括：特征点提取单元，用于根据输入图像提取特征点；光流算法单元，用于根据特征点提取单元提取的特征点对背景图像进行光流特征点跟踪，得到输入图像和背景图像之间相匹配的特征点对的集合；有效点选择单元，用于根据几何变换模型从光流算法单元输出的特征点对的集合中选择有效点的集合；参数计算单元，用于利用有效点选择单元选择的有效点的集合，计算出几何变换模型的最终参数；几何变换单元，用于根据参数计算单元计算出的最终参数对输入图像进行几何变换，得到矫正图像；背景模型单元，用于将几何变换单元输出的矫正图像进行背景建模得到前景图像。本专利技术实施方式与现有技术相比，主要区别及其效果在于：针对背景建模的模型，利用输入图像维护其背景，利用矫正图像维护其前景，延伸了背景建模的模型中背景与前景只用输入图像进行维护的思路，较好地抑制了由于抖动造成的虚假前景，减少了漏报和误报现象，提高了视频监控的有效性。进一步地，在视频稳像过程中，合理地把仿射变换模型、RANSAC算法与最小二乘法结合起来，这样较好地描述了由于抖动造成的输入图像与背景建模的模型中的背景的几何变换关系。进一步地，在实际监控过程中，很多抖动场景并不是规律的抖动，由于大风等影响，有可能摄像机长期偏向一侧，在这种情况下，重新启动背景建模的模型，进一步提到了视频监控的有效性。进一步地，最小二乘法保证所求的参数在均方意义下误差最小，可以进一步减少光流匹配带来的误差。附图说明图1是现有技术中一种视频稳像方法的示意图；图2是本专利技术第一实施方式中一种视频稳像方法的流程示意图；图3是本专利技术第一实施方式中一种视频稳像方法的示意图；图4是本专利技术第一实施方式中一种视频稳像方法的示意图；图5是本专利技术第三实施方式中一种视频稳像装置的结构示意图。具体实施方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本专利技术所要求保护的技术方案。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的实施方式作进一步地详细描述。本专利技术第一实施方式涉及一种视频稳像方法。图2是该视频稳像方法的流程示意图。具体地说，如图2所示，该视频稳像方法包括以下步骤：在步骤201中，根据输入图像提取特征点。在IVS系统中，输入图像可以为RGB三通道图像，也可以为YUV三通道图像。在申请中为了描述方便，且不失普遍的只利用了Y通道图像，也就是灰度图。在本实施方式中，优选地，特征点为Harris角点。对于卢卡斯光流跟踪来说，纹理比较丰富的区域往往特征点跟踪效果较好，由于角点选择的判别准则与卢卡斯光流跟踪是否准确的判别准则一致，因此，具体操作一般都是选择Harris角点作为光流的初始跟踪点。给定一个点坐标公式我们定义自相关函数E(x,y),如式(1)，其中I(xk+Δx,yk+Δy)利用泰勒公式展开，如式(2)，这样我们就得到式(3)，其中矩阵A(x,y)特征值的大小作为角点选择的判别本文档来自技高网...

【技术保护点】
一种视频稳像方法，其特征在于，包括以下步骤：根据输入图像提取特征点；根据提取的特征点对背景图像进行光流特征点跟踪，得到输入图像和背景图像之间相匹配的特征点对的集合；根据几何变换模型从特征点对的集合中选择有效点的集合；利用有效点的集合，计算出几何变换模型的最终参数；根据最终参数对输入图像进行几何变换，得到矫正图像；将得到的矫正图像进行背景建模得到前景图像。

【技术特征摘要】
1.一种视频稳像方法，其特征在于，包括以下步骤：根据输入图像提取特征点；根据提取的特征点对背景图像进行光流特征点跟踪，得到输入图像和背景图像之间相匹配的特征点对的集合；根据几何变换模型从特征点对的集合中选择有效点的集合；利用有效点的集合，计算出几何变换模型的最终参数；根据最终参数对输入图像进行几何变换，得到矫正图像；将得到的矫正图像进行背景建模得到前景图像。2.根据权利要求1所述的视频稳像方法，其特征在于，在所述根据提取的特征点对背景图像进行光流特征点跟踪，得到输入图像和背景图像之间相匹配的特征点对的集合的步骤之前，还包括以下子步骤：将输入图像进行背景建模得到背景图像。3.根据权利要求2所述的视频稳像方法，其特征在于，在所述利用有效点的集合，计算出几何变换模型的最终参数的步骤之后，还包括以下步骤：判断几何变换模型的最终参数中表示平移的两个参数大于预设门限的持续时间是否超过阈值，如果是，则对背景建模的模型重新初始化。4.根据权利要求3所述的视频稳像方法，其特征在于，所述背景建模的方法为高斯背景建模。5.根据权利要求4所述的视频稳像方法，其特征在于，所述特征点为Harris角点。6.根据权利要求5所述的视频稳像方法，其特征在于，在所述根据提取的特征点对背景图像进行光流特征点跟踪，得到输入图像和背景图像之间相匹配的特征点对的集合的步骤中，采用的是卢卡斯·卡纳德光流算法。7.根据权利要求6所述的视频稳像方法，其特征在于，所述几何变换模型为仿射变换几何模型。8.根据权利要求1至7中任一项所述的视频稳像方法，其特征在于，在所述根据几何变换模型从特征点对的集合中选择有效点的集合的步骤中，包括以下子步骤：在特征点对中，随机选取不共线的3个点对，算出仿射变换的6个参数；利用得到的仿射变换模型去套用其它的特征点对，计算符合这个模型的点对的个数，符合是指输入图像中的某个特征点根据...

【专利技术属性】
技术研发人员：王超，全晓臣，蔡巍伟，任烨，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33