一种全局运动矢量估计方法及监控视频稳像方法及装置制造方法及图纸

本发明专利技术提供的全局运动矢量估计方法和监控视频稳像方法，根据上采样图像全局运动矢量和修正全局运动矢量计算最终的全局运动矢量。通过在下采样图像中进行特征点检测和匹配，可以快速估计出全局运动，然后在匹配的特征点上做块匹配，块匹配精度和效率更高。根据所述全局运动平滑矢量和所述全局运动矢量的差别计算抖动运动矢量；判断所述抖动运动矢量是否超出预设范围，若未超出则根据抖动运动矢量进行图像补偿，输出稳像图像。针对监控视频的特点，对其图像进行防抖处理，技术选择更合理，更有针对性，在保证算法有效的情况下，选择复杂度低的算法来实现，更加高效实时。

【技术实现步骤摘要】
一种全局运动矢量估计方法及监控视频稳像方法及装置
本专利技术涉及视频图像处理领域，具体涉及一种全局运动矢量估计方法及监控视频稳像方法及装置。
技术介绍
随着监控技术的发展，视频监控的应用场合越来越多。监控摄像机在许多应用场合会发生抖动，如交通路口的摄像机会由于刮风或者通过车辆的震动发生抖动。由于摄像机发生震动或抖动，使视频图像不稳定，高变倍摄像机的影响更加明显。不稳定的图像容易使观察者的视觉感到疲劳。相反，稳定的视频图像可以更好地表现图像细节，从而提高视频监控的质量。同时，稳定的图像为后端的数字视频记录设备提供了更有利于压缩的视频源，能大幅提高压缩比，可以在相同的码流下获得更高质量的压缩后图像，提高了传输信道的带宽，提高了通信系统的效率。监控摄像机有其特殊性，一般情况下监控摄像机自身不存在运动，而且抖动形式也相对简单，基本都是平移运动，所以防抖动技术也更应有针对性，应和手持设备的防抖技术区别开来。中国专利文献102547066A中公开了一种基于景像配准技术的视频稳像方法，可对待处理视频文件的每个单帧图像主要进行如下处理：设定图像帧中央的一个区块为显示子图，它取自图像帧，并且与图像帧显示在同一画面中；以前一图像帧的显示子图为配准模板；将当前图像帧与前一图像帧做配准计算，在当前图像帧中寻找与前一图像帧中相匹配的显示子图；将匹配的显示子图作为当前图像帧的显示子图，并将该显示子图作为新配准模板，供下一图像帧配准计算时使用；对前面多幅图像帧的显示子图坐标值相对于各自图像帧的坐标值做累计并计算运动平均值，以所述运动平均值调整显示子图在当前图像帧中的位置。该方案的不足之处在于景像匹配技术都比较复杂，不适合实时处理场景；同时运动平滑处理使用前面30帧的运动数据来平滑，有很大延迟不适合实时处理；而且需要在不抖动期间确定显示子图的位置，这个也不符合实际情况。此外，在中国专利文献102665033A中公开一种基于分层块匹配的实时数字视频稳像方法，其包括如下步骤：首先对输入图像做下采样处理；然后对下采样图像内M个搜索块进行设定范围的全搜索；在下采样图像搜索块中选取最佳运动矢量并输出；根据下采样图像最佳运动矢量在原始图像中进一步做求精全搜索，并输出原始图像最终运动矢量；对原始图像运动轨迹低通平滑滤波，并计算图像补偿量；根据图像补偿量对当前图像进行补偿。该方案的不足之处在于普通分层块匹配的效率并没有那么高，块的大小和搜索窗口的选择直接影响精度和效率，对于弱纹理区域块匹配会出现偏差且浪费时间，特别对于目前1080p甚至4K视频来说，实时性很难保证。
技术实现思路
因此，本专利技术要解决的技术问题在于克服现有技术中的视频稳像处理方法延时长、效率低的缺陷。本专利技术提供一种全局运动矢量估计方法，包括如下步骤：对当前帧图像在水平及垂直方向进行下采样；对下采样后的当前帧图像进行特征点检测得到特征点；针对检测到的特征点，以当前帧图像的所述特征点为中心提取图像块，在搜索范围内对上一帧图像对应特征点的位置进行块匹配，获得匹配的特征点，根据所述匹配的特征点获取下采样图像全局运动矢量；对下采样后的当前帧图像和下采样后的上一帧图像分别进行上采样，根据所述下采样图像全局运动矢量计算上采样图像全局运动矢量；对上采样后的当前帧图像中的所述匹配的特征点，在搜索范围内对上采样后的上一帧图像进行块匹配，计算修正全局运动矢量；根据所述上采样图像全局运动矢量和所述修正全局运动矢量计算最终的全局运动矢量。优选地，所述对下采样后的当前帧图像进行特征点检测得到特征点的步骤中，使用特征点检测阈值对下采样后的图像进行FAST特征点检测。优选地，在所述对当前帧图像在水平及垂直方向进行下采样的步骤之前，还包括获取所述特征点检测阈值的步骤，该步骤包括：分别在水平方向和垂直方向对上一帧图像进行下采样；使用预设阈值对下采样后的图像进行特征点检测，统计检测到的特征点的数量；根据所述特征点的数量获取所述特征点检测阈值。优选地，所述根据所述特征点的数量获取所述特征点检测阈值的步骤，包括：判断所述特征点的数量是否满足设定数量，如少于设定数量则减小预设特征点检测阈值得到调整阈值，如大于设定数量则增加所述预设特征点检测阈值得到调整阈值，使用调整阈值对下采样后的图像再次进行特征点检测，统计检测到的特征点的数量并循环本步骤，直至所述得到的特征点的数量满足设定的数量，将最后的调整阈值作为最终的特征点检测阈值。优选地，所述根据所述特征点的数量获取特征点检测阈值的步骤，包括：判断所述特征点的数量是否满足设定数量，如少于设定数量则减小预设特征点检测阈值得到调整阈值，如大于设定数量则增加所述预设特征点检测阈值得到调整阈值，使用调整阈值对下采样后的图像再次进行特征点检测，统计检测到的特征点的数量并循环本步骤，判断循环的次数是否达到预设最大值，如未达到则循环本步骤直至所述得到的特征点的数量满足设定的数量，将最后的调整阈值作为最终的特征点检测阈值；若循环的次数达到预设最大值，则将当前的调整阈值作为最终的特征点检测阈值。本专利技术提供一种监控视频稳像方法，包括如下步骤：采用所述的方法获取全局运动矢量；对全局运动矢量进行平滑处理得到全局运动平滑矢量；根据所述全局运动平滑矢量和所述全局运动矢量的差别计算抖动运动矢量；判断所述抖动运动矢量是否超出预设范围，若未超出则根据抖动运动矢量进行图像补偿，输出稳像图像。优选地，还包括若所述抖动运动矢量超出预设范围，则调整特征点检测阈值后重新计算全局运动矢量。本专利技术提供一种全局运动矢量估计装置，包括：下采样单元，用于对当前帧图像在水平及垂直方向进行下采样；特征点检测单元，用于对下采样后的当前帧图像进行特征点检测得到特征点；下采样图像全局运动矢获取单元，用于针对检测到的特征点，以当前帧图像的所述特征点为中心提取图像块，在搜索范围内对上一帧图像对应特征点的位置进行块匹配，获得匹配的特征点，根据所述匹配的特征点获取下采样图像全局运动矢量；上采样图像全局运动矢量获取单元，用于对下采样后的当前帧图像和下采样后的上一帧图像分别进行上采样，根据所述下采样图像全局运动矢量计算上采样图像全局运动矢量；修正全局运动矢量获取单元，用于对上采样后的当前帧图像中的所述匹配的特征点，在搜索范围内对上采样后的上一帧图像进行块匹配，计算修正全局运动矢量；全局运动矢量输出单元，用于根据所述上采样图像全局运动矢量和所述修正全局运动矢量计算最终的全局运动矢量。本专利技术还包括特征点检测阈值获取单元，用于获取所述特征点检测阈值。本专利技术还提供一种监控视频稳像装置，包括：全局运动矢量估计装置，用于获取全局运动矢量；全局运动平滑矢量获取单元，用于对全局运动矢量进行平滑处理得到全局运动平滑矢量；抖动运动矢量计算单元，用于根据所述全局运动平滑矢量和所述全局运动矢量的差别计算抖动运动矢量；判断单元，用于判断所述抖动运动矢量是否超出预设范围；稳像图像输出单元，抖动运动矢量未超出预设范围时，根据抖动运动矢量进行图像补偿，输出稳像图像。本专利技术技术方案，具有如下优点：1.本专利技术提供一种全局运动矢量估计方法，对下采样后的当前帧图像进行特征点检测得到特征点；针对检测到的特征点进行块匹配，获取下采样图像全局运动矢量。然后对图像进行上采样，在上采样后的当前帧图像中本文档来自技高网...

【技术保护点】
1.一种全局运动矢量估计方法，其特征在于，包括如下步骤：对当前帧图像在水平及垂直方向进行下采样；对下采样后的当前帧图像进行特征点检测得到特征点；针对检测到的特征点，以当前帧图像的所述特征点为中心提取图像块，在搜索范围内对上一帧图像对应特征点的位置进行块匹配，获得匹配的特征点，根据所述匹配的特征点获取下采样图像全局运动矢量；对下采样后的当前帧图像和下采样后的上一帧图像分别进行上采样，根据所述下采样图像全局运动矢量计算上采样图像全局运动矢量；对上采样后的当前帧图像中的所述匹配的特征点，在搜索范围内对上采样后的上一帧图像进行块匹配，计算修正全局运动矢量；根据所述上采样图像全局运动矢量和所述修正全局运动矢量计算最终的全局运动矢量。

【技术特征摘要】
1.一种全局运动矢量估计方法，其特征在于，包括如下步骤：对当前帧图像在水平及垂直方向进行下采样；对下采样后的当前帧图像进行特征点检测得到特征点；针对检测到的特征点，以当前帧图像的所述特征点为中心提取图像块，在搜索范围内对上一帧图像对应特征点的位置进行块匹配，获得匹配的特征点，根据所述匹配的特征点获取下采样图像全局运动矢量；对下采样后的当前帧图像和下采样后的上一帧图像分别进行上采样，根据所述下采样图像全局运动矢量计算上采样图像全局运动矢量；对上采样后的当前帧图像中的所述匹配的特征点，在搜索范围内对上采样后的上一帧图像进行块匹配，计算修正全局运动矢量；根据所述上采样图像全局运动矢量和所述修正全局运动矢量计算最终的全局运动矢量。2.根据权利要求1所述的方法，其特征在于，所述对下采样后的当前帧图像进行特征点检测得到特征点的步骤中，使用特征点检测阈值对下采样后的图像进行FAST特征点检测。3.根据权利要求1或2所述的方法，其特征在于，在所述对当前帧图像在水平及垂直方向进行下采样的步骤之前，还包括获取所述特征点检测阈值的步骤，该步骤包括：分别在水平方向和垂直方向对上一帧图像进行下采样；使用预设阈值对下采样后的图像进行特征点检测，统计检测到的特征点的数量；根据所述特征点的数量获取所述特征点检测阈值。4.根据权利要求3所述的方法，其特征在于，所述根据所述特征点的数量获取所述特征点检测阈值的步骤，包括：判断所述特征点的数量是否满足设定数量，如少于设定数量则减小预设特征点检测阈值得到调整阈值，如大于设定数量则增加所述预设特征点检测阈值得到调整阈值，使用调整阈值对下采样后的图像再次进行特征点检测，统计检测到的特征点的数量并循环本步骤，直至所述得到的特征点的数量满足设定的数量，将最后的调整阈值作为最终的特征点检测阈值。5.根据权利要求3所述的方法，其特征在于，所述根据所述特征点的数量获取特征点检测阈值的步骤，包括：判断所述特征点的数量是否满足设定数量，如少于设定数量则减小预设特征点检测阈值得到调整阈值，如大于设定数量则增加所述预设特征点检测阈值得到调整阈值，使用调整阈值对下采样后的图像再次进行特征点检测，统计检测到的特征点的数量并循环本步骤，判断循环的次数是否达到预设最大值，如未达到则循环本...

【专利技术属性】
技术研发人员：赵海宾，汤峰峰，章勇，曹李军，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏,32