用于山洪防御视频流速的防抖动系统及方法技术方案

技术编号：40784442 阅读：2 留言：0更新日期：2024-03-28 19:16

本发明专利技术提供了一种用于山洪防御视频流速的防抖动方法及系统，包括：步骤S1：将摄像头拍摄到的水流视频进行实时抽帧处理；步骤S2：对视频帧F<subgt;i</subgt;进行区域分割，包括：水体区域、静止区域和运动区域；步骤S3：对视频帧F<subgt;i</subgt;进行网格划分，并对每个网格进行Fast关键特征点检测，保证每一个划分的网格均至少含有m个关键特征点；在静止区域内，判断相邻帧关键特征点位移向量是否大于n倍的抖动阈值，当大于时，则视频发生抖动；对水体区域的关键特征点进行抖动校准；获取视频帧F<subgt;i+1</subgt;，并将视频帧F<subgt;i+1</subgt;视为视频帧F<subgt;i</subgt;，重复触发步骤S2至步骤S3，直至判断结束。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及水文测流，图像处理和视频防抖动，具体地，涉及用于山洪防御视频流速的防抖动系统及方法。

技术介绍

1、基于视频分析的河流流速测量方法通常使用粒子图像测速法，具体流程是先在图像中确定区域内示踪的粒子，再根据相邻帧的时间间隔结合对应图像示踪粒子的位移大小得到示踪粒子在图像层面的像素移动速度，然后通过二维像素距离到三维真实距离的转换关系最终得到区域内的平均河流流速。但在实际应用中，尤其是山洪场景，基于视频的河流流速测量方法难免遭受不可控因素的影响。

2、在人、动物或者强风的作用下，河流视频采集设备可能会有晃动的情况出现，从而引发视频抖动。在使用粒子图像测速法时，示踪粒子由于视频抖动导致粒子发生异常偏移，可能出现移动位移过大或者过小且运动方向偏离正常值较大的情况，从而使得测量结果不准确。

3、视频抖动优化算法通常采用特征点匹配的方式，利用历史图像帧的特征点位移序列关系，得到累积的位移方向参数，通过滑动平均后应用于当前帧的图像校准，该方法运用在录像视频中准确度较高，但是在实时检测的场景中会因为参数累积量较少而使得稳定视频效果差。

4、综上所述，现有的基于特征点匹配的视频防抖算法存在两大问题：第一、需要大量积累参数进行平滑处理，影响了算法的实时性，同时结合特征点的流速检测算法会受到环境的干扰，使得视频抖动时输出结果较差；第二、现有防抖算法大多数都是基于全局的视频防抖，目前没有专门针对基于特征点的河流流速检测方法的视频防抖算法，对于山洪防御，当现场摄像头设备抖动时，会影响数据的采集质量。

5、专利文献cn116091868a(申请号：202310102762.1)公开了一种在线视频防抖设备、在线视频防抖方法及其学习方法，属于视频处理
，用于视频防抖的学习方法包括以下步骤：获取训练数据；基于训练数据，对神经网络模型进行训练；获取训练数据包括：获取抖动视频和稳定视频；提取抖动视频的第一帧间运动；基于抖动视频的第一帧间运动，对稳定视频的每一帧进行变换，得到处理视频；以稳定视频和处理视频为训练数据。该学习方法通过将一个抖动视频的运动迁移到一个稳定视频上，以合成得到一个与原稳定视频对其的不稳定视频，然后以原有的稳定视频及对应的不稳定视频，作为视频防抖方法所需要的训练数据。该专利使用神经网络的方法对抖动视频帧和稳定视频帧进行训练学习，来获取抖动帧到稳定帧之间的流场图，然后对不稳定帧进行重置。该算法仅适用于简单图像，当图像中的运动物体增多时，采用神经网络模型自主训练会导致误差增大。

6、本专利技术先对图像中运动区域进行分割，在排除运动物体的干扰下，视频抖动发生时，结合静止区域对水体区域进行校准会使得结果更为准确，同时本专利技术也方便对特定区域进行抖动状态下的流速校准。

技术实现思路

1、针对现有技术中的缺陷，本专利技术的目的是提供一种用于山洪防御视频流速的防抖动方法及系统。

2、根据本专利技术提供的一种用于山洪防御视频流速的防抖动方法，包括：

3、步骤s1：将摄像头拍摄到的水流视频进行实时抽帧处理；

4、步骤s2：对视频帧fi进行区域分割，包括：水体区域、静止区域和运动区域；

5、步骤s3：对视频帧fi进行网格划分，并对每个网格进行fast关键特征点检测，保证每一个划分的网格均至少含有m个关键特征点；在静止区域内，判断相邻帧关键特征点位移向量是否大于n倍的抖动阈值，当大于时，则视频发生抖动；对水体区域的关键特征点进行抖动校准；；获取视频帧fi+1，并将视频帧fi+1视为视频帧fi，重复触发步骤s2至步骤s3，直至判断结束。

6、优选地，所述步骤s2采用：每一个视频帧经过训练后的语义分割模型q得到对应的分割图像；

7、gi＝0,1,2,...＝q(fi＝0,1,2,...)

8、其中，gi表示得到的分割图像；fi表示每一个视频帧。

9、优选地，所述训练后的语义分割模型q是利用采集到的水体区域、静止区域和运动区域数据集对语义分割模型q进行有监督训练，得到训练后的语义分割模型q。

10、优选地，所述步骤s3采用：当视频设备保持稳定时，遍历视频帧fiw次，通过fast角点检测和lk稀疏光流跟踪得到分割水体区域的稳定距离向量测量值dw，k，作为视频实际测试时初始帧的抖动阈值；其中，w为稳定拍摄的热身最大值；k为稳定视频热身过程中检查到的特征点数量；

11、视频设备实际开始工作时获取到的视频帧f0和f1的稳定距离向量测量值与初始帧的抖动阈值dw，k进行比较，当大于抖动阈值时，则发生了视频抖动。

12、优选地，所述步骤s3采用：对视频帧fi进行n×m的网格划分，保证每一个划分的网格均至少含有m个关键特征点；其中，m大于0；在已分割的图像gi中，每个划分的区域表示为分别对应水体，运动，静止三个区域；通过fast关键特征点检测法检测静止区域中所包含关键特征点其中，k表示关键特征点的数量，其值大于等于m，再遍历下一帧图像fi+1根据上一帧得到的关键特征点进行lk稀疏光流追踪得到与之对应的关键特征点

13、

14、记录视频帧fi和fi+1中之间的距离向量为同时与下一个进行k个点的滑动平均得到当前帧对应的抖动阈值；

15、若视频帧fi对应的k个点的大于n倍的抖动阈值时，则判断发生视频抖动；其中，k＝min(ki,k(i-1))。

16、优选地，所述步骤s3采用：判断视频发生抖动时，已得到则的标量为稳定视频序列得到的稳定抖动阈值，计算得到k个特征点的平均距离标量d2以及角度α；同时，得到水体区域的抖动特征点根据下式进行抖动校准：

17、

18、

19、其中，表示抖动位移标量，表示抖动位移方向角，m表示均值算子，表示向量加法。

20、优选地，当连续帧发生抖动时，则利用抖动后的距离向量对抖动之前的距离向量进行滑动平均，得到当前帧对应的抖动阈值；其中，k＝min(k(i+a),k(i-1))。

21、优选地，根据抖动校准后的视频帧对应的特征点得到相邻帧的特征点位移，再通过像素位移得到真实位移的距离，并转换输出预测流速值。

22、根据本专利技术提供的一种用于山洪防御视频流速的防抖动系统，包括：

23、模块m1：将摄像头拍摄到的水流视频进行实时抽帧处理；

24、模块m2：对视频帧fi进行区域分割，包括：水体区域、静止区域和运动区域；

25、模块m3：对视频帧fi进行网格划分，并对每个网格进行fast关键特征点检测，保证每一个划分的网格均至少含有m个关键特征点；在静止区域内，判断相邻帧关键特征点位移向量是否大于n倍的抖动阈值，当大于时，则视频发生抖动；对水体区域的关键特征点进行抖动校准；；获取视频帧fi+1，并将视频帧fi+1视为视频帧fi，重复触发模块m2至模块m3，直至判断结束。

26、优选地，所述模块m3采用：当视频设备本文档来自技高网...

【技术保护点】

1.一种用于山洪防御视频流速的防抖动方法，其特征在于，包括：

2.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述步骤S2采用：每一个视频帧经过训练后的语义分割模型Q得到对应的分割图像；

3.根据权利要求2所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述训练后的语义分割模型Q是利用采集到的水体区域、静止区域和运动区域数据集对语义分割模型Q进行有监督训练，得到训练后的语义分割模型Q。

4.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述步骤S3采用：当视频设备保持稳定时，遍历视频帧Fiw次，通过Fast角点检测和LK稀疏光流跟踪得到分割水体区域的稳定距离向量测量值Dw，K，作为视频实际测试时初始帧的抖动阈值；其中，w为稳定拍摄的热身最大值；K为稳定视频热身过程中检查到的特征点数量；

5.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述步骤S3采用：对视频帧Fi进行N×M的网格划分，保证每一个划分的网格均至少含有m个关键特征点；其中，m大于0；在已分割的图像Gi中

6.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述步骤S3采用：判断视频发生抖动时，已得到则的标量为稳定视频序列得到的稳定抖动阈值，计算得到K个特征点的平均距离标量d2以及角度α；同时，得到水体区域的抖动特征点根据下式进行抖动校准：

7.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，当连续帧发生抖动时，则利用抖动后的距离向量对抖动之前的距离向量进行滑动平均，得到当前帧对应的抖动阈值；其中，K＝min(k(I+a),k(I-1))。

8.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，根据抖动校准后的视频帧对应的特征点得到相邻帧的特征点位移，再通过像素位移得到真实位移的距离，并转换输出预测流速值。

9.一种用于山洪防御视频流速的防抖动系统，其特征在于，包括：

10.根据权利要求9所述的用于山洪防御视频流速的防抖动系统，其特征在于，所述模块M3采用：当视频设备保持稳定时，遍历视频帧Fiw次，通过Fast角点检测和LK稀疏光流跟踪得到分割水体区域的稳定距离向量测量值Dw，K，作为视频实际测试时初始帧的抖动阈值；其中，w为稳定拍摄的热身最大值；K为稳定视频热身过程中检查到的特征点数量；

...

【技术特征摘要】

1.一种用于山洪防御视频流速的防抖动方法，其特征在于，包括：

2.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述步骤s2采用：每一个视频帧经过训练后的语义分割模型q得到对应的分割图像；

3.根据权利要求2所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述训练后的语义分割模型q是利用采集到的水体区域、静止区域和运动区域数据集对语义分割模型q进行有监督训练，得到训练后的语义分割模型q。

4.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述步骤s3采用：当视频设备保持稳定时，遍历视频帧fiw次，通过fast角点检测和lk稀疏光流跟踪得到分割水体区域的稳定距离向量测量值dw，k，作为视频实际测试时初始帧的抖动阈值；其中，w为稳定拍摄的热身最大值；k为稳定视频热身过程中检查到的特征点数量；

5.根据权利要求1所述的用于山洪防御视频流速的防抖动方法，其特征在于，所述步骤s3采用：对视频帧fi进行n×m的网格划分，保证每一个划分的网格均至少含有m个关键特征点；其中，m大于0；在已分割的图像gi中，每个划分的区域表示为j＝{0,1,2}分别对应水体，运动，静止三个区域；通过fast关键特征点检测法检测静止区域中所包含关键特征点其中，k表示关键特征点的数量，其值大于等于m，再遍历下一帧图像fi...

【专利技术属性】
技术研发人员：安国成，王根一，王晓龙，张晏玮，陈源，
申请(专利权)人：上海华讯网络系统有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人