一种基于视频图像的河道排口排水状态实时识别方法技术

本发明专利技术公开了一种基于视频图像的河道排口排水状态实时识别方法，包括下列步骤，首先建立排水状态深度学习模型，建立排水状态深度学习模型步骤为：收集河道排口排水与非排水状态视频；拆分视频为一帧帧图像；计算得出每帧图像的运动矢量；对运动矢量进行排水状态标签信息标注；建立排水状态深度学习模型；训练排水状态深度学习模型。然后通过摄像头取得河道排口实时视频流，拆分视频流为一帧帧图像，计算得出每帧图像的运动矢量，用已建立的排水状态深度学习模型对每帧图像的运动矢量进行分析输出初步排水状态结果，分析过滤初步结果，输出最终排水状态信息。本发明专利技术实现了河道排口排水状态实时无人监测和自动识别，利于相关部分及时发现问题，消除隐患，从源头上解决河道污染问题。污染问题。污染问题。

【技术实现步骤摘要】
一种基于视频图像的河道排口排水状态实时识别方法


[0001]本专利技术涉及智慧水务领域，具体为适用于河道排口流水实时视频识别的基于视频图像的河道排口排水状态实时识别方法。

技术介绍

[0002]随着社会的发展，尤其是科学技术的进步，大大促进了社会生产力的飞速发展；尤其是通讯网络技术的广发应用，使得多数领域开始变的由传统的人工统计分析向智慧方向发展。
[0003]河道排口流水识别技术目前尚不成熟，可以通过视频监控技术实现，如果排口有异常排水可以方便的调取和查看现场情况，但视频监控的劣势是要靠人盯着才能发现异常。所以研究出一种河道排口流水自动识别方法势在必行，以提高河道排口流水智能识别的精度和提高效率。
[0004]近年来，深度学习(Deep Learning)在人工智能领域取得了重要且成功的突破，成为机器学习一个新的和热门的研究方向，具有强大的学习和高效的特征表达能力，在计算机视觉、图像与视频分析、语音识别、多媒体等诸多领域都取得了巨大成功。其中，基于视频图像的河道排口流水自动识别方法具有较高的识别精度和高效的视频流数据分析效率。
[0005]现有技术中河道排口排水情况复杂，例如排口形状不一，可为圆形、方形、多边形等；排口水流变化很大，有时水流很小，通过液位计进行测量有较大误差；排出的水流颜色变化很大，有时与排口青苔混为一色；因此提供一种能够测量排口排水状态，进而控制河道排口污水偷排特别是有毒污水小量排放问题的方法，是一个急需解决的问题。

技术实现思路

[0006]针对现有技术中存在的不足，本专利技术提供了一种以深度学习技术为核心实现对河道排口流水视频数据的分析，采用深度卷积神经网络进行训练，在数据集中加入多种场景数据，经过训练后得到一个排口流水场景的判断模型，通过对视频流的准实时分析，实现实时识别并给出具有时序性质的异常排水报警信息的基于视频图像的河道排口排水状态实时识别方法。
[0007]本专利技术的目的是这样实现的：
[0008]一种基于视频图像的河道排口排水状态实时识别方法，首先建立排水状态深度学习模型，建立排水状态深度学习模型步骤为：收集河道排口排水与非排水状态视频；拆分视频为一帧帧图像；计算得出每帧图像的运动矢量；对运动矢量进行排水状态标签信息标注；建立排水状态深度学习模型；训练排水状态深度学习模型；然后通过摄像头取得河道排口实时视频流，拆分视频流为一帧帧图像，计算得出每帧图像的运动矢量，用已建立的排水状态深度学习模型对每帧图像的运动矢量进行分析输出初步排水状态结果，分析过滤初步结果，输出最终排水状态信息；具体步骤为：
[0009](1)通过摄像头取得河道排口实时视频流；
[0010](2)拆分视频流为一帧帧图像；
[0011](3)计算得出每帧图像的运动矢量；
[0012](4)用已建立的排水状态深度学习模型对每帧图像的运动矢量进行分析输出初步排水状态结果；
[0013](5)分析过滤模型给出的排口初步排水状态结果；
[0014]建立河道排口排水的模型及设定初始条件的方法如下：
[0015]建立河道排口排水模型
[0016]u
t
+uu
x
＝0
[0017]来描述排口排水状态；
[0018]t表示时间，x表示水面位置，u表示速度波；x＝0表示水将排出管口但没有排出管口的状态位置，当x≤0时，水全部在管道中，其速度比出管道后速度慢很多，故假设u＝0，当水排出管道后，其速度突然加快，水流通过落差顺利排出，假设其平均速度为v0，因此方程(1)的初始条件可定义为
[0019][0020]假设δ为最小排水速度，因此当速度v0>δ>0时，，我们即可确定排水并进行后续的包括流量的定量分析；
[0021]方程(1)的解在区域{x>0,t>x}，排口流水速度为说明排口速度随时间变化；其变化可用运动矢量描述，进而可以通过发现运动矢量得出排口排水状态；运动矢量(motion vector)为在图形压缩中存储两帧图像的区别，它是描述物体空间位置变化的向量；
[0022]所述的图像的运动矢量的v计算方法如下：用排口排水相邻两帧灰度图像(g
i
，g
j
)的差值来定义运动矢量的灰度图为
[0023]g
v
＝g
i
‑
g
j
，
[0024]运动矢量v是其灰度图的一维展开；运动矢量可进一步改进为相邻若干运动向量v
i
的加权平均值v＝∑α
i
v
i
；另外可用相关算法例如OptionalFlowFarneback方法求得v
i
，并利用v＝∑α
i
v
i
加权平均求得运动矢量；以上加权平均也可以采用算术平均或者高斯加权平均；
[0025]所述的排水状态深度学习模型的建立方法具体步骤如下：
[0026](1)收集大量的排口排水视频和非排水视频；
[0027](2)计算视频中每帧图像的运动矢量，形成运动矢量灰度图；该运动矢量可按前后两帧图像的差值来近或按包括相关OptionalFlowFarneback在内的算法确定；
[0028](3)给每个运动矢量灰度图进行排水状态标签信息标注，其标签值为该运动矢量对应水流的状态，具体标注方法如下：标签信息种类分为无流水状态、低速流水状态、中速流水状态、高速流水状态，具体的低速流水状态、中速流水状态、高速流水状态流速数值由具体情况进行实际调整，一般可采用0米/秒、1米/秒、2米/秒、5米/秒；
[0029](4)建立排水状态深度学习模型，由若干卷积图及若干全连接图组成训练建立排水状态深度学习模型，模型的卷积层和全连接层根据情况设定；
[0030](5)训练模型：采用常规的CNN卷积神经网络训练方法，收敛时识别精度达到99％以上，训练学习率采用0.0001。
[0031]积极有益效果：1.本专利技术实现了河道排口排水状态实时无人监测和自动识别，利于相关部分及时发现问题，消除隐患，从源头上解决河道污染问题。
[0032]2.为对排水状态深度学习模型判定的初步结果进行过滤处理，因排口环境复杂、排水图片质量差、噪音干扰大，本方法对排水状态深度学习模型初步判定结果进行过滤分析处理，对排水量突然变化不合理的情况视当时情况过滤处理以提高实际应用的识别率。例如对于一帧或连续几帧判定为排水但其相邻大量帧图片判定为无排水情况时，则认为该初步结果为图片噪音干扰导致，最终结果不报排水。
[0033]3.用排水状态深度学习模型判断排水状态，排口水流平均速度v0受到包括光照、环境、天气变化、亮度和昼夜干扰因素的影响，很难在视频中提取，因为视频图像，所以用该图像计算的运动矢量直接判读排口排水状态精度不高；排口流水形状也导致运动矢量灰度图差异较大，所以难以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频图像的河道排口排水状态实时识别方法，其特征在于：首先建立排水状态深度学习模型，建立排水状态深度学习模型步骤为：收集河道排口排水与非排水状态视频；拆分视频为一帧帧图像；计算得出每帧图像的运动矢量；对运动矢量进行排水状态标签信息标注；建立排水状态深度学习模型；训练排水状态深度学习模型；然后通过摄像头取得河道排口实时视频流，拆分视频流为一帧帧图像，计算得出每帧图像的运动矢量，用已建立的排水状态深度学习模型对每帧图像的运动矢量进行分析输出初步排水状态结果，分析过滤初步结果，输出最终排水状态信息；具体步骤为：(1)通过摄像头取得河道排口实时视频流；(2)拆分视频流为一帧帧图像；(3)计算得出每帧图像的运动矢量；(4)用已建立的排水状态深度学习模型对每帧图像的运动矢量进行分析输出初步排水状态结果；(5)分析过滤模型给出的排口初步排水状态结果。2.根据权利要求1所述的一种基于视频图像的河道排口排水状态实时识别方法，其特征在于：建立河道排口排水的模型及设定初始条件的方法如下：建立河道排口排水模型u
t
+uu
x
＝0来描述排口排水状态；t表示时间，x表示水面位置，u表示速度波；x＝0表示水将排出管口但没有排出管口的状态位置，当x≤0时，水全部在管道中，其速度比出管道后速度慢很多，故假设u＝0，当水排出管道后，其速度突然加快，水流通过落差顺利排出，假设其平均速度为v0，因此方程(1)的初始条件可定义为假设δ为最小排水速度，因此当速度v0>δ>0时，，我们即可确定排水并进行后续的包括流量的定量分析；方程(1)的解在区域{x>0,t>x}，排口流水速度为说明排口速度随时间变化；其变化可用运动矢量描述，进而可以通过发现运动矢量得出排口排水状态；运动矢量(motionvector)为在图形压缩中存储两帧图像的区别，它是描述物体空间位置变化的向量。3.根据权利要求1所...

【专利技术属性】
技术研发人员：沈雨，邓林忠，张倩，赵明进，张红军，周曦，
申请(专利权)人：深圳杉谷科技有限公司，
类型：发明
国别省市：