一种视频识别生态流量泄放的方法技术

本发明专利技术公开了一种视频识别生态流量泄放的方法。本发明专利技术通过抽取一段生态流量泄放的视频，对视频进行抽帧获得n张图像，进一步通过前后帧图像对比，获得前后帧的差异指数，通过差异指数判断视频中是否有连续运动的水流，从而判断是否有生态流量泄放。该主算法通用能力强、精度高、鲁棒性强，同时增加了模糊校验功能，能够很好排除阴影、溢坝、水雾、阳光照射、视频丢包的异常情况。对于少量特殊不适用的场景情况，例如杂草干扰、水波纹干扰等，可采用卷积神经网络训练获得子模型，通过子模型进行生态流量泄放识别。主算法和子模型两种识别方法相结合实现了对生态流量是否泄流的识别，既保障了识别通用性、易用性，又保障了识别结果的精度。度。度。

【技术实现步骤摘要】
一种视频识别生态流量泄放的方法


[0001]本专利技术涉及视频识别和水利生态流量泄放
，具体涉及一种视频识别生态流量泄放的方法。

技术介绍

[0002]生态流量，是指水流区域内保持生态环境所需要的水流流量，一般在建设水电站的时候有最小生态流量的要求，是维持下游生物生存生态平衡的最小的水流量。所以对于生态流量的泄放的监管预警变得尤为重要。
[0003]视频识别，是一种基于图像识别的技术，通过对视频进行抽帧获取n张图像，并通过对前后帧图像进行处理、分析、对比等，以识别各种不同模式的目标和对象的技术。
[0004]目前，生态流量监测通常采用水位计测流、流量计测流等方式进行监测，同时结合视频摄像头监控提供直观的监测手段，观看摄像头是否放水正常。但是小水电站生态流量泄放环境千差外别，受现场环境以及成本考虑，大多数小水电站不具备安装传感器测流的条件，有些安装后经常也会由于水体杂物造成仪表盘故障，造成误报错报，且无法直观判断设备是否正常，只能安装摄像头远距离观测是否放水。摄像头观测是否放水是一个比较直观的方法，但是摄像头通过人工定时观测将耗费大量的人力成本，也很难做到24小时观测，人工观测难度大。
[0005]针对以上问题，通常解决办法是通过收集生态流量泄放的图像，通过卷积神经网络训练获得模型，通过模型来识别生态流量泄放。但是由于农村小水电生态流量泄放千差外别，且点位较多，特征点差别较大，无法训练统一模型，该方法通常单个点位场景训练模型，工作量大，数据集获取困难，耗费时间，通用性差。
专利技术内容
[0006]本专利技术的目的在于克服现有技术的缺点与不足，提供一种视频识别生态流量泄放的方法，该方法通过抽取一段生态流量泄放的视频，通过对视频进行抽帧获得n张图像，进一步通过前后帧图像对比，获得前后帧的差异指数，通过差异指数判断视频中是否有连续运动的水流，从而判断是否有生态流量泄放。该主算法通用能力强、精度高、鲁棒性强，同时增加了模糊校验功能，能够很好排除阴影、溢坝、水雾、阳光照射、视频丢包等的异常情况。对于少量特殊不适用的场景情况，例如：杂草干扰、水波纹干扰等，可采用卷积神经网络训练获得子模型，通过子模型进行生态流量泄放识别。主算法和子模型两种识别方式相结合实现了对生态流量是否泄流的识别，既保障了识别通用性、易用性，又保障了识别结果的精度。
[0007]本专利技术采用的技术方案为：一种视频识别生态流量泄放的方法，包括下述步骤：S1，选定场景：确定摄像头场景内泄放特征位置，泄放特征位置通过矩形框在视频图像上框选，泄放特征通常包括水花、泄放喷水、水流等泄放特征。
[0008]S2,设置参数：设定抽取视频的时长，考虑视频的播放带宽以及对比计算需要的准确率，1秒是比较合适的时长，所以设置抽取1秒的视频时长；同时设置摄像头场景的抽取时间、AI识别方法、对比变化率阈值、AI阈值、预警接受人员信息等。
[0009]进一步地，所述摄像头场景的抽取时间包括定时抽取和随机抽取两种方式：定时抽取是在一天的某个时间范围内，按照某个确定的时间间隔进行视频抽取；随机抽取是在一天的某个时间范围内，按照某个确定的抽取次数进行随机时间的视频抽取。
[0010]进一步地，所述AI识别方法包括主算法和子模型两种方式:主算法可以设置对比变化率阈值和AI阈值，子模型可以设置AI阈值。AI识别方法默认设置主算法，主算法的对比变化率阈值默认设置为0.8，主算法的AI阈值默认设置为0.001，子模型的AI阈值根据训练的结果设置。所有阈值的范围都在0～1之间。
[0011]进一步地，所述预警接受人员信息包括预警接受人员的姓名和手机号。
[0012]S3，主算法识别：通过对抽取的视频V进行帧速率转换，得到25帧/秒的帧速率视频文件V1。对视频文件V1进行全部图像抽取，获得全部图像数据集合D1；再对前后帧图像数据依次进行高斯滤波、灰度化、粒子化、计算对应粒子均方误差、归一化处理后获得粒子阈值数组L1，利用粒子阈值数组L1中的数值依次与设定的AI阈值threshold进行对比，获得该场景计算的最小阈值minthreshold、最大阈值maxthreshold、所有图像的对比变化率X；通过对比变化率X与对比变化率阈值ER进行对比获得初步生态流量泄放状态D(x)；同时为了方便观察生成了识别结果视频V2。
[0013]所述初步生态流量泄放状态D(x)包括：1为泄放正常， 0为泄放预警；当识别结果D(x)是泄放正常时，完成初步生态流量泄放识别；当识别结果D(x)为泄放预警时，增加一个视频模糊校验功能，视频模糊包括：阴影、溢坝、水雾、阳光照射、视频丢包；对视频中的所有图像依次进行抽取、剪裁、灰度化、模糊计算、平均计算获得视频的模糊程度s，进行判断获得最终生态流量泄放状态D(x,s)，最终生态流量泄放状态D(x,s)包括：2为视频模糊、1为泄放正常、0为泄放预警。
[0014]其中高斯滤波采用3
×
3的高斯模板，通过图像和高斯模板进行卷积计算，获得滤波后图像。
[0015]其中灰度化计算通过对滤波后图像的R、G、B三基色加权计算获得对应像素点的灰度值，从而获得整个图像所有像素点的灰度值。灰度化计算公式见公式（1）：f(x,y)=0.3R(x,y)+0.59G(x,y)+0.11B(x,y)
ꢀꢀꢀꢀꢀꢀ
（1）其中粒子采用正方形粒子，边缘位置不够粒子大小的剔除。正方形粒子边长a根据监测区域的像素分辨率宽度w和高度h大小计算，计算见公式（2）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中粒子阈值数组L1通过计算前后帧中对应前帧粒子和后帧粒子的均方误差获得单个粒子的MSE,并计算得到所有粒子数组的均方误差数组LMSE，最后通过归一化获得粒子阈值数组L1。均方误差的计算见公式（3）,式中的n是正整数，归一化计算见公式（4）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）其中初步生态流量泄放状态D(x)的计算是在视频抽取的全部图像数量C1中，通过前后帧比对，循环C1
‑
1次，每次比对利用粒子阈值数组L1中的粒子数值依次与设定的AI阈值threshold进行对比，如果粒子阈值数组L1中存在大于AI阈值threshold的粒子数值，那么这次图像比对就是大于AI阈值；通过循环计算，获得大于AI阈值的比对数量C2，进而通过C2除以全部图像比对次数C1
‑
1，获得所有图像的对比变化率X,对比变化率计算见公式（5），最后通过与对比变化率阈值ER进行对比，获得初步生态流量泄放状态D(x),初步生态流量泄放状态D(x)包括：1为泄放正常，0为泄放预警,初步生态流量泄放状态计算见公式（6）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频识别生态流量泄放的方法，其特征在于：包括下述步骤：S1，选定场景：确定摄像头场景内泄放特征位置，泄放特征位置通过矩形框在视频图像上框选，泄放特征通常包括水花、泄放喷水、水流泄放特征；S2,设置参数：设定抽取视频的时长；同时设置摄像头场景的抽取时间、AI识别方法、对比变化率阈值、AI阈值、预警接受人员信息；所述AI识别方法包括主算法和子模型两种方式，主算法设置对比变化率阈值和AI阈值，子模型设置AI阈值；AI识别方法默认设置主算法；S3，主算法识别：通过对抽取的视频V进行帧速率转换，得到25帧/秒的帧速率视频文件V1；对视频文件V1进行全部图像抽取，获得全部图像数据集合D1；再对前后帧图像数据依次进行高斯滤波、灰度化、粒子化、计算对应粒子均方误差、归一化处理后获得粒子阈值数组L1，利用粒子阈值数组L1中的数值依次与设定的AI阈值threshold进行对比，获得该场景计算的最小阈值minthreshold、最大阈值maxthreshold、所有图像的对比变化率X；通过对比变化率X与对比变化率阈值ER进行对比获得初步生态流量泄放状态D(x)；同时为了方便观察生成识别结果视频V2；初步生态流量泄放状态D(x)包括：1为泄放正常， 0为泄放预警；当识别结果D(x)是泄放正常时，完成初步生态流量泄放识别；当识别结果D(x)为泄放预警时，增加一个视频模糊校验功能，视频模糊包括：阴影、溢坝、水雾、阳光照射、视频丢包；对视频中的所有图像依次进行抽取、剪裁、灰度化、模糊计算、平均计算获得视频的模糊程度s，进行判断获得最终生态流量泄放状态D(x,s)，最终生态流量泄放状态D(x,s)包括：2为视频模糊、1为泄放正常、0为泄放预警；S4,重新率定参数：当主算法识别结果校验异常时，重新率定参数；采用AI阈值threshold为0.001、对比变化率阈值ER为0.8；S5，子模型识别：当主算法重新率定参数后，主算法识别结果校验异常，采用子模型识别；通过样本采集、子模型训练、子模型参数设置、子模型识别完成对子模型识别；S6，预警审核：当主算法或子模型识别结果校验正常时，开始预警审核步骤；根据识别的预警结果进行预警信息人工审核,并对审核后的预警信息进行预警下发、预警处置；S7，运维检查：按照单场景95%以上识别准确率的要求，每月进行运维检查审核，对于不满足准确率要求的场景，进行主算法重新率定参数或者子模型训练，从而保障识别的准确率。2.根据权利要求1所述的视频识别生态流量泄放的方法，其特征在于：在步骤S2中，考虑视频的播放带宽以及对比计算需要的准确率，所述抽取视频的时长设置为1秒；所述摄像头场景的抽取时间包括定时抽取和随机抽取两种方式：定时抽取是在一天的某个时间范围内，按照某个确定的时间间隔进行视频抽取；随机抽取是在一天的某个时间范围内，按照某个确定的抽取次数进行随机时间的视频抽取。3.根据权利要求1所述的视频识别生态流量泄放的方法，其特征在于：在步骤S2中，所述主算法的对比变化率阈值默认设置为0.8，主算法的AI阈值默认设置为0.001，所述子模型的AI阈值根据训练的结果设置；所有阈值的范围均在0～1之间。4.根据权利要求1所述的视频识别生态流量泄放的方法，其特征在于：在步骤S2中，所述预警接受人员信息包括预警接受人员的姓名和手机号。5.根据权利要求1所述的视频识别生态流量泄放的方法，其特征在于：在步骤S3中，所
述高斯滤波采用3
×
3的高斯模板，通过图像和高斯模板进行卷积计算，获得滤波后图像；所述灰度化计算通过对滤波后图像的R、G、B三基色加权计算获得对应像素点的灰度值，从而获得整个图像所有像素点的灰度值，灰度化计算公式见公式（1）：f(x,y)=0.3R(x,y)+0.59G(x,y)+0.11B(x,y)
ꢀꢀꢀꢀꢀꢀ
（1）所述粒子采用正方形粒子，边缘位置不够粒子大小的剔除；正方形粒子边长a根据监测区域的像素分辨率宽度w和高度h大小计算，计算见公式（2）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）所述粒子阈值数组L1通过计算前后帧中对应前帧粒子和后帧粒子的均方误差获得单个粒子的MSE,并计算得到所有粒子数组的均方误差数组LMSE，最后通过归一化获得粒子阈值数组L1；均方误差的计算见公式（3）,式中的n是正整数，归一化计算见公式（4）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）所述初步生态流量泄放状态D(x)的计算是在视频抽取的全部图像数量C1中，通过前后帧比对，循环C1
‑
1次，每次比对利用粒子阈值数组L1中的粒子数值依次与设定的AI阈值threshold进行对比，如果粒子阈值数组L1中存在大于AI阈值threshold的粒子数值，那么这次图像比对就是大于AI阈值；通过循环计算，获得大于AI阈值的比对数量C2，进而通过C2除以全部图像比对次数C1
‑
1，获得所有图像的对比变化率X,对比变化率计算见公式（5），最后通过与对比变化率阈值ER...

【专利技术属性】
技术研发人员：廖佳庆，邱志章，胡琳琳，陈洪飞，蒋元中，
申请(专利权)人：杭州定川信息技术有限公司，
类型：发明
国别省市：