一种基于多通道特征融合和机器学习的漏水监测方法技术

本发明专利技术公开了一种基于多通道特征融合和机器学习的漏水监测方法，首先选择漏水检测的区域得到待检测视频图像序列，然后对选定的待检测视频图像序列通过动态变化区域图像块提取和分割得到待分类图像块集合，对待分类图像块集合提取的特征包括梯度通道特征，HOG通道，LUV色彩空间的L通道特征，对样本集合中提取这三个特征归一化融合后进行SVM训练，得到一个分类器，将待分类图像块提取的特征集合输入分类器即可得到待预测漏水图片的分类结果，最后采用非极大值抑制的方法并进行简单的统计以及阈值控制得到最终的漏水监测结果。本发明专利技术具有非接触性，成本低的优点，并能对漏水的程度提供一定的信息，能够在一定条件下完成高精度的漏水监测。

A leaky monitoring method based on multi channel feature fusion and machine learning

The invention discloses a method for monitoring Water Leakage feature fusion and machine learning based on multi channel, first select the Water Leakage detection area to obtain the detection of video image sequence, and then selected the detected video image sequence by dynamic change of regional image extraction and segmentation have to be classified image block set to feature classification block set the extraction of characteristics including gradient channel, HOG channel, L channel of LUV color space, the collection of samples extracted for SVM training these three features normalized after the fusion of a classifier to classification feature extraction image block set input can be obtained to predict classifier classification results Water Leakage pictures, the non maximum suppression method and simple statistical threshold and control monitoring results of the final Water Leakage. The invention has the advantages of non-contact and low cost, and can provide certain information for the degree of water leakage, and can perform high precision water leakage monitoring under certain conditions.

【技术实现步骤摘要】
一种基于多通道特征融合和机器学习的漏水监测方法
本专利技术属于视频监控系统中的图像处理领域，特别涉及用多通道特征融合和机器学习的方法进行漏水监测。
技术介绍
漏水检测领域传统的技术大体可以分为两种，第一种是采用传感器技术，利用水的导电性或者漏水点产生声波和负压波等物理特性进行漏水检测，常见的漏水检测产品有传感电缆和漏水相关检测仪等；第二种采用红外热成像技术，在周围物体和水存在一定温差时，对热成像图像进行简单的图像分割完成漏水检测任务。近年来，图像识别技术应用于视频监控系统的发展如火如荼，PascalMettes等研究学者针对水体检测的工作取得了很好的效果，但采用图像处理技术处理光学视频进行的漏水检测工作几乎未有研究学者涉足。在智能化工厂建设的浪潮中，许多传统工厂对采用自动化和智能化技术来对工厂设备进行异常情况监测有着极大的需求。工厂的异常情况检测中，管道等设备的漏水检测是重要一环。然而面对工厂复杂的电磁环境和实际需求，传统的检测方式存在着无法统计漏水速率以及硬件成本高等问题难以克服，难以满足要求。而本专利技术采用数字图像处理的手段能降低硬件成本并能在给出漏水判决结果的同时对漏水频率估计提供一定信息来解决工厂漏水检测问题。值得注意的是，水流或水滴存在着颜色透明的问题，所以本专利技术在背景和水流或水滴存在对比度的情况下，利用传统光学摄像头获取的监控视频，采取基于机器学习的方法进行漏水监测。基于机器学习的分类方法即利用已有被标记分类结果的样本，选取合适的图像特征表示样本的图像性质，将特征集合采用学习策略训练一个分类模型，一般使用的有监督分类器有SVM、Adaboost、Randomforest等，最后把预测图像作为测试样本，利用已经训练好的模型对测试样本进行预测，从而完成对待预测样本的分类。
技术实现思路
本专利技术的目的在于提供一种基于多通道融合和机器学习的漏水监测方法，该方法能够在实际环境中完成高精度的漏水监测任务。本专利技术提供的一种基于多通道融合和机器学习的漏水监测方法，具体包括以下步骤：步骤1，获取原始漏水监测区域视频，根据需要对原始视频中的漏水检测区域进行选取，选定结果记为待检测视频序列VROI；步骤2，运动变化图像块提取，包括对步骤1得到的待检测视频序列，利用帧间差算法得到差分图像，以固定尺寸且不重叠矩形框对差分图像分块，再对每一块图像的像素值进行累加统计，利用阈值提取得到待检测视频序列中的运动变化图像块集合；步骤3，运动变化图像块分割，包括对步骤2获得的运动变化图像块集合中每一个图像块进行有重叠的块分割，得到待分类图像块集合；步骤4，特征提取，包括对步骤3待分类图像块集合中每个待分类图像块分别进行特征提取，提取的特征包括梯度通道特征，HOG通道特征，LUV色彩空间的L通道特征，然后对以上三种通道特征分别进行归一化，最后串联融合得到多通道特征；步骤5，对漏水图片和非漏水图片构成的训练样本集合提取多通道特征，并利用SVM模型进行训练得到分类器，然后利用分类器对每个待分类图像块进行二分类预测，分类结果为漏水图像块和无漏水图像块；步骤6，对分类器得到的每一帧图像内所有的漏水图像块采用非极大值抑制策略，取最高置信度的漏水图像块为最后的输出结果，然后对一定数目连续帧中检测出的漏水图像块的数目进行统计，完成最终的漏水监测。进一步的，步骤2中运动变化图像块提取的具体实现方式如下，首先对待检测视频图像序列VROI的第t-2帧和第t帧利用帧间差算法得到t时刻对应差分图像Dt，其中t＝3,5,...,n，n取值为不大于VROI总帧数的最大奇数值，设差分图像Dt的尺寸为宽W像素，高H像素，然后采用固定尺寸宽为W1像素，高为H1像素长度的不重叠矩形框对差分图像Dt分块，得到图像块数目为floor(W/W1)×floor(H/H1)，其中floor为向下取整函数，再对每一图像块内的像素值进行累加统计，利用最大阈值TH和最小阈值TL筛选出阈值范围内的运动变化图像块集其中i，j为矩形框左上角坐标。进一步的，步骤3中运动变化图像块分割的具体实现方式如下，对运动变化图像块集中的每个运动变化图像块均采用了N×N的滑动窗分块，设x方向滑动步长为Sx个像素，y方向的滑动步长为Sy个像素，则一个W1×H1的运动变化图像块可以分割为M个尺寸为N×N的待分类图像块，假设t时刻的待检测视频序列提取的运动变化区域图像块集合的元素数目为S，则能得到M*S个元素的待分类图像块集合其中i，j为待分类图像块的左上角坐标，W2和H2均为N。进一步的，步骤4中梯度通道特征为梯度幅值，提取方式如下，设f(x,y)为待分类图像块集合中每个待分类图像块对应像素点坐标的像素值，则像素点(x,y)在x方向上的梯度gx和y方向上的梯度gy表示为，gx＝f(x+1,y)-f(x-1,y)gy＝f(x,y+1)-f(x,y-1)则梯度幅值计算公式为，其中，为(x,y)处的梯度幅值。进一步的，步骤4中HOG通道特征的提取方式如下，①对输入图像进行灰度化处理，其中输入图像指待分类图像块集合中每个待分类图像块；②采用Gamma校正法对输入图像进行颜色空间归一化；③计算图像每个像素点的梯度幅值和梯度方向；④将图像划分为多个尺寸为C1*C2像素的细胞单元cell，对每一个cell块所有像素的梯度直方图考虑梯度方向的情况下进行角度投影，投影策略为：首先将整个360度的圆等分成12个份，对角的两份认为是一个bin，因此得到6个bin，每个bin包含60度；然后根据梯度幅值通道中每个像素点的梯度方向，以梯度幅值为权重在9个bin上投影，从而得到6个方向的细胞单元描述特征；⑤将多个小的cell组合形成一个尺寸为B1*B2像素的图像块block，把一个block内的所有cell得到的细胞单元描述特征进行串联得到一个block的HOG特征；⑥将所有图像块的HOG特征串联，组合形成表示整个输入图像的HOG特征。进一步的，还包括步骤7，利用混淆矩阵计算检测精度，设混淆矩阵中实际是正样本预测为正样本的个数为TP，实际是负样本预测为正样本的个数为FP，实际是正样本预测为负样本的个数为FN，实际是负样本预测为负样本的个数为TN，则检测精度的计算公式为进一步的，步骤1中通过静止摄像头获取原始漏水监测区域视频。与现有技术相比，本专利技术具有以下优点：本专利技术所提供的一种基于多通道特征融合和机器学习的漏水监测方法，相比于传统的传感电缆检测漏水，本专利技术具有非接触性，成本低的优点，并能对漏水的程度提供一定的信息(即一定时间内的漏频率)。相比于简单的帧间差等动态检测模型，本专利技术采用运动检测和分类模型能有效的减少环境噪声和人为等其他物体出现在画面中的干扰，采用单位时间内统计平均策略能较好的减少虚警，给决策人员提供较好的参考结果。实验表明，本专利技术方法能够在实验条件及实际环境条件下完成高精度的漏水监测，漏水检测精度达到90％左右，在图像目标检测领域，该检测精度已经基本能够达到实用的分类水平。附图说明图1为本专利技术实施例流程图；图2为本专利技术实施例中漏水图像和非漏水图像的三种特征通道图像；图3为本专利技术实施例中SVM二分类器训练流程简图；图4为本专利技术实施例中NMS算法过程实例说明图；图5为本专利技术实施中拍摄自制视频的实验环境图像。具体实施方式传本文档来自技高网...

【技术保护点】
一种基于多通道特征融合和机器学习的漏水监测方法，其特征在于，包括如下步骤：步骤1，获取原始漏水监测区域视频，根据需要对原始视频中的漏水检测区域进行选取，选定结果记为待检测视频序列VROI；步骤2，运动变化图像块提取，包括对步骤1得到的待检测视频序列，利用帧间差算法得到差分图像，以固定尺寸且不重叠矩形框对差分图像分块，再对每一块图像的像素值进行累加统计，利用阈值提取得到待检测视频序列中的运动变化图像块集合；步骤3，运动变化图像块分割，包括对步骤2获得的运动变化图像块集合中每一个图像块进行有重叠的块分割，得到待分类图像块集合；步骤4，特征提取，包括对步骤3待分类图像块集合中每个待分类图像块分别进行特征提取，提取的特征包括梯度通道特征，HOG通道特征，LUV色彩空间的L通道特征，然后对以上三种通道特征分别进行归一化，最后串联融合得到多通道特征；步骤5，对漏水图片和非漏水图片构成的训练样本集合提取多通道特征，并利用SVM模型进行训练得到分类器，然后利用分类器对每个待分类图像块进行二分类预测，分类结果为漏水图像块和无漏水图像块；步骤6，对分类器得到的每一帧图像内所有的漏水图像块采用非极大值抑制策略，取最高置信度的漏水图像块为最后的输出结果，然后对一定数目连续帧中检测出的漏水图像块的数目进行统计，完成最终的漏水监测。...

【技术特征摘要】
1.一种基于多通道特征融合和机器学习的漏水监测方法，其特征在于，包括如下步骤：步骤1，获取原始漏水监测区域视频，根据需要对原始视频中的漏水检测区域进行选取，选定结果记为待检测视频序列VROI；步骤2，运动变化图像块提取，包括对步骤1得到的待检测视频序列，利用帧间差算法得到差分图像，以固定尺寸且不重叠矩形框对差分图像分块，再对每一块图像的像素值进行累加统计，利用阈值提取得到待检测视频序列中的运动变化图像块集合；步骤3，运动变化图像块分割，包括对步骤2获得的运动变化图像块集合中每一个图像块进行有重叠的块分割，得到待分类图像块集合；步骤4，特征提取，包括对步骤3待分类图像块集合中每个待分类图像块分别进行特征提取，提取的特征包括梯度通道特征，HOG通道特征，LUV色彩空间的L通道特征，然后对以上三种通道特征分别进行归一化，最后串联融合得到多通道特征；步骤5，对漏水图片和非漏水图片构成的训练样本集合提取多通道特征，并利用SVM模型进行训练得到分类器，然后利用分类器对每个待分类图像块进行二分类预测，分类结果为漏水图像块和无漏水图像块；步骤6，对分类器得到的每一帧图像内所有的漏水图像块采用非极大值抑制策略，取最高置信度的漏水图像块为最后的输出结果，然后对一定数目连续帧中检测出的漏水图像块的数目进行统计，完成最终的漏水监测。2.如权利要求1所述的一种基于多通道特征融合和机器学习的漏水监测方法，其特征在于：步骤2中运动变化图像块提取的具体实现方式如下，首先对待检测视频图像序列VROI的第t-2帧和第t帧利用帧间差算法得到t时刻对应差分图像Dt，其中t＝3,5,...,n，n取值为不大于VROI总帧数的最大奇数值，设差分图像Dt的尺寸为宽W像素，高H像素，然后采用固定尺寸宽为W1像素，高为H1像素长度的不重叠矩形框对差分图像Dt分块，得到图像块数目为floor(W/W1)×floor(H/H1)，其中floor为向下取整函数，再对每一图像块内的像素值进行累加统计，利用最大阈值TH和最小阈值TL筛选出阈值范围内的运动变化图像块集其中i，j为矩形框左上角坐标。3.如权利要求2所述的一种基于多通道特征融合和机器学习的漏水监测方法，其特征在于：步骤3中运动变化图像块分割的具体实现方式如下，对运动变化图像块集中的每个运动变化图像块均采用了N×N的滑动窗分块，设x方向滑动步长为Sx个像素，y方向的滑动步长为Sy个像素，则一个W1×H1的运动变化图...

【专利技术属性】
技术研发人员：张海剑，蔡忠强，熊鑫诚，葛一徽，刘妍，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42