一种基于全卷积神经网络的水尺水位线检测及有效性识别方法技术

本发明专利技术公开了一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，包括如下步骤：S1、获取水尺图像并进行人工标注，将水尺、水草和水体用不同的类别区分，得到标签图；S2、设计全卷积神经网络结构，进行网络训练；S3、利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记；S4、在语义分割图像中检测水尺水位线及识别有效性。本发明专利技术检测精度高，鲁棒性强，操作简单。

【技术实现步骤摘要】
一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
本专利技术涉及计算机视觉
，尤其是一种基于全卷积神经网络的水尺水位线检测及有效性识别方法。
技术介绍
水位是河流湖库的基本水文要素之一，是反映水体、水流变化的重要指标，水位数据是防汛抗旱、灌溉、航运和水利设施的建设和管理的基本依据，因此，及时可靠的水位测量对于水资源管理规划和可持续发展具有重要意义。水尺通过读数记录水位的高度，是一种最直观和简单的测量工具；然而传统水尺测量需要人工定时观测，自动化程度低，人员劳动强度大。现有的自动水位计主要包括浮子式、压力式、超声波式及雷达式等，但普遍存在设备及安装成本高，测量精度易受环境温度、泥沙含量及现场控制结构的影响，需要工作人员定期维护等缺点。目前国内许多重要的水位观测点均设有视频监控系统并配有标准水尺，为基于图像的水尺水位检测提供了有利条件。图像法利用图像传感器代替人眼获取水尺图像，通过图像处理技术检测水位线对应的读数，从而自动获取水位信息。然而在野外实际应用中，由于水尺和拍摄设备之间的距离较长，造成图像分辨率较低和背景干扰噪声较多，同时野外环境光照强度的变化对成像效果的影响较大，晴天时水面耀光、水尺倒影强烈，阴雨天气时水尺和水面的灰度值接近，导致常规基于灰度、边缘信息的图像处理技术将很难从中提取出水位线，或者检测误差较大，对于水尺有水草遮挡等测量结果的有效性也无法进行识别。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，检测精度高，鲁棒性强，操作简单。为解决上述技术问题，本专利技术提供一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，包括如下步骤：S1、获取水尺图像并进行人工标注，将水尺、水草和水体用不同的类别区分，得到标签图；S2、设计全卷积神经网络结构，进行网络训练；S3、利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记；S4、在语义分割图像中检测水尺水位线及识别有效性。优选的，步骤S1中，所述的获取水尺图像具体包括以下步骤：S1.1：选取不同天气、光照和水流条件下24位的实际水尺监控图像数据建立图像样本集，按照训练样本集，验证样本集＝8:2的方式进行划分；S1.2：处理实际水尺监控图像生成24位的正射水尺图像，长为H像素、宽为W像素。优选的，步骤S1中，所述的将水尺、水草和水体用不同的类别区分，得到标签图是对24位的正射水尺图像进行手工标注，生成的8位PNG格式的标签图，其中水体部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，将目标物体和背景分离，使得正射水尺图像中的每个像素点都有明确的类别。优选的，步骤S2中，所述的全卷积神经网络结构具体为：S2.1：将VGG-19网络作为待搭建全卷积神经网络的基础网络；S2.2：将待搭建全卷积神经网络中的全连接层FC-4096、FC-4096和FC-1000分别转换为卷积层，卷积核的大小(宽，长，通道数)分别为(7,7,4096)、(1,1,4096)、(1,1,1000)；S2.3：网络的具体结构如下所示：CONV1(3×3×64)→CONV2(3×3×64)→AVGP1→CONV3(3×3×128)→CONV4(3×3×128)→AVGP2→CONV5(3×3×256)→CONV6(3×3×256)→CONV7(3×3×256)→CONV8(3×3×256)→AVGP3→CONV9(3×3×512)→CONV10(3×3×512)→CONV11(3×3×512)→CONV12(3×3×512)→AVGP4→CONV13(3×3×512)→CONV14(3×3×512)→CONV15(3×3×512)→CONV16(3×3×512)→MAXP1→CONV17(7×7×4096)→CONV18(1×1×4096)→CONV19(1×1×1000)其中“CONV”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×通道数，各卷积层后都连接着一个“ReLU”激活函数层，为了公式的简洁该层并未给出，“AVGP”代表均值池化层，“MAXP”代表最大值池化层，池化层的大小均为(2,2)，步长为2；S2.4：搭建的全卷积神经网络通过分层计算特征图最终得到语义分割结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M可以包含若干个学习的权重参数，公式(1)给出了第m层的卷积特征图的计算公式：其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量；S2.5：步骤S2.4中所述的激活函数选用的是“ReLU”，公示(2)给出了其函数运算公式：f(x)＝max(0,x)(2)S2.6：经过AVGP1后特征图缩小为原图像尺寸的1/2；AVGP2后缩小为原图像的1/4；AVGP3后缩小为原图像的1/8，保留AVGP3输出的特征图；AVGP4后缩小为原图像的1/16，保留AVGP4输出的特征图；最后经过MAXP1后缩小为原图像的1/32；CONV17、CONV18和CONV19不改变图像大小，经过CONV19后特征图仍为原图像的1/32；S2.7：为了将分辨率变小的特征图恢复到和原图一样的尺寸大小，对特征图进行上采样操作：将经过最后一层卷积层CONV19的特征图进行2倍上采样，并将采样结果与AVGP4输出的特征图进行融合；再将融合结果进行2倍上采样，并将采样结果与AVGP3输出的特征图进行融合；再将融合结果进行8倍上采样，将特征图恢复和原图一样的尺寸大小；S2.8：最后使用softmax分类器做逐像素预测，softmax多分类层会对每一个像素进行分类，判断每个像素所属类别之后计算损失函数，通过反向传播算法一层层的更新网络中的参数；S2.9：步骤S2.8中所述的“softmax分类器”，是指一种常用的有监督多分类模型，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；S2.10：步骤S2.8中所述的损失函数为交叉熵损失函数，计算损失函数的具体过程为将softmax多分类层的输出向量和标注的样本数据的标签值做交叉熵处理，公示(3)给出了交叉熵的计算公式：其中，yi′指标注的标签值当中的第i个元素的值，yi指softmax层的输出向量[Y1,Y2,Y3...]的第i个向量数据。优选的，步骤S3中，所述的利用训练得到的全卷积神经网络对待测图像进行语义分割后生成像素值在[0,2]之间的8位JPG格式的分割结果图，其长为H像素、宽为W像素，其中水体部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，为便后续进行水位线检测，将该分割结果图内的各部分像素值均扩大100倍，即水体部分的像素值为本文档来自技高网...

【技术保护点】
1.一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，包括如下步骤：/nS1、获取水尺图像并进行人工标注，将水尺、水草和水体用不同的类别区分，得到标签图；/nS2、设计全卷积神经网络结构，进行网络训练；/nS3、利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记；/nS4、在语义分割图像中检测水尺水位线及识别有效性。/n

【技术特征摘要】
1.一种基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，包括如下步骤：
S1、获取水尺图像并进行人工标注，将水尺、水草和水体用不同的类别区分，得到标签图；
S2、设计全卷积神经网络结构，进行网络训练；
S3、利用训练得到的全卷积神经网络对待测图像进行语义分割，实现像素级的语义标记；
S4、在语义分割图像中检测水尺水位线及识别有效性。


2.如权利要求1所述的基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，步骤S1中，所述的获取水尺图像具体包括以下步骤：
S1.1：选取不同天气、光照和水流条件下24位的实际水尺监控图像数据建立图像样本集，按照训练样本集，验证样本集＝8:2的方式进行划分；
S1.2：处理实际水尺监控图像生成24位的正射水尺图像，长为H像素、宽为W像素。


3.如权利要求1所述的基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，步骤S1中，所述的将水尺、水草和水体用不同的类别区分，得到标签图是对24位的正射水尺图像进行手工标注，生成的8位PNG格式的标签图，其中水体部分的像素值为0，水尺部分的像素值为1，水草部分的像素值为2，将目标物体和背景分离，使得正射水尺图像中的每个像素点都有明确的类别。


4.如权利要求1所述的基于全卷积神经网络的水尺水位线检测及有效性识别方法，其特征在于，步骤S2中，所述的全卷积神经网络结构具体为：
S2.1：将VGG-19网络作为待搭建全卷积神经网络的基础网络；
S2.2：将待搭建全卷积神经网络中的全连接层FC-4096、FC-4096和FC-1000分别转换为卷积层，卷积核的大小(宽，长，通道数)分别为(7,7,4096)、(1,1,4096)、(1,1,1000)；
S2.3：网络的具体结构如下所示：
CONV1(3×3×64)→CONV2(3×3×64)→AVGP1→CONV3(3×3×128)→CONV4(3×3×128)→AVGP2→CONV5(3×3×256)→CONV6(3×3×256)→CONV7(3×3×256)→CONV8(3×3×256)→AVGP3→CONV9(3×3×512)→CONV10(3×3×512)→CONV11(3×3×512)→CONV12(3×3×512)→AVGP4→CONV13(3×3×512)→CONV14(3×3×512)→CONV15(3×3×512)→CONV16(3×3×512)→MAXP1→CONV17(7×7×4096)→CONV18(1×1×4096)→CONV19(1×1×1000)
其中“CONV”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×通道数，各卷积层后都连接着一个“ReLU”激活函数层，为了公式的简洁该层并未给出，“AVGP”代表均值池化层，“MAXP”代表最大值池化层，池化层的大小均为(2,2)，步长为2；
S2.4：搭建的全卷积神经网络通过分层计算特征图最终得到语义分割结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M可以包含若干个学习的权重参数，公式(1)给出了第m层的卷积特征图的计算公式：



其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量；
S2.5：步骤S2.4中所述的激活函数选用的是“ReLU”，公示(2)给出...

【专利技术属性】
技术研发人员：张振，周扬，王慧斌，张丽丽，汪崎宇，李嘉辉，沈淏旸，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32