本申请提出了一种基于水面数据的语义分割神经网络的训练方法及装置，该方法包括：获取露天矿防洪坝水面数据，对其进行二值化处理，得到二值化图像数据；构建第一候选语义分割神经网络，其中，第一候选语义分割神经网络由编码器和解码器组成；获取公开水面数据，根据公开水面数据对第一候选语义分割神经网络进行粗训练，训练结束后，得到第二候选语义分割神经网络；将露天矿防洪坝水面数据输入第二候选语义分割神经网络，得到分割图像数据，基于分割图像与二值化图像数据，计算损失值，根据损失值对第二候选语义分割神经网络进行精训练，直至训练结束，得到语义分割神经网络。本申请采用两步训练法，能够提高水面数据切割任务的准确性。
【技术实现步骤摘要】
本申请涉及计算机视觉领域，尤其涉及一种基于水面数据的语义分割神经网络的训练方法及装置。
技术介绍
1、语义分割(semantic segmentation)是计算机视觉(computer vision，cv)领域的一个基础研究方向，它可以对图像中的每个像素给出具体的类别，例如它可以分析一张图片或者一段视频流中的物体，并逐像素标记出来其所属类别。语义分割被广泛应用于自动驾驶、智慧城市和医疗图像处理等诸多领域。
2、目前针对露天矿防洪坝水位检测这一场景，有以下几种检测方案：在水中布置固定水尺，基于目标检测检测固定水尺，从而对水位进行检测；在河岸边自上而下依次设置多种不同颜色的标记线，基于深度学习的方法，推理水面的位置，并与标记线比较，得出不同的水位等级；基于传感器直接对水位进行检测。
3、然而，在水中布置固定水尺需要水底地势较为平缓，要求水底不会经常变化，在河岸边自上而下依次设置多种不同颜色的标记线需要比较平整、无起伏的水底和水面，且需要水岸比较平整并垂直于水平面，对场景要求过高，基于传感器则成本过高，且容易受环境影响。
技术实现思路
1、针对上述问题，提出了一种基于水面数据的语义分割神经网络的训练方法及装置，用于将水面与坝体分割开来，从而方便观测水位是否超限。
2、本申请第一方面提出一种基于水面数据的语义分割神经网络的训练方法，包括：
3、获取露天矿防洪坝水面数据，对所述露天矿防洪坝水面数据进行二值化处理，得到二值化图像数据；
<
p>4、构建第一候选语义分割神经网络，其中，所述第一候选语义分割神经网络由编码器和解码器组成，所述编码器用于对输入图像进行降维并编码，所述解码器用于提取编码图像中每个像素的语义标签；5、获取公开水面数据，根据所述公开水面数据对所述第一候选语义分割神经网络进行粗训练，训练结束后，得到第二候选语义分割神经网络；
6、将所述露天矿防洪坝水面数据输入所述第二候选语义分割神经网络，得到分割图像数据，基于所述分割图像与所述二值化图像数据，计算损失值，根据所述损失值对所述第二候选语义分割神经网络进行精训练，直至训练结束，得到训练好的语义分割神经网络。
7、可选的，所述获取露天矿防洪坝水面数据，并对所述露天矿防洪坝水面数据进行二值化处理，得到二值化图像数据，包括：
8、在水岸处布置多个监控摄像头，获取所述露天矿防洪坝水面数据；
9、对于所述露天矿防洪坝水面数据中的第一图像，采用预设点集组成的一个封闭的多边形将所述第一图像中的水面区域包围起来；
10、对所述第一图像进行二值化处理，将被包围区域的像素赋红色，将未被包围区域的像素赋黑色；
11、对所述露天矿防洪坝水面数据中的其余图像采取上述所示的二值化处理，待所有图像标注完成后，得到所述二值化图像数据。
12、可选的，所述编码器包括五个卷积网络，所述编码器用于：
13、利用穿插在五个卷积网络中的最大化池化和对输入图像进行降维；
14、在第四卷积网络与第五卷积网络中，利用空洞卷积增大所述编码器的感受野。
15、可选的，所述解码器，包括：
16、第一注意力细化模块，用于使用全局平均池化和归一化的深度降维，融合输入的图像特征和imu特征，并对其进行重新加权；
17、第一空洞空间金字塔池化模块，用于根据输入的图像特征和imu特征，细化小型水域结构的分割；
18、第一特征融合模块，用于融合所述第一注意力细化模块和所述第一空洞空间金字塔池化模块的输出特征，并生成1024个特征通道；
19、第二注意力细化模块，用于将来自第三卷积网络的特征、来自imu通道编码的特征、以及来自所述第一特征融合模块传输的特征融合；
20、第二特征融合模块，用于在所述第二注意力细化模块传输的特征上采样，将所述第二注意力细化模块传输的低维特征与第二卷积网络传输的高维特征融合，并重新加权融合后的特征。
21、可选的，所述解码器，还包括：
22、第二空洞空间金字塔池化模块，用于对输入图像的水域结构进行分割，并提取每个像素的语义标签，其中，所述第二空洞空间金字塔池化模块内置softmax函数。
23、可选的，在对所述第一候选语义分割神经网络和所述第二候选语义分割神经网络进行训练时，还包括：
24、将所述编码器中的第二卷积网络编码的高分辨率特征和imu编码特征输入所述解码器中的第二特征融合模块；
25、将所述编码器中第二卷积网络编码的中分辨率特征和imu编码特征输入所述解码器的第二注意力细化模块；
26、将所述编码器中的第五卷积网络编码的低分辨率特征和imu编码特征输入所述解码器的第一注意力细化模块，并利用堆叠的反卷积层对编码后信息进行解码，将提取到的信息映射到原输入空间的二维平面上。
27、可选的，所述方法，还包括：
28、在所述编码器和所述解码器之间添加残差模块；
29、在所述编码器中预设编号的卷积网络的卷积核中进行填零稀疏操作。
30、可选的，所述第二候选语义分割神经网络采取交叉熵函数作为损失函数，所述损失函数的表达式为：
31、
32、其中，yic表示第i个像素的标签，pic是像素i属于类别c的预测概率。
33、本申请第二方面提出一种基于水面数据的语义分割神经网络的训练装置，包括：
34、获取模块，用于获取露天矿防洪坝水面数据，对所述露天矿防洪坝水面数据进行二值化处理，得到二值化图像数据；
35、构建模块，用于构建第一候选语义分割神经网络，其中，所述第一候选语义分割神经网络由编码器和解码器组成，所述编码器用于对输入图像进行降维并编码，所述解码器用于提取编码图像中每个像素的语义标签；
36、粗训练模块，用于获取公开水面数据，根据所述公开水面数据对所述第一候选语义分割神经网络进行粗训练，训练结束后，得到第二候选语义分割神经网络；
37、精训练模块，用于将所述露天矿防洪坝水面数据输入所述第二候选语义分割神经网络，得到分割图像数据，基于所述分割图像与所述二值化图像数据，计算损失值，根据所述损失值对所述第二候选语义分割神经网络进行精训练，直至训练结束，得到训练好的语义分割神经网络。
38、本申请第三方面提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面中任一所述的方法。
39、本申请的实施例提供的技术方案至少带来以下有益效果：
40、通过构建语义分割神经网络，将水面数据中关于水面和坝体的部分分割开来，有利于后续对水位的检测，通过采用粗训练与精训练的方法对候选语义分割神经网络进行训练，能够提高语义分割神经网络的鲁棒性，从而提高水面数据切本文档来自技高网
...
【技术保护点】
1.一种基于水面数据的语义分割神经网络的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取露天矿防洪坝水面数据，并对所述露天矿防洪坝水面数据进行二值化处理，得到二值化图像数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述编码器包括五个卷积网络，所述编码器用于：
4.根据权利要求1所述的方法，其特征在于，所述解码器，包括：
5.根据权利要求4所述的方法，其特征在于，所述解码器，还包括：
6.根据权利要求5所述的方法，其特征在于，在对所述第一候选语义分割神经网络和所述第二候选语义分割神经网络进行训练时，还包括：
7.根据权利要求4所述的方法，其特征在于，还包括：
8.根据权利要求1所述的方法，其特征在于，所述第二候选语义分割神经网络采取交叉熵函数作为损失函数，所述损失函数的表达式为：
9.一种基于水面数据的语义分割神经网络的训练装置，其特征在于，包括：
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8中任一所述的方法。
...
【技术特征摘要】
1.一种基于水面数据的语义分割神经网络的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取露天矿防洪坝水面数据，并对所述露天矿防洪坝水面数据进行二值化处理，得到二值化图像数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述编码器包括五个卷积网络，所述编码器用于：
4.根据权利要求1所述的方法，其特征在于，所述解码器，包括：
5.根据权利要求4所述的方法，其特征在于，所述解码器，还包括：
6.根据权利要求5所述的方法，其特征在于，在对所述第一候...
【专利技术属性】
技术研发人员：刘晓明，杨晓辉，李佳城，王振，王洪磊，
申请(专利权)人：煤炭科学研究总院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。