一种基于深度网络回归的油位表读数方法技术

本发明专利技术公开了一种基于深度网络回归的油位表读数方法，包括：步骤S1：获取油位表的图像数据作为样本图像；步骤S2：建立深度神经网络模型；步骤S3：对模型进行训练，首先，在输入训练样本的时候对两类样本进行混合，一部分是完整图样本，用来预测油位表位置大小，另一部分是根据油位表信息生成的截图，用于预测液位面高度位置；然后，使用交叉训练方式，即混合两种尺度图像作为输入，若输入大尺度图像，则使用网络的第一和第二分支的输出作为预测结果，使用油位表位置作为真值计算损失；若输入小尺度图像，则使用网络的第三分支输出作为预测结果，利用液位面高度计算损失；步骤S4：将工业油位表监控摄像头采集的图像输入训练好的模型进行预测。进行预测。进行预测。

【技术实现步骤摘要】
一种基于深度网络回归的油位表读数方法


[0001]本专利技术属于目标检测和小目标定位领域，涉及到基于深度神经网络的目标检测和油位表液位线的精准定位方法。

技术介绍

[0002]目标检测(Object Detection)技术的任务主要是找出图像中所有物体，并确定它们的类别和位置，是计算机视觉的核心问题之一。目前计算机视觉中有四大类别任务，分别是：分类，定位，检测，分割。在对工业油位表的自动读数这样应用场景中，准确地油位表中的液位面是一项关键技术，但油位表中的液位面实际由一个液体柱形成，在图像中长宽均不到图像尺寸的百分之一，如何准确定液位面也是一个难题。
[0003]现有定位油位表液位面的方法主要采用传统的图像处理方法，先采用模匹配方法从原始图像中定位出油位表的位置，再采用Hough变换等直线检测的技术定位出液位面的位置，模板匹配会受到模板的图像质量和当前油位表图像的影响，往往难以定位准油位表的位置，而且液位面作为细小物体也极易受到成像质量的干扰，以致采用这种方法定位液位面的精度不高。
[0004]本专利技术基于油位表和液位面的层次关系，采用同一个深度神经网络模型先对大尺度原始图像中的油位表进行定位，然后基于油位表位置裁剪得到小尺度图像后再对小尺度图像中的液位面进行回归预测定位。

技术实现思路

[0005]为了精准定位大尺度图像中的液位面，本专利技术提出一种基于深度网络回归的油位表读数方法，基于油位表和液位面的相对位置关系，首先从大尺度图像中定位相对较大的目标，即油位表，而后基于得到的油位表位置对图像进行裁剪，得到包含油位表的小尺度图像；将得到的小尺度图像再次输入模型，利用深度卷积网络回归得到精准的液位面位置。
[0006]为了克服现有技术的缺陷，本专利技术在训练模型时采用多任务学习策略，大尺度图像中定位油位表以及在小尺度图像中定位液位面位置，技术方案如下：
[0007]一种基于深度网络回归的油位表读数方法，包括以下步骤：
[0008]步骤S1：数据生成及预处理,这一步骤进一步包括：
[0009]步骤S11：采用实地拍摄的工业油位表远景图，每张图像中可能包含一个油位表或者多个；
[0010]步骤S12：对工业油位表远景图进行标注，得到油位表位置和液位面位置两组标签。
[0011]步骤S13：建立ground truth数据，预测两个标签的信息需要建立目标出现的概率和位置信息，最后预测是的一个7
×7×
5大小的矩阵和一个1
×
1的向量。
[0012]步骤S2：创建模型并训练，这一步骤进一步包括：
[0013]步骤S21：建立深度神经网络，采用通用的GoogleNet为主干网络，该网络输出三个
分支：油位表位置概率预测，油位表位置回归参数预测，液位面高度位置的回归预测。
[0014]步骤S22：将原始高分辨率图像缩放到448
×
448大小的图像输入网络，通过卷积层、池化层和激活层输出最后的油位表信息特征图，输出第一个特征图的大小是7
×
7，用于预测油位表落入某个分块的概率，第二个特征图的大小是7
×7×
4，用于预测油位表的位置和大小，第三个输出是液位面的高度位置。
[0015]步骤S23：把训练样本和目标真实值不断地输入到网络，使用误差反向传播进行每一层网络参数的调整，不断的迭代训练，最终实现收敛，得到网络模型。
[0016]步骤S24：本专利技术设计的深度神经网络要实现对两类的样本的预测，每种样本对应的损失也是不同的，所以在最后要融合不同类型的损失，再驱动网络更新，最终是让总损失趋于最小，直到损失稳定不动，网络训练结束。
[0017]步骤S3：训练好网络后，就可以把现场采集到的工业油位表图像，经预处理后输入网络，得出预测的油位表的坐标和大小以及液位面的高度位置。
[0018]与现有技术相比，本申请具有如下技术效果：
[0019]1)通过深度神经网络技术，采用两步走的方法，分而治之，先用在原始图上进行油位表的检测，得到高度准确的油位表，再以油位表为感兴趣区域，采用深度卷积网络回归的方法，而不是采用依赖图像质量的直线检测(Hough变换等)定位液位面这样的小目标物体，提高了定位的鲁棒性和准确性；
[0020]2)本专利技术采用同一个网络完成两个任务，也即检测油位表和定位回归液位面都由相同的深度卷积网络进行，本专利技术无论从模型显存占用量还是检测速度上都有提升。
附图说明
[0021]图1是本专利技术一种基于深度网络回归的油位表读数方法的流程框图。
[0022]图2是油位表和液位面的标注.
[0023]图3是创建ground truth的网格和油位表感兴趣图。
[0024]图4是本专利技术的深度神经网络结构。
[0025]图5是本专利技术中卷积模块的结构；
[0026]图6是本专利技术中inception模块的结构；
具体实施方式
[0027]首先进行训练数据准备，由实地拍摄的油位表远景照片，手动标注油位表和液位面的高度位置生成真实标签，准备足够规模的训练集；建立上述结构的神经网络；由训练集对网络进行训练，直到收敛。最后使用未用于训练的图片进行测试。
[0028]以下将结合附图对本专利技术提供的技术方案作进一步说明。
[0029]参见图1，所示为本专利技术一种基于深度网络回归的油位表读数方法的流程框图，具体包括以下步骤：
[0030]步骤S1：获取油位表的图像数据作为样本图像，并对样本图像进行标注得到训练用的标签数据；其中，得到两类样本标注信息，即预测油位表和液位面两个标签的信息；
[0031]步骤S2：建立深度神经网络模型，该模型结构采用GoogleNet为主干网络，且该模型输出三个分支，其中，第一分支用于油位表概率预测，第二分支用于油位表位置大小回归
预测，第三分支用于液位面高度位置回归预测；
[0032]步骤S3：对步骤S2建立的模型进行训练，其中，为了让一个网络同时能预测油位表和液位面高度，首先，在输入训练样本的时候对两类样本进行混合，一部分是完整图样本，用来预测油位表位置大小，另一部分是根据油位表信息生成的截图，用于预测液位面高度位置；然后，使用交叉训练方式，即混合两种尺度图像作为输入，若输入大尺度图像，则使用网络的第一和第二分支的输出作为预测结果，使用油位表位置作为真值计算损失；若输入小尺度图像，则使用网络的第三分支输出作为预测结果，利用液位面高度计算损失；
[0033]步骤S4：将工业油位表监控摄像头采集的图像输入训练好的模型进行预测，得出油位表在图像中的位置和大小，以及用油位表截图来预测液位面高度位置坐标。
[0034]其中，步骤S1中，在变电站场景内安装了大量监控油位表的摄像头，本专利技术使用的就是这类海量的图像数据，每张图像中可能包含一个油位表，这时对应一个目标，如果一些油位表比较集中，也可能在一个图中有多个油位表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度网络回归的油位表读数方法，其特征在于，具体包括以下步骤：步骤S1：获取油位表的图像数据作为样本图像，并对样本图像进行标注得到训练用的标签数据；其中，得到两类样本标注信息，即预测油位表和液位面两个标签的信息；步骤S2：建立深度神经网络模型，该模型结构采用GoogleNet为主干网络，且该模型输出三个分支，其中，第一分支用于油位表概率预测，第二分支用于油位表位置大小回归预测，第三分支用于液位面高度位置回归预测；步骤S3：对步骤S2建立的模型进行训练，其中，为了让一个网络同时能预测油位表和液位面高度，首先，在输入训练样本的时候对两类样本进行混合，一部分是完整图样本，用来预测油位表位置大小，另一部分是根据油位表信息生成的截图，用于预测液位面高度位置；然后，使用交叉训练方式，即混合两种尺度图像作为输入，若输入大尺度图像，则使用网络的第一和第二分支的输出作为预测结果，使用油位表位置作为真值计算损失；若输入小尺度图像，则使用网络的第三分支输出作为预测结果，利用液位面高度计算损失；步骤S4：将工业油位表监控摄像头采集的图像输入训练好的模型进行预测，得出油位表在图像中的位置和大小，以及用油位表截图来预测液位面高度位置坐标。2.根据权利要求1所述的基于深度网络回归的油位表读数方法，其特征在于，在步骤S3中...

【专利技术属性】
技术研发人员：郑晓隆，赵如彬，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：