基于背景差分法和深度学习的挖掘机实时检测方法和系统技术方案

本发明专利技术提供了一种基于背景差分法和深度学习的挖掘机实时检测方法和系统，采集管网区域在无挖掘机情况下的红外和可见光背景图像，并采集实时监测图像，通过背景差分法和深度学习检测管网区域，在红外图像分析初步判断有挖掘机后启动可见光图像分析，检测是否有挖掘机施工，降低管道事故风险。本发明专利技术具有的优点是：利用背景差分法和深度学习，结合红外图像分析和可见光图像分析，在较低计算投入成本下实现挖掘机的精确检测和实时动态监测。

Real time detection method and system of Excavator Based on background difference method and depth learning

【技术实现步骤摘要】
基于背景差分法和深度学习的挖掘机实时检测方法和系统
本专利技术涉及管道巡检领域，尤其涉及一种基于背景差分法和深度学习的挖掘机实时检测方法和系统。
技术介绍
近年来，随着国家和地方对许多新型燃气发电项目的投资和运营，“煤制气”等环保政策的执行力度加大，天然气得到了公众的广泛青睐。为了继续扩大天然气能源的利用，提高资源配置效率，必须加快油气管道网络系统的建设，确保管道的安全运行。多年的研究和管理经验降低了整体管道事故的可能性。然而，挖掘机施工作业引起的管道事故仍然时有发生。如何实时正确地检测管道网络附近的挖掘机在改善管道风险管理中起着重要的作用。现有的技术主要是利用无人机在高空对管网进行航拍，获取带有挖掘机目标对象的图片制作成数据集，对数据集利用卷积神经网络的相关算法达到挖掘机检测的效果。例如，专利号为201811351933.X的专利公开了一种基于深度学习用于高空巡检下的挖掘机检测方法，使用网络抓取或飞行器实地采样获得高空拍摄下管网系统附近的图像，经深度学习图像识别后判断是否有挖掘机施工作业。但由于带有挖掘机目标图像的数据集是高空拍摄的，噪声多，数据集质量不高，导致挖掘机检测准确率不高，且高空巡检实时性不强，不能第一时间检测到挖掘机，因此由于准确率和动态性不足的缺陷，现有技术无法满足第三方破坏高风险区域对挖掘机的检测要求。
技术实现思路
本专利技术提供一种基于背景差分法和深度学习的挖掘机实时检测方法和系统，基于背景差分法，以红外背景库和可见光背景库作为数据集，通过红外背景库的挖掘机检测粗略的判断管网区域是否可能存在挖掘机施工作业，如果检测到可能有挖掘机，作为阈值触发信号，启用可见光背景库，进行精确且动态的挖掘机检测。本专利技术的实现方法如下：所述基于背景差分法和深度学习的挖掘机实时检测方法包括步骤：S1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库；S2.利用所述红外背景图像库建立管网区域的红外背景模型；S3.采集管网区域的红外实时监测图像，对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；S4.判断所述二值化图像是否具有符合挖掘机尺寸的高亮区域；若是，则采集管网区域的可见光实时监测图像，对所述可见光实时监测图像与所述可见光背景图像库进行背景差分，提取感兴趣区域；若否，则转至步骤S3；S5.将所述感兴趣区域使用卷积神经网络模型进行图像分类，确定所述感兴趣区域是否存在挖掘机。进一步地，步骤S1具体包括：S10.在管网区域安装红外摄像机和可见光摄像机；S11.红外摄像机采集管网区域在无挖掘机情况下的红外背景图像，可见光摄像机采集管网区域在无挖掘机情况下的可见光背景图像；S12.利用红外背景图像建立红外背景图像库，利用可见光背景图像建立可见光背景图像库。进一步地，步骤S2，具体包括：利用高斯混合分布模型对红外背景图像库中的红外背景图像进行背景建模，设t时刻图像中每个像素点的像素值为Xt，所述高斯混合分布模型P(Xt)为；上式中k是高斯混合模型中高斯概率密度函数的个数，wk,t是第k个高斯概率密度函数在t时刻的权值，且各个高斯分量的权值之和为1，以确保概率密度函数在其作用域内的积分之和为1；是像素Xt在t时刻的第k个高斯概率密度函数，是第k个高斯概率密度函数在t时刻的协方差矩阵，是第k个高斯概率密度函数在t时刻的样本均值。进一步地，二值化图像为：，上式中Ek(x,y)是二值化图像坐标处的像素值，T是进行二值化处理所需要的阈值，Ak(x,y)及Bk(x,y)分别是红外实时监测图像和红外背景模型在(x,y)处的像素值。进一步地，卷积神经网络模型包括五层卷积层，分别使用32、64、64、128、128个3*3大小的卷积核。进一步地，卷积层的激活函数采用修正线性单元，在修正线性单元激活函数之后执行批规一化，将其输出规范化到均值为0、方差为1的标准正态分布。进一步地，在所述卷积神经网络模型的每一个卷积层后皆添加最大池化层，并在第三层、第四层、第五层和输出层采用Dropout技术。进一步地，还包括步骤：S6.检测到挖掘机后，发出警报信号。本专利技术还提供一种基于背景差分法和深度学习的挖掘机实时检测系统，实现方法如下：红外摄像机，用于采集管网区域的红外图像，以建立无挖掘机情况下的红外背景图像库及获取红外实时监测图像；可见光摄像机，用于采集管网区域的可见光图像，以建立无挖掘机情况下的可见光背景图像库及获取可见光实时监测图像；建模模块，用于根据所述红外背景图像库建立红外背景模型；分析模块，用于对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；判断模块，用于判断所述二值化图像是否有符合挖掘机尺寸的高亮区域；若是，则调用所述可见光摄像机获取管网区域的可见光实时监测图像；所述分析模块还用于对所述可见光实时监测图像和所述可见光背景图像库进行背景差分，提取感兴趣区域；所述判断模块还用于利用卷积神经网络模型对所述感兴趣区域进行图像分类，确定所述感兴趣区域是否为挖掘机。进一步地，还包括：警报模块，用于在检测到挖掘机时执行报警。与现有技术相比，本专利技术的有益技术效果为：本专利技术提供的方法和系统以红外背景库和可见光背景库作为数据集，数据集质量高，可以实现挖掘机的精确检测和实时动态监测，且基于红外背景图库的背景差分计算投入成本低。红外监测图像应用场景广泛、计算量较低，可以应用于树莓派等移动端，易于扩展；通过红外监测图像的初步判断可以以较低计算资源排除大部分的常规情景，在检测到可疑图像时再启动占用资源较多的可见光摄像机和可见光图像处理流程；基于可见光背景图库的背景差分法保留了大量颜色信息，提高了背景差分识别算法的准确率，并且结合了人工智能的图像分类算法，可以对挖掘机破坏施工进行更为准确的识别。附图说明图1是本专利技术实施例一的基于背景差分法和深度学习的挖掘机实时检测方法的流程图；图2是本专利技术实施例一的基于背景差分法和深度学习的挖掘机实时检测系统的结构图；图3是本专利技术实施例一的卷积神经网络模型的结构图；图4是本专利技术实施例一的卷积模块的结构图；图5是本专利技术实施例二的基于背景差分法和深度学习的挖掘机实时检测方法的流程图。具体实施方式以下将结合附图对根据本专利技术的优选实施例进行详细说明。通过附图以及相应的文字说明，本领域技术人员将会进一步理解本专利技术的特点和优势。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。实施例一本实施例的基于背景差分法和深度学习的挖掘机实时检测方法，其流程图如图1所示，所述方法包括：S1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库，具体包括：...

【技术保护点】
1.基于背景差分法和深度学习的挖掘机实时检测方法，其特征在于，包括步骤：/nS1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库；/nS2.利用所述红外背景图像库建立管网区域的红外背景模型；/nS3.采集管网区域的红外实时监测图像，对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；/nS4.判断所述二值化图像是否具有符合挖掘机尺寸的高亮区域；若是，则采集管网区域的可见光实时监测图像，对所述可见光实时监测图像与所述可见光背景图像库进行背景差分，提取感兴趣区域；若否，则转至步骤S3；/nS5.将所述感兴趣区域使用卷积神经网络模型进行图像分类，确定所述感兴趣区域是否存在挖掘机。/n

【技术特征摘要】
1.基于背景差分法和深度学习的挖掘机实时检测方法，其特征在于，包括步骤：
S1.采集管网区域在无挖掘机情况下的背景图像，建立红外背景图像库和可见光背景图像库；
S2.利用所述红外背景图像库建立管网区域的红外背景模型；
S3.采集管网区域的红外实时监测图像，对所述红外实时监测图像与所述红外背景模型进行背景差分，获得二值化图像；
S4.判断所述二值化图像是否具有符合挖掘机尺寸的高亮区域；若是，则采集管网区域的可见光实时监测图像，对所述可见光实时监测图像与所述可见光背景图像库进行背景差分，提取感兴趣区域；若否，则转至步骤S3；
S5.将所述感兴趣区域使用卷积神经网络模型进行图像分类，确定所述感兴趣区域是否存在挖掘机。


2.根据权利要求1所述的基于背景差分法和深度学习的挖掘机实时检测方法，其特征在于，所述步骤S1，具体包括：
S10.在管网区域安装红外摄像机和可见光摄像机；
S11.红外摄像机采集管网区域在无挖掘机情况下的红外背景图像，可见光摄像机采集管网区域在无挖掘机情况下的可见光背景图像；
S12.利用红外背景图像建立红外背景图像库，利用可见光背景图像建立可见光背景图像库。


3.根据权利要求1所述的基于背景差分法和深度学习的挖掘机实时检测方法，其特征在于，所述步骤S2，具体包括：
利用高斯混合分布模型对红外背景图像库中的红外背景图像进行背景建模，设t时刻
图像中每个像素点的像素值为Xt，所述高斯混合分布模型P(Xt)为；
上式中k是高斯混合模型中高斯概率密度函数的个数，wk,t是第k个高斯概率密度函数
在t时刻的权值，且各个高斯分量的权值之和为1，以确保概率密度函数在其作用域内的积
分之和为1；是像素Xt在t时刻的第k个高斯概率密度函数，是第k个
高斯概率密度函数在t时刻的协方差矩阵，是第k个高斯概率密度函数在t时刻的样本
均值。


4.根据权利要求1所述的基于背景差分法和深度学习的挖掘机实时检测方法，其特征
在于，所述二值化图像为：，上式中Ek(x,y)是二
值化图像坐标处的像素值，T是进行二值化处理所需要的阈值，Ak(...

【专利技术属性】
技术研发人员：滕卫明，杨秦敏，解剑波，钱济人，沈佳园，邓庆健，范海东，李清毅，张嵘，丁楠，陈积明，周君良，杨哲明，张国民，
申请(专利权)人：浙江浙能天然气运行有限公司，浙江省能源集团有限公司，浙江大学，
类型：发明
国别省市：浙江;33