基于深度学习的复杂情况下的开关检测系统及方法技术方案

本发明专利技术公开了一种基于深度学习的复杂情况下的开关检测系统及方法，通过摄像头获取初始图像及历史图像，然后对历史图像进行标注得到标注图像；使用历史图像对无锚框实时目标检测模型进行训练得到训练好的无锚框实时目标检测模型；将初始图像输入训练好的无锚框实时目标检测模型，输出得到开关位置；从初始图像中截取开关位置对应的开关图像；利用标注图像对开关状态检测模型进行训练，得到训练好的开关状态检测模型；将开关图像输入开关状态检测模型，输出得到开关位置对应的开关状态；最终将开关状态与开关位置返回至初始图像，实现实时监控开关状态的目的。时监控开关状态的目的。时监控开关状态的目的。

【技术实现步骤摘要】
基于深度学习的复杂情况下的开关检测系统及方法


[0001]本专利技术涉及开关检测识别
，尤其涉及一种基于深度学习的复杂情况下的开关检测系统及方法。

技术介绍

[0002]开关检测识别工业生产中具有重要的应用和实际意义，可以实现生产过程的自动化、智能化和数字化，提高生产效率和质量，降低生产成本和人工成本，保护生产安全和环境，推动智能制造和工业4.0的发展。
[0003]传统的开关检测识别方法主要根据基于深度学习的方法来实行检测任务。
[0004]基于深度学习的方法通常是通过目标检测来对工厂内控制台上各种器件进行识别检测，然而通用的目标检测算法在复杂的工厂环境上的表现却有点差强人意，这是因为当前算法存在以下问题。
[0005]因为目标检测算法难以应对复杂的工业场景。工业生产环境复杂多变，可能存在各种噪声和干扰，这会影响基于深度学习的方法的检测效果和鲁棒性。基于深度学习的方法对于场景和环境的变化比较敏感，对于未知的情况可能会出现检测错误的情况，这会限制其在实际应用中的可靠性和鲁棒性，夜间摄像头所采集的图片质量严重丢失了颜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的复杂情况下的开关检测系统，其特征在于，包括摄像头、标注模块、开关位置检测模块、开关状态检测模块、输出模块；其中，所述摄像头，用于实时采集获取初始图像；并获取多个历史图像；所述标注模块，用于对对所述历史图像进行标注，分别对应得到多个标注图像；所述开关位置检测模块，包括位置检测模型训练子模块、开关位置判断子模块；所述位置检测模型训练子模块，用于搭建无锚框实时目标检测模型；利用所述标注图像对所述无锚框实时目标检测模型进行训练，得到训练好的无锚框实时目标检测模型；所述开关位置判断子模块，用于将所述初始图像输入所述训练好的无锚框实时目标检测模型，输出得到多个开关位置及所述开关位置对应的开关类别；基于所述开关位置，从所述初始图像中截取所述开关位置对应的开关图像；所述开关状态检测模块，包括状态检测模型训练子模块、开关状态判断子模块；所述状态检测模型训练子模块，用于搭建开关状态检测模型；利用所述标注图像对所述开关状态检测模型进行训练，得到训练好的开关状态检测模型；所述开关状态判断子模块，用于将所述开关图像输入所述训练好的开关状态检测模型，输出得到开关状态；所述输出模块，用于将所述开关状态与所述开关位置返回所述初始图像。2.根据权利要求1所述的一种基于深度学习的复杂情况下的开关检测系统，其特征在于，所述位置模型训练子模块，具体用于将所有所述标注图像输入所述无锚框实时目标检测模型，分别对应得到多个预测框，并计算所述预测框的权重；将所述预测框的权重输入所述无锚框实时目标检测模型，得到训练好的无锚框实时目标检测模型。3.根据权利要求1所述的一种基于深度学习的复杂情况下的开关检测系统，其特征在于，所述位置模型训练子模块，具体用于分别对所有所述标注图像进行前向网络特征提取，分别对应获取多个检测图像；分别获取所有所述检测图像中的标注框；将所述检测图像放入所述无锚框实时目标检测模型进行训练，分别对应得到多个预测框；并获取所述标注框的属性信息及所述预测框的属性信息；根据所述标注框的属性信息及所述预测框的属性信息计算获取预测框与标注框的损失函数Loss
m
；所述标注框的属性信息包括标注框的宽w、高h及中心点坐标(x，y)；所述预测框的属性信息包括预测框的宽w'、高h'及中心点坐标(x'，y')；将所述预测框与标注框的损失函数Loss
m
反向传播获取预测框的权重。4.根据权利要求3所述的一种基于深度学习的复杂情况下的开关检测系统，其特征在于，所述位置模型训练子模块，还用于根据所述标注框的属性信息，获取所述标注框的宽w、高h及中心点坐标(x，y)；根据所述预测框的属性信息，获取所述预测框的宽w'、高h'及中心点坐标(x'，y')；判断所述预测框中是否有物体，并判断所述预测框中的物体是否为开关；根据所述标注框的中心点坐标(x，y)及所述预测框的中心点坐标(x'，y')计算获取中心点坐标的损失函数L
reg
；根据所述标注框的宽w、高h及所述预测框的宽w'、高h'计算获取宽高的损失函数L
coord
；根据所述预测框中是否有物体的判断结果，计算获取置信度的损失函数L
conf
；根据所述预测框中的物体是否为开关的判断结果计算获取判断类别的损失函数
L
cls
；根据所述中心点坐标的损失函数L
reg
、宽高的损失函数L
coord
、置信度的损失函数L
conf
、判断类别的损失函数L
cls
计算获取预测框与标注框的损失函数Loss
m
。5.一种基于深度学习的复杂情况下的开关检测方法，所述方法应用于权利要求1
‑
4任一项所述的一种基于深度学习的复杂情况下的开关检测系统，所述方法包括如下操作步骤：通过摄像头实时采集获取初始图像；并获取多个历史图像；并对所述历史图像进行标注，分别对应得到多个标注图像；搭建无锚框实时目标检测模型；利用所述标注图像对所述无锚框实时目标检测模型进行训练，得到训练好的无锚框实时目标检测模型；将所述初始图像输入所述训练好的无锚框实时目标检测模型，输出得到多个开关位置及所述开关位置对应的开关类别；基于所述开关位置，从所述初始图像中截取所述开关位置对应的开关图像；搭建开关状态检测模型；利用所述标注图像对所述开关状态检测模型进行训练，得到训练好的开关状态检测模型；将所述开关图像输入所述训练好的开关状态检测模型，输出得到开关状态；将所述开关状态与所述开关位置返回所述初始图像。6.根据权利要求5所述的一种基于深度学习的复杂情况下的开关检测方法，其特征在于，所述利用所述标注图像对所述无锚框实时目标检测模型进行训练，得到训练好的无锚框实时目标检测模型，包括如下操作步骤：将所有所述标注图像输入所述无锚框实时目标检测模型，分别对应得到多个预测框，并计算所述预测框的权重；将所述预测框的权重输入所述无锚框实时目标检测模型，得到训练好的无锚框实时目标检测模型。7.根据权利要求6所述的一种基于深度学习的复杂情况下的开关检测方法，其特征...

【专利技术属性】
技术研发人员：熊一鑫，何翔，李晨，王敏节，孙喜亮，郭彦明，
申请(专利权)人：北京数字绿土科技股份有限公司，
类型：发明
国别省市：