一种对开式刀闸状态的实时检测方法技术

技术编号:23625529 阅读:34 留言:0更新日期:2020-03-31 23:03
本发明专利技术提出一种对开式刀闸状态的实时检测方法,包括:采集对开式刀闸的实时监控视频,获取视频的每帧图像并建立该型号刀闸臂的边界线模型并保存为模型文件;通过多种途径获取样本图像,利用深度学习对其进行训练获取训练模型,然后对每一帧图像进行检测获取其中的刀闸区域和刀闸状态,结合模型文件对其中的刀闸进行定位;根据上述定位的结果进行检测,计算左刀闸臂和右刀闸臂之间的初始夹角;估算系统误差,确定下一帧图像中左刀闸臂和右刀闸臂之间的校正夹角,判断每一帧图像中刀闸的实时状态,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态;本发明专利技术解决了对开式刀闸状态的实时检测精度低的问题。

A real-time detection method of the state of the double opening knife gate

【技术实现步骤摘要】
一种对开式刀闸状态的实时检测方法
本专利技术涉及图像识别
,特别涉及一种对开式刀闸状态的实时检测方法。
技术介绍
刀闸是高压开关电器中使用次数非常频繁的一种电器,在电路中起隔离作用。在实际应用中,由于刀闸的长期运转,会出现刀闸闭合或打开不到位的情形,该情形会导致刀闸的左右刀闸臂之间产生电弧。电弧是一种气体放电现象,电流通过某些绝缘介质产生的瞬间火花可能,会造成火灾或威胁人身安全;此外,电弧温度极高,容易把绝缘材料烧毁,造成漏电事件或造成刀闸设备损坏;因此,刀闸的开合状态需要准确的检测。检测对开式刀闸的实时状态,实践中主要需要依靠人工观测;在现有技术中,也通过计算左右刀闸臂之间的角度判断刀闸的状态。目前计算左右刀闸臂之间的角度,国内外出现了许多计算方案,一种是对电路内部进行改动,增加传感器或者信号灯;一种是基于数字图像处理的方法,通过监控图像对刀闸的开关状态进行判断,在基于数字图像处理的方法中,由于背景复杂,左刀闸臂和右刀闸臂之间的角度计算精度较低,不能满足实际需求。
技术实现思路
为了解决现有技术中刀闸状态实时检测精度较低的问题,本专利技术提出一种对开式刀闸状态的实时检测方法。本专利技术的技术方案是这样实现的:一种对开式刀闸状态的实时检测方法,包括:采集对开式刀闸的实时监控视频,获取视频的每帧图像并根据任一帧图像建立该型号刀闸臂的边界线模型并保存为模型文件,且根据模型文件计算刀闸臂的中点和中线;通过多种途径获取对开式刀闸的样本图像,利用深度学习对样本图像进行训练获取训练模型,利用训练模型对视频的第一帧图像进行检测,获取第一帧图像中所有的刀闸区域和刀闸状态,结合模型文件对第一帧图像中的刀闸进行定位;根据上述定位的结果对视频的第一帧图像进行边缘检测,获取边缘线集合,计算第一帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合;利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合并进行对称配对,确定最终的左刀闸臂边缘线和右刀闸臂边缘线,计算左刀闸臂和右刀闸臂之间的初始夹角,判断第一帧图像中刀闸的实时状态;同样的方式处理第二帧图像,获取第二帧图像中左刀闸臂和右刀闸臂之间的初始夹角,根据中线估算系统误差,确定第二帧图像中左刀闸臂和右刀闸臂之间的校正夹角,根据校正夹角判断第二帧图像中刀闸的实时状态;与处理第二帧图像相同的方式依次处理下一帧图像,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态。优选的是,利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合后,将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行权重分配,将权重分配后的左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对。优选的是,利用训练模型对视频的第一帧图像进行检测,获取第一帧图像中所有的刀闸区域和刀闸状态,结合模型文件对第一帧图像中的刀闸进行定位的具体方式为:利用训练模型对第一帧图像进行检测,获取第一帧图像中的所有刀闸区域及每个刀闸区域对应的刀闸状态,“闭合”和“虚合”状态的刀闸对应的所在区域为包含左右刀闸臂的整体矩形框区域,“打开”状态的刀闸对应的所在区域为包含左刀闸臂的左矩形框区域和包含右刀闸臂的右矩形框区域;对于“闭合”和“虚合”状态的刀闸同时获取其左右刀闸臂的接触点位置矩形框;根据模型文件获取闭合状态的刀闸的闭合四边形框区域,计算上述第一帧图像中整体矩形框区域、左矩形框区域、右矩形框区域分别与闭合四边形框区域的重叠面积;遍历第一帧图像中所有“闭合”和“虚合”状态的刀闸所在的区域,给定重叠面积阈值,获取包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域为最终的左右刀闸臂整体区域,同时计算左右刀闸臂的接触点位置矩形框的中心点并将其记为接触点,以过接触点且与该左右刀闸臂整体区域矩形框短边平行的中心直线为界限,左侧矩形框为左刀闸臂矩形框,右侧矩形框为右刀闸臂矩形框,实现对第一帧图像中“闭合”或“虚合”状态的刀闸定位;若不存在上述包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域,则表明第一帧图像中待检测的刀闸的状态不是“闭合”或“虚合”状态,,遍历第一帧图像中所有“打开”状态且重叠面积大于重叠面积阈值的刀闸所在的区域,获取包含左中点且重叠面积最大的区域记作第一打开左刀闸臂区域;获取包含右中点且重叠面积最大的区域记作第一打开右刀闸臂区域;遍历第一帧图像中所有“打开”状态且重叠面积小于等于重叠面积阈值的刀闸所在的区域,获取前两个包含左中点且重叠面积最大的区域记为左刀闸臂匹配区域;获取前两个包含右中点且重叠面积最大的区域记为右刀闸臂匹配区域;计算任一个左刀闸臂匹配区域的4个顶点到左中点的距离并选取左侧最小距离,相比两个左侧最小距离并将较小的左侧最小距离对应的左刀闸臂匹配区域记为第二打开左刀闸臂区域;计算任一个右刀闸臂匹配区域的4个顶点到右中点的距离并选取右侧最小距离,相比两个右侧最小距离并将较小的右侧最小距离对应的右刀闸臂匹配区域记为第二打开右刀闸臂区域;给定刀闸臂面积阈值,大于刀闸臂面积阈值的第一打开左刀闸臂区域记为最终左刀闸臂区域,否则大于刀闸臂面积阈值的第二打开左刀闸臂区域记为最终左刀闸臂区域;大于刀闸臂面积阈值的第一打开右刀闸臂区域记为最终右刀闸臂区域,否则大于刀闸臂面积阈值的第二打开右刀闸臂区域记为最终右刀闸臂区域,实现对第一帧图像中“打开”状态的刀闸定位。优选的是,计算左刀闸臂和右刀闸臂之间的初始夹角的具体方式为:以最终的左刀闸臂边缘线和右刀闸臂边缘线作为基准,若最终的左刀闸臂边缘线相对于闭合状态刀闸臂所在直线的角度为,最终的右刀闸臂边缘线相对于闭合状态刀闸臂所在直线的角度为,最终的左刀闸臂边缘线和右刀闸臂边缘线间的夹角为,左刀闸臂和右刀闸臂之间的初始夹角为,第一帧图像中左刀闸臂和右刀闸臂之间的初始夹角为左刀闸臂和右刀闸臂之间的夹角。优选的是,根据中线估算系统误差,确定第二帧图像中左刀闸臂和右刀闸臂之间的校正夹角的具体方式为:计算实时视频中当前帧图像和前一帧图像中的最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角,设定当前帧图像中最终的左刀闸臂边缘线与闭合状态刀闸臂所在直线的夹角为,最终的右刀闸臂边缘线与闭合状态刀闸臂所在直线的夹角为,前一帧图像中最终的左刀闸臂边缘线与闭合状态刀闸臂所在直线的夹角为,最终的右刀闸臂边缘线与闭合状态刀闸臂所在直线的夹角为,将系统误差记为;结合系统误差,确定当前帧左刀闸臂和右刀闸臂间的校正夹角为,该校正夹角为第二帧图像中左刀闸臂和右刀闸臂间的夹角。优选的是,判断第一帧图像中刀闸的实时状态的具体方式为:根据用户需求给出对开式刀闸“打开”和“闭合”状态的两个角度阈值T-o和T-c;若左刀闸臂和右刀闸臂之间的夹角大于T-o,判定第一帧图像中的刀闸是打开状态,若左刀闸臂和右刀闸臂之间的实际夹角小于T-c,判定第一帧图像中的刀闸是闭合状态,若左刀闸臂和右刀闸臂之间的实际夹角本文档来自技高网...

【技术保护点】
1.一种对开式刀闸状态的实时检测方法,其特征在于,包括:采集对开式刀闸的实时监控视频,获取视频的每帧图像并根据任一帧图像建立该型号刀闸臂的边界线模型并保存为模型文件,且根据模型文件计算刀闸臂的中点和中线;/n通过多种途径获取对开式刀闸的样本图像,利用深度学习对样本图像进行训练获取训练模型,利用训练模型对视频的第一帧图像进行检测,获取第一帧图像中所有的刀闸区域和刀闸状态,结合模型文件对第一帧图像中的刀闸进行定位;/n根据上述定位的结果对视频的第一帧图像进行边缘检测,获取边缘线集合,计算第一帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合;/n利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合并进行对称配对,确定最终的左刀闸臂边缘线和右刀闸臂边缘线,计算左刀闸臂和右刀闸臂之间的初始夹角,判断第一帧图像中刀闸的实时状态;/n同样的方式处理第二帧图像,获取第二帧图像中左刀闸臂和右刀闸臂之间的初始夹角,根据中线估算系统误差,确定第二帧图像中左刀闸臂和右刀闸臂之间的校正夹角,根据校正夹角判断第二帧图像中刀闸的实时状态;/n与处理第二帧图像相同的方式依次处理下一帧图像,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态。/n...

【技术特征摘要】
1.一种对开式刀闸状态的实时检测方法,其特征在于,包括:采集对开式刀闸的实时监控视频,获取视频的每帧图像并根据任一帧图像建立该型号刀闸臂的边界线模型并保存为模型文件,且根据模型文件计算刀闸臂的中点和中线;
通过多种途径获取对开式刀闸的样本图像,利用深度学习对样本图像进行训练获取训练模型,利用训练模型对视频的第一帧图像进行检测,获取第一帧图像中所有的刀闸区域和刀闸状态,结合模型文件对第一帧图像中的刀闸进行定位;
根据上述定位的结果对视频的第一帧图像进行边缘检测,获取边缘线集合,计算第一帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合;
利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合并进行对称配对,确定最终的左刀闸臂边缘线和右刀闸臂边缘线,计算左刀闸臂和右刀闸臂之间的初始夹角,判断第一帧图像中刀闸的实时状态;
同样的方式处理第二帧图像,获取第二帧图像中左刀闸臂和右刀闸臂之间的初始夹角,根据中线估算系统误差,确定第二帧图像中左刀闸臂和右刀闸臂之间的校正夹角,根据校正夹角判断第二帧图像中刀闸的实时状态;
与处理第二帧图像相同的方式依次处理下一帧图像,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态。


2.根据权利要求1所述的对开式刀闸状态的实时检测方法,其特征在于,利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合后,将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行权重分配,将权重分配后的左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对。


3.根据权利要求1所述的对开式刀闸状态的实时检测方法,其特征在于,利用训练模型对视频的第一帧图像进行检测,获取第一帧图像中所有的刀闸区域和刀闸状态,结合模型文件对第一帧图像中的刀闸进行定位的具体方式为:
利用训练模型对第一帧图像进行检测,获取第一帧图像中的所有刀闸区域及每个刀闸区域对应的刀闸状态,“闭合”和“虚合”状态的刀闸对应的所在区域为包含左右刀闸臂的整体矩形框区域,“打开”状态的刀闸对应的所在区域为包含左刀闸臂的左矩形框区域和包含右刀闸臂的右矩形框区域;对于“闭合”和“虚合”状态的刀闸同时获取其左右刀闸臂的接触点位置矩形框;
根据模型文件获取闭合状态的刀闸的闭合四边形框区域,计算上述第一帧图像中整体矩形框区域、左矩形框区域、右矩形框区域分别与闭合四边形框区域的重叠面积;遍历第一帧图像中所有“闭合”和“虚合”状态的刀闸所在的区域,给定重叠面积阈值,获取包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域为最终的左右刀闸臂整体区域,同时计算左右刀闸臂的接触点位置矩形框的中心点并将其记为接触点,以过接触点且与该左右刀闸臂整体区域矩形框短边平行的中心直线为界限,左侧矩形框为左刀闸臂矩形框,右侧矩形框为右刀闸臂矩形框,实现对第一帧图像中“闭合”或“虚合”状态的刀闸定位;
若不存在上述包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域,则表明第一帧图像中待检测的刀闸的状态不是“闭合”或“虚合”状态,遍历第一帧图像中所有“打开”状态且重叠面积大于重叠面积阈值的刀闸所在的区域,获取包含左中点且重叠面积最大的区域记作第一打开左刀闸臂区域;获取包含右中点且重叠面积最大的区域记作第一打开右刀闸臂区域;遍历第一帧图像中所有“打开”状态且重叠面积小于等于重叠面积阈值的刀闸所在的区域,获取前两个包含左中点且重叠面积最大的区域记为左刀闸臂匹配区域;获取前两个包含右中点且重叠面积最大的区域记为右刀闸臂匹配区域;
计算任一个左刀闸臂匹配区域的4个顶点到左中点的距离并选取左侧最小距离,相比两个左侧最小距离并将较小的左侧最小距离对应的左刀闸臂匹配区域记为第二打开左刀闸臂区域;计算任一个右刀闸臂匹配区域的4个顶点到右中点的距离并选取右侧最小距离,相比两个右侧最小距离并将较小的右侧最小距离对应的右刀闸臂匹配区域记为第二打开右刀闸臂区域;
给定刀闸臂面积阈值,大于刀闸臂面积阈值的第一打开左刀闸臂区域记为最终左刀闸臂区域,否则大于刀闸臂面积阈值的第二打开左刀闸臂区域记为最终左刀闸臂区域;大于刀闸臂面积阈值的第一打开右刀闸臂区域记为最终右刀闸臂区域,否则大于刀闸臂面积阈值的第二打开右刀闸臂区域记为最终右刀闸臂区域,实现对第一帧图像中“打开”状态的刀闸定位。


4.根据权利要求1所述的对开式刀闸状态的实时检测方法,其特征在于,计算左刀闸臂和右刀闸臂之间的初始夹角的具体方式为:以最终的左刀闸臂边缘线和右刀闸臂边缘线作为基准,若最终的左刀闸臂边缘线相对于闭合状态刀闸臂所在直线的角度为,最终的右刀闸臂边缘线相对于闭合状态刀闸臂所在直线的角度为,最终的左刀闸臂边缘线和右刀闸臂边缘线间的夹角为,左刀闸臂和右刀闸臂之间的初始夹角为,第一帧图像中左刀闸臂和右刀闸臂之间的初始夹角为左刀闸臂和右刀闸臂之间的夹角。


5.根据权利要求4所述的对开式刀闸状态的实时检测方法,其特征在于,根据中线估算系统误差,确定第二帧图像中左刀闸臂和右刀闸臂之间的校正夹角的具体方式为:
计算实时视频中当前帧图像和前一帧图像中的最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角,设定当前帧图像中最终的左刀闸臂边缘线与闭合状态刀闸臂所在直线的夹角为,最终的右刀闸臂边缘线与闭合状态刀闸臂所在直线的夹角为,前一帧图像中最终的左刀闸臂边缘线与闭合状态刀闸臂所在直线的夹角为,最终的右刀闸臂边缘线与闭合状态刀闸臂所在直线的夹角为,将系统误差记为;结合系统误差,确定当前帧左刀闸臂和右刀闸臂间的校正夹角为,该校正夹角为第二帧图像中左刀闸臂和右刀闸臂间的夹角。


6.根据权利要求1所述的对开式刀闸状态的实时检测方法,其特征在于,判断第一帧图像中刀闸的实时状态的具体方式为:
根据用户需求给出对开式刀闸“打开”和“闭合”状态的两个角度阈值T-o和T-c;
若左刀闸臂和右刀闸臂之间的夹角大于T-o,判定第一帧图像中的刀闸是打开状态,若左刀闸臂和右刀闸臂之间的实际夹角小于T-c,判定第一帧图像中的刀闸是闭合状态,若左刀闸臂和右刀闸臂之间的实际夹角介于T-o和T-c之间,判定第一帧图像中的刀闸是虚合状态。


7.根据权利要求1所述的对开...

【专利技术属性】
技术研发人员:汪辉任大明
申请(专利权)人:南京鑫和汇通电子科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1