一种实时跟踪的剪刀式刀闸状态的检测方法技术

本发明专利技术提出实时跟踪的剪刀式刀闸状态的检测方法，采集实时监控视频，建立模型文件，获取标注刀闸臂和刀闸臂关节点位置的训练模型；利用训练模型和模型文件对第一帧图像中的刀闸臂自动定位并获取刀闸估计状态，依次检测直到一帧图像中的刀闸估计状态为闭合或虚合，将该帧图像标记为初始帧图像并计算其中刀闸臂的关节点和刀闸臂的角平分线，同时提取特征点并记录；利用前一帧图像的特征点对当前帧图像刀闸臂关节点跟踪定位，计算当前帧图像中刀闸臂角平分线，计算上刀闸臂和下刀闸臂之间的夹角，判断实时状态；检测到刀闸停止运动，验证视频中刀闸运动的最终状态。本发明专利技术解决了剪刀式刀闸实时检测速度慢的问题，提高检测准确性。

【技术实现步骤摘要】
一种实时跟踪的剪刀式刀闸状态的检测方法
本专利技术涉及图像识别
，特别涉及一种实时跟踪的剪刀式刀闸状态的检测方法。
技术介绍
刀闸是高压开关电器中使用次数非常频繁的一种电器，在电路中起隔离作用。在实际应用中，由于刀闸的长期运转，会出现刀闸开合不到位的情形，该情形会导致刀闸的上下刀闸臂之间产生电弧。电弧是一种气体放电现象，电流通过某些绝缘介质产生的瞬间火花可能，会造成火灾或威胁人身安全；此外，电弧温度极高，容易把绝缘材料烧毁，造成漏电事件或造成刀闸设备损坏；因此，刀闸的闭合状态需要准确的检测。检测剪刀式刀闸开合是否到位，实践中主要需要依靠人工观测；在现有技术中，也通过计算上下刀闸臂之间的角度，判断刀闸开合的程度。目前计算上下刀闸臂之间的角度，国内外出现了许多计算方案，一种是对电路内部进行改动，增加传感器或者信号灯；一种是基于数字图像处理的方法，通过监控图像对刀闸的开关状态进行判断，在基于数字图像处理的方法中，由于背景复杂，对于刀闸难以正确匹配，降低检测精度。此外，由于拍摄环境影响，图像中刀闸臂边缘模糊，影响检测效果，无法准确检测上下本文档来自技高网...

【技术保护点】
1.一种实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，采集剪刀式刀闸的实时监控视频，获取实时视频的任一帧图像并根据该帧图像建立该型号刀闸的刀闸臂的边界线模型并保存为模型文件；/n通过多种途径获取剪刀式刀闸的样本图像，对样本图像利用深度学习算法进行训练获取标注刀闸臂和刀闸臂关节点位置的训练模型；/n从视频的第一帧图像开始依次检测，利用训练模型和模型文件对第一帧图像中的刀闸臂自动定位并获取刀闸估计状态，若第一帧图像中刀闸估计状态为打开，则直接输出刀闸状态为打开并继续检测第二帧图像，直至检测到一帧图像中的刀闸估计状态为闭合或虚合，将该帧图像标记为检测角度的初始帧图像；根据模型文件和训练模型获取初始...

【技术特征摘要】
1.一种实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，采集剪刀式刀闸的实时监控视频，获取实时视频的任一帧图像并根据该帧图像建立该型号刀闸的刀闸臂的边界线模型并保存为模型文件；
通过多种途径获取剪刀式刀闸的样本图像，对样本图像利用深度学习算法进行训练获取标注刀闸臂和刀闸臂关节点位置的训练模型；
从视频的第一帧图像开始依次检测，利用训练模型和模型文件对第一帧图像中的刀闸臂自动定位并获取刀闸估计状态，若第一帧图像中刀闸估计状态为打开，则直接输出刀闸状态为打开并继续检测第二帧图像，直至检测到一帧图像中的刀闸估计状态为闭合或虚合，将该帧图像标记为检测角度的初始帧图像；根据模型文件和训练模型获取初始帧图像中的刀闸臂关节点矩形框，计算初始帧图像中刀闸臂的关节点和刀闸臂的角平分线，同时提取初始帧图像中的刀闸臂关节点矩形框内的利于跟踪的特征点并记录；根据对初始帧图像中刀闸臂的定位结果对该帧图像中的刀闸进行边缘检测，确定初始帧图像中最终的上刀闸臂边缘线和下刀闸臂边缘线，进而计算上刀闸臂和下刀闸臂之间的夹角，判断初始帧图像中刀闸的实时状态；
利用前一帧图像的特征点对当前帧图像中刀闸臂关节点跟踪定位，根据该跟踪定位结果计算当前帧图像中刀闸臂角平分线，对当前帧图像中的刀闸进行自动定位并根据定位结果进行边缘检测，确定当前帧图像中最终的上刀闸臂边缘线和下刀闸臂边缘线，进而计算上刀闸臂和下刀闸臂之间的夹角，判断当前帧图像中刀闸的实时状态；
与处理当前帧图像相同的方式依次处理下一帧图像，如果刀闸运动方向为由打开到闭合，则直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态；如果刀闸的运动方向为由闭合到打开，则检测到刀闸状态变为打开时，直接输出刀闸打开状态，不需要计算刀闸臂间的角度，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态。


2.根据权利要求1所述的实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，“获取实时视频的任一帧图像并根据该帧图像建立该型号刀闸的刀闸臂的边界线模型并保存为模型文件”的方式为：获取视频的任一帧图像，在计算机上设置一个程序，利用该程序打开该帧图像并对其中刀闸的上下刀闸臂的左右边界和上下边界进行描边，形成一个四边形模板，上下刀闸臂在该四边形模板内，将四边形模板的四个端点坐标保存为模型文件；若该帧图像中的刀闸是闭合状态，根据刀闸臂的实际位置进行描边，若该帧图像中的刀闸是打开或虚合状态，根据刀闸的上下固定边界估算刀闸臂闭合状态下的位置，并对其闭合状态下的位置描边。


3.根据权利要求2所述的实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，利用训练模型和模型文件对第一帧图像中的刀闸臂自动定位并获取刀闸估计状态的具体方式为：
利用训练模型对当前帧图像进行检测，获取当前帧图像中的所有刀闸区域及每个刀闸区域对应的刀闸估计状态，“闭合”和“虚合”状态的刀闸对应的所在区域为包含上下刀闸臂及上下端点的整体矩形框区域，“打开”状态的刀闸对应的所在区域为包含上下刀闸臂和下端点的折叠矩形框区域；
根据模型文件获取闭合状态的刀闸的闭合四边形框区域、上中点和下中点，上中点为闭合四边形框的上边界的中点，下中点为闭合四边形框的下边界的中点，计算上述整体矩形框区域和折叠矩形框区域分别与闭合四边形框区域的重叠面积；
遍历当前帧图像中所有“闭合”和“虚合”状态的刀闸所在的区域，给定重叠面积阈值，获取包含上中点和下中点且重叠面积最大并大于重叠面积阈值的区域，则该区域即为最终的上下刀闸臂整体区域，以此实现“闭合”或“虚合”状态的刀闸定位；
若不存在上述包含上中点和下中点且重叠面积最大并大于重叠面积阈值的区域，则表明当前待检测的刀闸当前状态不是“闭合”或“虚合”状态，从所有“打开”状态的刀闸中实现刀闸定位，遍历目标图像中所有“打开”状态的刀闸所在的区域，获取包含下中点且重叠面积最大并大于重叠面积阈值的区域，若该区域存在，则该区域即为最终的打开状态的刀闸臂区域，以此实现“打开”状态的刀闸定位。


4.根据权利要求2所述的实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，根据对初始帧图像中刀闸臂的定位结果对该帧图像中的刀闸进行边缘检测，确定初始帧图像中最终的上刀闸臂边缘线和下刀闸臂边缘线的具体方式为：
根据刀闸臂定位结果对初始帧图像进行边缘检测，获取边缘线集合，计算当前帧图像的刀闸臂关节点到边缘线
集合中的每条边缘线的距离，给定上距离阈值和下距离阈值，将不在阈值范围内的距离所对应的边缘线剔除，获取更新边缘线集合；
利用角平分线将更新边缘线集合上下区分，分别获取上刀闸臂边缘线集合和下刀闸臂边缘线集合并进行对称配对，确定最终的上刀闸臂边缘线和下刀闸臂边缘线。


5.根据权利要求2所述的实时跟踪的剪刀式刀闸状态的检测方法，其特征在于，根据模型文件和训练模型获取初...

【专利技术属性】
技术研发人员：任大明，汪辉，
申请(专利权)人：南京鑫和汇通电子科技有限公司，
类型：发明
国别省市：江苏;32