一种基于目标跟踪算法的高压输电线路异物检测方法技术

本发明专利技术公开了一种基于目标跟踪算法的高压输电线路异物检测方法，包括：输电塔上摄像装置的安放和数据传输；高压输电线异物的收集和标注；训练yolov5模型，并进行优化；对检测范围使用Hough直线检测，得出高压输电线路大致范围；对视频流进行检测，使用soft‑nms算法对检测结果进行优化，并选取待跟踪的目标；基于DeepSort目标跟踪算法，使用卡尔曼滤波预测跟踪目标位置；使用匈牙利算法对预测目标和检测目标求关联度，并进行匹配；根据已有的跟踪目标轨迹，得出其是否会达到高压输电线路区域；根据跟踪目标的最终位置，得出其是否是影响高压输电线路的异常目标。该方法能够实现及时，精确的检测出接近和附着在输电线路上的异物，并快速发出报警。

【技术实现步骤摘要】
一种基于目标跟踪算法的高压输电线路异物检测方法
本专利技术涉及电力系统智能监控的
，尤其是指一种基于目标跟踪算法的高压输电线路异物检测方法，可应用于监控接近高压输电线路的异物并及时发出警报。
技术介绍
电力系统在现在的社会生活和发展中占据的地位越来越重要，输电线路负责将发电厂，变电站和使用用户连接在一起，起到了不可替代的纽带作用。其安全性和稳定性的保障十分重要。为了减小在输送过程中的能量损耗，多采用高压输电的方式进行。但是由于高压输电线路大多数位于山地，丘陵地形，而且跨度十分大，检测和维护起来十分困难。想要及时，准确的发现意外情况的发生更是难上加难。现阶段，高压输电线路上的主要隐患之一是：风筝，漂浮物等会缠绕在线路上的物体，以及鸟类和鸟类的巢穴等异物。传统的人工巡检方式，不仅仅花费的时间长，速度慢，而且巡检的精度，安全隐患报警的及时性，以及巡检人员的安全问题都难以保证。近些年来的机器视觉，或是目标检测的方案，容易受到天气或遮挡物的影响，使得其精确性和及时性得不到保证。本方法旨在专利技术一种基于目标跟踪算法的高压输电线路异物检测方法，该方法在对高压输电线路进行视频流的检测，能够在及时性，准确性和稳定性方面都有比较良好的表现。由于异物目标总是从原理高压输电线路的地方，逐渐接近，因此在现阶段的深度学习模型的基础上，添加进入基于DeepSort算法的目标跟踪算法，实现目标跟踪的功能。使得该方法能精确、及时监测输电线路上的异物目标接近，在接近的过程中及时报警，以提醒工作人员注意输电线路的安全运行。综合以上论述，专利技术一种满足具有很高精确度和很快预警速度的高压输电线路检测方法具有较高的实际应用价值。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于目标跟踪算法的高压输电线路异物检测方法，该方法先利用yolov5模型，对高压输电线路上的异物进行标注学习和目标检测，再使用基于DeepSort算法的目标跟踪算法对检测到的目标进行跟踪，判断其是否接近高压输电线路。该方法对数据集的要求简单，并且在快速性和精确性上都有良好的表现。能够使用视频流检测出接近和附着在输电线路上的异物，并快速发出报警。为实现上述目的，本专利技术所提供的技术方案为：一种基于目标跟踪算法的高压输电线路异物检测方法，包括以下步骤：1)在高压输电线路的输电塔上安装摄像头，调整摄像头的角度使得摄像头对准高压输电线，且对同一条高压输电线，应在线路两端的输电塔上，均安装摄像头，保证同一线路至少能同时被两个摄像头捕捉；2)通过步骤1)搭建的摄像头拍摄高压输电线路上的异物，同时在互联网上收集异物的图片；整理得到的图片，对其进行分类，并对分类后的图片进行一一对应的标注，并保证每一张图片的标注方式相同；将标注过后的图片随机打乱，并分成训练集、验证集和测试集；3)使用yolov5模型训练方法对步骤2)中得到的训练集开始训练，进行迭代和更新yolov5模型，选取totalloss指标最小的yolov5模型作为最终得到的结果，并对其在测试集上进行实测，在得到良好的目标检测结果后，将所用yolov5模型保留，用于目标跟踪；4)使用步骤3)中得到的yolov5模型，对视频流进行预测，得到当前时刻的检测框，使用改进的非极大值抑制(nms)算法，即soft-nms算法对yolov5模型的检测结果进行处理,得到带有soft-nms算法的yolov5模型；所述Soft-nms算法是在非极大值抑制(nms)算法的基础上将重叠程度纳入考虑当中，达成将重复检测的目标合并，但又不遗漏掉两个位置关系相近的目的；5)使用步骤4)中的带有soft-nms算法的yolov5模型进行目标检测，将摄像头捕获到的视频流第一帧的图片设定为初始状态，对初始状态的图片进行Hough直线检测，得到高压输电线路的位置关系；提取检测到的直线点集合L的最小横坐标Xmin、最小纵坐标Ymin以及最大横坐标Xmax、最大纵坐标Ymax，将(Xmin,Ymin),(Xmin,Ymax),(Xmax,Ymin),(Xmax,Ymax)作为4个角点，建立高压输电线路的所在矩形区域J；6)对步骤5)中所述视频流持续进行检测，当检测到有目标出现，将当前时刻定为t0时刻,当前检测到目标设定为目标Pi,确定其出现位置是否是位于边缘位置；如果是则保留当前目标Pi将其放入跟踪目标集合S中，如果不是则判定其不为新的跟踪对象；由于需要报警的目标均是从远离高压输电线的地方，逐渐接近高压输电线，因此其第一次被检测到的时候应该位于整个监控范围的边缘位置，获取视频流装置的固有属性，得到分辨率的数值，设定边界阈值，使用yolov5模型得到的目标输出前四个指标为(x,y,w,h)，其中(x,y)代表被检测物体的中心点的横坐标和纵坐标，(w,h)代表矩形框的宽和高，因此只要中心点(x,y)位于分辨率减去边界阈值的范围内,则判定当前目标Pi位于边缘位置，否则，不将检测结果视作新的跟踪对象；7)将t0时刻下一帧设定为t1时刻，该时刻检测到的目标设定为P1，使用基于DeepSort算法的目标跟踪算法，对当前目标P1与目标集合S中的所有目标进行匹配跟踪；如果当前目标P1与跟踪目标S1成功匹配，则将跟踪目标S1的位置信息更新为当前目标P1的位置信息，并将S2放入目标集合S中；如果当前目标P1未与集合S中的任何已有目标匹配，但是当前目标P1位于步骤6)中所描述的边缘位置，则将目标P1作为新的跟踪目标S2放入目标集合S中；8)对视频流进行持续不间断的检测，通过步骤6)、步骤7)完成目标跟踪；根据跟踪目标Si的以后运动轨迹，拟合出其未来的运动方程，即直线拟合运动方程；将矩形区域J中的点代入直线拟合运动方程中，如果存在算式左右相等的情况，则判定跟踪目标Si有向高压输电线路区域运动的趋势，需要发出提醒；9)对步骤8)中的跟踪目标Si继续进行目标跟踪，如果跟踪目标Si最终在高压输电线路所在矩形区域内停止移动，则判定其是会干扰高压输电线路运行的异物，需要发出警报；如果跟踪目标Si最终从边界离开监控范围，这判定其为经过的物体，不干扰高压输电线路正常运行，需要再次发出提醒。在步骤1)中，安装在输电塔上的摄像头应该低于高压输电线的高度，在保证拍摄到的图片清晰的同时，使得摄像头能通过自下向上的角度拍摄到高压输电线路；采用两个摄像头，即双向的摄像系统能够在出现多个异物，异物之间出现重叠，遮挡的时候，保证目标跟踪算法能够正常运行，并且快速性和精确性不受到影响。在步骤2)中，将摄像头中获取到的数据，进行数据增强，包括随机裁剪、添加噪声和镜像翻转。在步骤2)中，使用标注工具labelme对图片进行标注，即使用大小合适的矩形将对应的目标物体框出，得到标注信息xmin、ymin、xmax、ymax，其中xmin为矩形框的左边界横坐标，xmax为矩形框的右边界横坐标，ymin为矩形框的下边界纵坐标，ymax为矩形框的上边界纵坐标；将标注过后的图片随机打乱，分成训练集、验证集和测试集，其比例为8:1:1。本文档来自技高网...

【技术保护点】
1.一种基于目标跟踪算法的高压输电线路异物检测方法，其特征在于，包括以下步骤：/n1)在高压输电线路的输电塔上安装摄像头，调整摄像头的角度使得摄像头对准高压输电线，且对同一条高压输电线，应在线路两端的输电塔上，均安装摄像头，保证同一线路至少能同时被两个摄像头捕捉；/n2)通过步骤1)搭建的摄像头拍摄高压输电线路上的异物，同时在互联网上收集异物的图片；整理得到的图片，对其进行分类，并对分类后的图片进行一一对应的标注，并保证每一张图片的标注方式相同；将标注过后的图片随机打乱，并分成训练集、验证集和测试集；/n3)使用yolov5模型训练方法对步骤2)中得到的训练集开始训练，进行迭代和更新yolov5模型，选取total loss指标最小的模型作为最终得到的结果，并对其在测试集上进行实测，在得到良好的目标检测结果后，将所用yolov5模型保留，用于目标跟踪；/n4)使用步骤3)中得到的yolov5模型，对视频流进行预测，得到当前时刻的检测框，使用改进的非极大值抑制算法，即soft-nms算法对yolov5模型的检测结果进行处理，得到带有soft-nms算法的yolov5模型；所述Soft-nms算法是在非极大值抑制的基础上将重叠程度纳入考虑当中，达成将重复检测的目标合并，但又不遗漏掉两个位置关系相近的目的；/n5)使用步骤4)中的带有soft-nms算法的yolov5模型进行目标检测，将摄像头捕获到的视频流第一帧的图片设定为初始状态，对初始状态的图片进行Hough直线检测，得到高压输电线路的位置关系；提取检测到的直线点集合L的最小横坐标X...

【技术特征摘要】
1.一种基于目标跟踪算法的高压输电线路异物检测方法，其特征在于，包括以下步骤：
1)在高压输电线路的输电塔上安装摄像头，调整摄像头的角度使得摄像头对准高压输电线，且对同一条高压输电线，应在线路两端的输电塔上，均安装摄像头，保证同一线路至少能同时被两个摄像头捕捉；
2)通过步骤1)搭建的摄像头拍摄高压输电线路上的异物，同时在互联网上收集异物的图片；整理得到的图片，对其进行分类，并对分类后的图片进行一一对应的标注，并保证每一张图片的标注方式相同；将标注过后的图片随机打乱，并分成训练集、验证集和测试集；
3)使用yolov5模型训练方法对步骤2)中得到的训练集开始训练，进行迭代和更新yolov5模型，选取totalloss指标最小的模型作为最终得到的结果，并对其在测试集上进行实测，在得到良好的目标检测结果后，将所用yolov5模型保留，用于目标跟踪；
4)使用步骤3)中得到的yolov5模型，对视频流进行预测，得到当前时刻的检测框，使用改进的非极大值抑制算法，即soft-nms算法对yolov5模型的检测结果进行处理，得到带有soft-nms算法的yolov5模型；所述Soft-nms算法是在非极大值抑制的基础上将重叠程度纳入考虑当中，达成将重复检测的目标合并，但又不遗漏掉两个位置关系相近的目的；
5)使用步骤4)中的带有soft-nms算法的yolov5模型进行目标检测，将摄像头捕获到的视频流第一帧的图片设定为初始状态，对初始状态的图片进行Hough直线检测，得到高压输电线路的位置关系；提取检测到的直线点集合L的最小横坐标Xmin、最小纵坐标Ymin以及最大横坐标Xmax、最大纵坐标Ymax，将(Xmin,Ymin),(Xmin,Ymax),(Xmax,Ymin),(Xmax,Ymax)作为4个角点，建立高压输电线路的所在矩形区域J；
6)对步骤5)中所述视频流持续进行检测，当检测到有目标出现，将当前时刻定为t0时刻,当前检测到目标设定为目标Pi,确定其出现位置是否是位于边缘位置；如果是则保留当前目标Pi将其放入跟踪目标集合S中，如果不是则判定其不为新的跟踪对象；由于需要报警的目标均是从远离高压输电线的地方，逐渐接近高压输电线，因此其第一次被检测到的时候应该位于整个监控范围的边缘位置，获取视频流装置的固有属性，得到分辨率的数值，设定边界阈值，使用yolov5模型得到的目标输出前四个指标为(x,y,w,h)，其中(x,y)代表被检测物体的中心点的横坐标和纵坐标，(w,h)代表矩形框的宽和高，因此只要中心点(x,y)位于分辨率减去边界阈值的范围内,则判定当前目标Pi位于边缘位置，否则，不将检测结果视作新的跟踪对象；
7)将t0时刻下一帧设定为t1时刻，该时刻检测到的目标设定为P1，使用基于DeepSort算法的目标跟踪算法，对当前目标P1与目标集合S中的所有目标进行匹配跟踪；如果当前目标P1与跟踪目标S1成功匹配，则将跟踪目标S1的位置信息更新为当前目标P1的位置信息，并将S2放入目标集合S中；如果当前目标P1未与集合S中的任何已有目标匹配，但是当前目标P1位于步骤6)中所描述的边缘位置，则将目标P1作为新的跟踪目标S2放入目标集合S中；
8)对视频流进行持续不间断的检测，通过步骤6)、步骤7)完成目标跟踪；根据跟踪目标Si的以后运动轨迹，拟合出其未来的运动方程，即直线拟合运动方程；将矩形区域J中的点代入直线拟合运动方程中，如果存在算式左右相等的情况，则判定跟踪目标Si有向高压输电线路区域运动的趋势，需要发出提醒；
9)对步骤8)中的跟踪目标Si继续进行目标跟踪，如果...

【专利技术属性】
技术研发人员：杜启亮，张楠，田联房，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东;44