一种导线跟踪方法及设备技术

本发明专利技术公开了一种导线跟踪方法及设备，属于电力技术领域，用于解决现有的导线跟踪方法检测的导线轮廓不准确，且导线跟踪的跟踪偏差大的技术问题。方法包括：构建并训练导线检测模型；通过预设的混合损失函数，对训练后的导线检测模型进行优化；通过优化后的导线检测模型，对输电通道视频中的第一帧视频图像进行识别，得到第一帧视频图像对应的导线轮廓图像；根据导线轮廓图像，在所述第一帧视频图像中，确定导线观察点集合；在导线观察点集合中，剔除无效的导线观察点，得到有效观察点集合；根据有效观察点集合，对输电通道视频中的导线进行跟踪。本申请提高了导线跟踪方法的鲁棒性。本申请提高了导线跟踪方法的鲁棒性。本申请提高了导线跟踪方法的鲁棒性。

【技术实现步骤摘要】
一种导线跟踪方法及设备


[0001]本申请涉及电力
，尤其涉及一种导线跟踪方法及设备。

技术介绍

[0002]目标跟踪是计算机视觉领域的重要研究问题，在目标跟踪领域，对于输电导线的跟踪技术的研究，对输电通道的安全维护具有重要的意义。导线跟踪技术有两个较为重要的技术要点。一是精准检测识别出导线，对于后续的导线跟踪起到非常重要的作用。二是选择合适且精确的跟踪点，对导线进行精准跟踪。
[0003]针对输电通道图像中导线检测与跟踪，现有方法多依赖边缘检测与直接检测结合进行导线检测，但由于输电导线非常细长且远景导线成像质量往往偏低，当输电通道背景并非只有天空时(例如背景为群山或大片建筑)，这样的方法无法应对复杂的导线背景，无法完整有效提取出导线轮廓，导致后续导线跟踪的失败。另外，传统关键点跟踪可使用稀疏光流算法(Lucas Kanade，LK)来实现，但在输电通道场景中对导线观察点进行跟踪时，由于导线上不同点位的观察点位置和像素值非常相似，直接使用LK算法可能出现局部观察点漂移或预测偏差较大的情况，不利于输电通道的导线监测。

技术实现思路

[0004]本申请实施例提供了一种导线跟踪方法及设备，用于解决如下技术问题：现有的导线跟踪方法检测的导线轮廓不准确，且导线跟踪的跟踪偏差大。
[0005]本申请实施例采用下述技术方案：
[0006]一方面，本申请实施例提供了一种导线跟踪方法，方法包括：构建并训练导线检测模型；通过预设的混合损失函数，对训练后的所述导线检测模型进行优化；通过优化后的所述导线检测模型，对输电通道视频中的第一帧视频图像进行识别，得到第一帧视频图像对应的导线轮廓图像；根据所述导线轮廓图像，在所述第一帧视频图像中，确定导线观察点集合；在所述导线观察点集合中，剔除无效的导线观察点，得到有效观察点集合；根据所述有效观察点集合，对所述输电通道视频中的导线进行跟踪。
[0007]本申请实施例仅通过导线检测模型检测第一帧图像，然后通过导线与平行线交叉策略来构造导线跟踪观察点；根据有效观察点集合，对输电通道视频中的导线进行跟踪；最后通过双向光流预测策略保证跟踪鲁棒性。本申请的快速跟踪主要体现在仅对一张图跑模型，如果对每一张都跑就会很慢。
[0008]在一种可行的实施方式中，构建并训练导线检测模型，具体包括：构建多层级残差特征提取模块；其中，所述多层级残差特征提取模块由多个残差模块构成，每个残差模块包括深度分离卷积层、批归一化层以及激活层；构建多感受野特征提取模块；其中，所述多感受野特征提取模块包括空洞深度分离卷积层以及全局池化层；构建特征融合模块，将所述多感受野特征提取模块输出的多感受野特征图，与所述多层级残差特征提取模块中的第一个残差模块提取的浅层特征图进行特征融合，得到特征融合图像；其中，在特征融合前，将
所述浅层特征图上采样至所述多感受野特征图的相同尺寸；构建解码预测模块，对所述特征融合图像进行解码预测，得到输出图像；将所述多层级残差特征提取模块、所述多感受野特征提取模块、所述特征融合模块以及所述解码预测模块构成所述导线检测模型；通过训练数据集，对所述导线检测模型进行训练。
[0009]在一种可行的实施方式中，构建多层级残差特征提取模块，具体包括：将第一深度分离卷积层、批归一化层、激活层以及第二深度分离卷积层依次相连；其中，所述第一深度分离卷积层用于对输入图像进行深度分离卷积处理，并将处理结果输入到批归一化层中进行归一化处理；所述激活层用于对所述批归一化层的输出特征中的预设重要特征进行激活，并对预设不重要特征进行抑制，所述第二深度分离卷积层用于对激活层输出的特征再次进行深度分离卷积处理；构建相加层，将输入图像与所述第二深度分离卷积层的输出结果相加；所述第一深度分离卷积层、所述批归一化层、所述激活层、所述第二深度分离卷积层以及所述相加层，构成一个残差模块；将多个所述残差模块相连接，构成所述多层级残差特征提取模块。
[0010]在一种可行的实施方式中，构建多感受野特征提取模块，具体包括：分别构建第一空洞深度分离卷积层、第二空洞深度分离卷积层、第三空洞深度分离卷积层、第四空洞深度分离卷积层以及全局池化层，以对输入图像进行多感受野特征提取；其中，所述第一空洞深度分离卷积层为1*1空洞深度分离卷积层；所述第二空洞深度分离卷积层为空洞率为1的3*3空洞深度分离卷积层；所述第三空洞深度分离卷积层为空洞率为3的3*3空洞深度分离卷积层；所述第四空洞分离卷积层为空洞率为5的3*3空洞深度分离卷积层；构建级联层，对提取的所述多感受野特征进行拼接；构建1*1的卷积块，对拼接的多感受野特征进行融合；所述第一空洞深度分离卷积层、所述第二空洞深度分离卷积层、所述第三空洞深度分离卷积层、所述第四空洞深度分离卷积层、所述全局池化层、所述级联层以及所述1*1的卷积块，构成所述多感受野特征提取模块。
[0011]在一种可行的实施方式中，通过预设的混合损失函数，对训练后的所述导线检测模型进行优化，具体包括：根据训练后的所述导线检测模型输出的导线轮廓预测图像的预测准确性，构建Focal loss损失函数；根据所述导线轮廓预测图像与对应的训练样本的相似度，构建Dice loss损失函数；根据loss＝w1*Focalloss+w2*Diceloss，得到所述混合损失函数loss；其中，ω1为所述Focal loss损失函数的损失平衡因子，ω2为所述Dice loss损失函数的损失平衡因子；对训练后的所述掉线检测模型进行参数寻优，直至所述混合损失函数收敛，得到优化后的导线检测模型。
[0012]在一种可行的实施方式中，根据所述导线轮廓图像，在所述第一帧视频图像中，确定导线观察点集合，具体包括：根据所述导线轮廓图像中的导线特征，确定所述第一帧视频图像中导线所在区域的最小外接矩形；在所述视频图像的所述最小外接矩形内绘制等间隔的平行线；确定所述平行线与所述视频图像中的导线产生的交点位置坐标，得到局部导线跟踪点集合；在所述最小外接矩形区域中，通过Shi
‑
Tomasi角点检测算法生成候选跟踪点集合；将所述局部导线跟踪点集合与所述候选跟踪点集合组合为导线候选观察点集合；根据所述导线轮廓图像中的导线轨迹，生成导线掩膜，并根据所述导线掩膜，在所述导线候选观察点集合中筛选出存在于导线轨迹上的点，得到所述导线观察点集合；其中，所述导线观察点集合中存储有所有导线观察点的位置坐标。
[0013]在一种可行的实施方式中，在所述导线观察点集合中，剔除无效的导线观察点，得到有效观察点集合，具体包括：将第一帧视频图像的导线观察点集合中的点作为跟踪点，并对所述跟踪点进行前向光流跟踪，得到第二帧视频图像的预测导线观察点集合；将所述第二帧视频图像的预测导线观察点集合中的点作为跟踪点，并对所述跟踪点进行反向光流跟踪，得到所述第一帧视频图像的预测导线观察点集合；计算所述第一帧视频图像的导线观察点集合与预测导线观察点集合中对应点的欧拉距离；若所述欧拉距离大于预设阈值，则确定对应的导线观察点为无效观察点，进行剔除；将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种导线跟踪方法，其特征在于，所述方法包括：构建并训练导线检测模型；通过预设的混合损失函数，对训练后的所述导线检测模型进行优化；通过优化后的所述导线检测模型，对输电通道视频中的第一帧视频图像进行识别，得到第一帧视频图像对应的导线轮廓图像；根据所述导线轮廓图像，在所述第一帧视频图像中，确定导线观察点集合；在所述导线观察点集合中，剔除无效的导线观察点，得到有效观察点集合；根据所述有效观察点集合，对所述输电通道视频中的导线进行跟踪。2.根据权利要求1所述的一种导线跟踪方法，其特征在于，构建并训练导线检测模型，具体包括：构建多层级残差特征提取模块；其中，所述多层级残差特征提取模块由多个残差模块构成，每个残差模块包括深度分离卷积层、批归一化层以及激活层；构建多感受野特征提取模块；其中，所述多感受野特征提取模块包括空洞深度分离卷积层以及全局池化层；构建特征融合模块，将所述多感受野特征提取模块输出的多感受野特征图，与所述多层级残差特征提取模块中的第一个残差模块提取的浅层特征图进行特征融合，得到特征融合图像；其中，在特征融合前，将所述浅层特征图上采样至所述多感受野特征图的相同尺寸；构建解码预测模块，对所述特征融合图像进行解码预测，得到输出图像；将所述多层级残差特征提取模块、所述多感受野特征提取模块、所述特征融合模块以及所述解码预测模块构成所述导线检测模型；通过训练数据集，对所述导线检测模型进行训练。3.根据权利要求2所述的一种导线跟踪方法，其特征在于，构建多层级残差特征提取模块，具体包括：将第一深度分离卷积层、批归一化层、激活层以及第二深度分离卷积层依次相连；其中，所述第一深度分离卷积层用于对输入图像进行深度分离卷积处理，并将处理结果输入到批归一化层中进行归一化处理；所述激活层用于对所述批归一化层的输出特征中的预设重要特征进行激活，并对预设不重要特征进行抑制，所述第二深度分离卷积层用于对激活层输出的特征再次进行深度分离卷积处理；构建相加层，将输入图像与所述第二深度分离卷积层的输出结果相加；所述第一深度分离卷积层、所述批归一化层、所述激活层、所述第二深度分离卷积层以及所述相加层，构成一个残差模块；将多个所述残差模块相连接，构成所述多层级残差特征提取模块。4.根据权利要求2所述的一种导线跟踪方法，其特征在于，构建多感受野特征提取模块，具体包括：分别构建第一空洞深度分离卷积层、第二空洞深度分离卷积层、第三空洞深度分离卷积层、第四空洞深度分离卷积层以及全局池化层，以对输入图像进行多感受野特征提取；其中，所述第一空洞深度分离卷积层为1*1空洞深度分离卷积层；所述第二空洞深度分离卷积层为空洞率为1的3*3空洞深度分离卷积层；所述第三空洞深度分离卷积层为空洞率
为3的3*3空洞深度分离卷积层；所述第四空洞分离卷积层为空洞率为5的3*3空洞深度分离卷积层；构建级联层，对提取的所述多感受野特征进行拼接；构建1*1的卷积块，对拼接的多感受野特征进行融合；所述第一空洞深度分离卷积层、所述第二空洞深度分离卷积层、所述第三空洞深度分离卷积层、所述第四空洞深度分离卷积层、所述全局池化层、所述级联层以及所述1*1的卷积块，构成所述多感受野特征提取模块。5.根据权利要求1所述的一种导线跟踪方法，其特征在于，通过预设的混合损失函数，对训练后的所述导线检测模型进行优化，具体包括：根据训练后的所述导线检测模型输出的导...

【专利技术属性】
技术研发人员：吕昌峰，蔡富东，刘焕云，丁健配，
申请(专利权)人：山东信通电子股份有限公司，
类型：发明
国别省市：