一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法技术

本发明专利技术公开了一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法，包括：目标检测模型预测图像上输电线路的目标框；计算在目标框内像素点的平均光流向量；把图像划分为目标框区域R1和非目标框区域R2，得到加权平均的目标框的角点坐标后，再计算出加权平均的目标框的中心；得到当前帧目标框内像素点的平均光流向量[u

【技术实现步骤摘要】
一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法


[0001]本专利技术属于输电线路巡检
，具体涉及一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法。

技术介绍

[0002]为了保障输电线系统的可靠性，避免出现由于输电线路中的设备损坏造成大面积停电等问题，电力运营单位通常采用巡检的方式对户外输电线系统中的设备及附件进行定期巡检，及时发现问题和安全隐患，以便于及时维护，确保输电系统稳定运行。与电力线远程监控系统的任务相比，输电线巡检的检查范围非常大，任务更广，难度更大。电力线巡检任务中需要检查的部件种类较多，分布的环境较复杂，同时还受到天气的影响。
[0003]早期的人工巡检具有效率低、安全性差等特点，已经逐步被基于视觉的无人机电力巡检方案所代替。在无人机的电力线巡检方案中，主要需要解决的问题是如何保障无人机能够高效的完成巡检任务。为了使无人机在飞行过程中更有效地对电力线及输电线路等重要设施进行识别和风险排查，比较有效的导航方法是使无人机飞行在电力线的上方，并始终保持跟随电力线飞行，在飞行过程中对电力线进行检查，当前置摄像头发现输电线路时则对输电线路进行追踪，并调整摄像头角度进行实时拍摄。完成巡检任务后，无人机也可以沿电力线返航。由于电力线的实际分布较复杂，在有些地区，电力线信息未被精确的绘入导航地图，依靠GPS信息很难实现精确的导航，难以保证摄像头拍摄到清晰的电力线及其附件；同时，一些地区的GPS信息比较弱，有时还可能丢失信号的情况。因此，单靠GPS导航的可靠性不高。而基于视觉的沿电力线飞行导航是依靠准确识别电力线为基础的，因此，比GPS导航更加可靠和准确。
[0004]当无人机沿电力线飞行，应具有较好的输电线路识别能力，随着无人机向输电线路飞近，无人机携带的摄像头将追随输电线路调整视角，使得输电线路尽可能落入摄像头的视野中心。由于相机拍照处理，云台动作的滞后，无人机平台及相机云台的自身抖动以及环境中的风吹等影响因素，使得摄像头容易在追踪输电线路时丢失目标。因此需要相应的控制算法对摄像头的控制进行优化，增强输电线路追踪的鲁棒性。当无人机在飞越输电线路顶部时，摄像头的拍摄角度已经处于垂直向下方向，输电线路在摄像头中的投影与侧向拍摄的图像具有一定的差异性，随后，当无人机飞过输电线路继续向前飞行时，摄像头仍然追踪输电线路保持拍照，直到输电线路超出了摄像头的拍摄角度范围。
[0005]因此，基于红外辅助的输电线路追踪技术在无人机的电力线巡检工作中具有非常重要的意义。当无人机在识别到输电线路后，需要在随后的飞行中对输电线路进行连续追踪，在追踪过程中保持摄像头的拍摄角度处于较佳的位置，从而可以获得更多的输电线路照片数据进行进一步分析和处理。保持对输电线路的追踪可以提高无人机巡检的工作效率，减少漏检的概率。识别电力线是基于红外图像的无人机夜间巡线自主导航中的一项必不可少的任务。如果无人机可以识别电力线的位置及朝向，就可以根据这些信息实时调整
自身的飞行方向和位置，保持与电力线的路径一致。在无人机巡检中的电力线识别问题上，已经有了不少相关的研究，例如Burns等人(1986)提出了一种通过边缘检测及像素聚类的方法来识别电力线，Akinlar等人(2011)提出了一种名为EDlines的边缘轮廓线检测方法，Ceron等人(2014)提出了一种基于圆圈搜索技术(CBS)的无人机电力线检测模型。基于CBS，Ceron等人(2018)又提出了基于线段梯度直方图(HOS)的电力线识别方法。然而，这些方法在处理复杂背景下的无人机航拍图时，都不够稳定可靠。

技术实现思路

[0006]本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法，基于深度学习的目标检测方法，同时结合光流法及卡尔曼滤波算法，对输电线路的位置进行持续追踪，从而可以引导摄像头调整角度，对电力线进行更充分的拍摄，可实现无人机工作在复杂的环境中电力线自动识别和跟随。
[0007]为实现上述技术目的，本专利技术采取的技术方案为：
[0008]一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法，包括：
[0009]步骤S1：获取输电线路无人机虚拟红外数据集和真实虚拟红外数据集，基于深度学习建立并训练用于输电线路识别的目标检测模型，预测图像上输电线路的目标框；
[0010]步骤S2：采用光流法，根据上一帧和当前帧的信息，计算在目标框内像素点的平均光流向量；
[0011]步骤S3：以目标框的角点沿光流向量的方向对图像区域进行划分，把图像划分为目标框区域R1和非目标框区域R2，并对目标框区域R1分配较大的权重W1，而对非目标框区域R2分配较小的权重W2，得到加权平均的目标框的角点坐标后，再计算出加权平均的目标框的中心；
[0012]步骤S4：得到当前帧目标框内像素点的平均光流向量[u
c
,v
c
]，及卡尔曼滤波预测得到当前帧目标框中心坐标[x
k
,y
k
]，然后对其进行加权平均获得最终的输电线路目标框的中心坐标；
[0013]步骤S5：基于输电线路目标框的中心坐标，采用基于计算机的积分比例控制(PID)算法对摄像头进行控制，使摄像头能在无人机飞跃输电线路的过程中自动调整拍摄角度，对输电线路进行持续追踪。
[0014]为优化上述技术方案，采取的具体措施还包括：
[0015]上述的步骤S1所述基于深度学习建立并训练用于输电线路识别的目标检测模型，具体包括：
[0016]步骤(1)：基于深度学习建立用于输电线路识别的目标检测模型，所述目标检测模型即为输电线路识别模型：
[0017]所述目标检测模型包含基于深度学习编码模组和译码模组；
[0018]编码模组负责提取输电线路特征，译码模组负责从特征中还原输电线路的目标框信息；
[0019]对真实输电线路数据集和虚拟输电线路数据集使用相同的编码模组和译码模组，两者之间共享权重；
[0020]步骤(2)：采用交替训练的方式训练目标检测模型：
[0021]先对目标检测模型输入虚拟红外数据集，并得到一个完整的目标检测模型，其中的编码器模组能够对虚拟红外数据集中的数据实现较好的特征提取，而译码模组能够较好的将编码器提取的特征还原为输电线路的中心位置及目标框信息，随后固定目标检测模型的译码器模组，通过少量的真实红外数据集并采用多种类型的数据增强技术对目标检测模型进行训练；
[0022]步骤(3)：通过之前固定的译码器模组生成输电线路的中心位置及目标框信息，采用真实红外数据集并配合多种数据增强技术对译码器模组进行训练，以提高译码器模组对真实数据的泛化能力交替迭代这两个过程，并分别采用虚拟红外数据集和真实红外数据集，直到目标检测模型最终在真实红外数据集上收敛。
[0023]上述的目标检测模型还设有一个迁移学习层，并通过跨层结构连接译码器的中间层与迁移学习层，在迁移学习训练时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法，其特征在于，包括：步骤S1：获取输电线路无人机虚拟红外数据集和真实虚拟红外数据集，基于深度学习建立并训练用于输电线路识别的目标检测模型，预测图像上输电线路的目标框，得到目标检测模型输出的目标框坐标(x
D
,y
D
)；步骤S2：采用光流法计算在目标框内像素点的平均光流向量；步骤S3：根据当前帧目标框内像素点的平均光流向量[u
c
,v
c
]，以目标框的角点沿光流向量的方向对图像区域进行划分，把图像划分为目标框区域R1和非目标框区域R2，并对目标框区域R1分配较大的权重W1，而对非目标框区域R2分配较小的权重W2，得到加权平均的目标框的角点坐标后，再计算出加权平均的目标框的中心，即为光流法预测的目标框中心坐标值(x
O
,y
O
)；步骤S4：通过卡尔曼滤波预测得到当前帧目标框中心坐标[x
k
,y
k
]，然后结合目标检测模型输出和光流法预测的目标框中心坐标值进行加权平均获得最终的输电线路目标框的中心坐标；步骤S5：基于最终的输电线路目标框的中心坐标，采用PID算法对摄像头进行控制，使摄像头能在无人机飞跃输电线路的过程中自动调整拍摄角度，对输电线路进行持续追踪。2.根据权利要求1所述的一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法，其特征在于，步骤S1所述基于深度学习建立并训练用于输电线路识别的目标检测模型，具体包括：步骤(1)：基于深度学习建立用于输电线路识别的目标检测模型，所述目标检测模型即为输电线路识别模型：所述目标检测模型包含基于深度学习编码模组和译码模组；编码模组负责提取输电线路特征，译码模组负责从特征中还原输电线路的目标框信息；对真实输电线路数据集和虚拟输电线路数据集使用相同的编码模组和译码模组，两者之间共享权重；步骤(2)：采用交替训练的方式训练目标检测模型：先对目标检测模型输入虚拟红外数据集，并得到一个完整的目标检测模型，其中的编码器模组能够对虚拟红外数据集中的数据实现较好的特征提取，而译码模组能够较好的将编码器提取的特征还原为输电线路的中心位置及目标框信息，随后固定目标检测模型的译码器模组，通过少量的真实红外数据集并采用多种类型的数据增强技术对目标检测模型进行训练；步骤(3)：通过之前固定的译码器模组生成输电线路的中心位置及目标框信息，采用真实红外数据集并配合多种数据增强技术对译码器模组进行训练，以提高译码器模组对真实数据的泛化能力交替迭代这两个过程，并分别采用虚拟红外数据集和真实红外数据集，直到目标检测模型最终在真实红外数据集上收敛，得到目标检测模型输出的目标框坐标(x
D
,y
D
)。3.根据权利要求2所述的一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法，其特征在于，所述目标检测模型还设有一个迁移学习层，并通过跨层结构连接译码器
的中间层与迁移学习层，在迁移学习训练时，模型先固定编码模组和译码模组的权重，采用虚拟红外数据集与真实红外数据集混合的方式，对真实红外数据集进行多种数据增强，实现模型训练和迭代，直到模型收敛后，再打开编码器模组和译码器模组的权重，对模...

【专利技术属性】
技术研发人员：钱波，黄郑，万立新，王红星，陈洁，李海涛，刘岳鑫，
申请(专利权)人：江苏方天电力技术有限公司国网江苏省电力有限公司，
类型：发明
国别省市：