一种配网带电作业机器人电力线实时姿态估计方法技术

本发明专利技术实施例提供一种配网带电作业机器人电力线实时姿态估计方法，属于自动化及机器人技术领域。所述方法通过获取在同一帧下关于电力线的RGB图像和深度图，并根据RGB图像和深度图获取关于该电力线的点云图，在将该RGB图像输入至Mask R

【技术实现步骤摘要】
一种配网带电作业机器人电力线实时姿态估计方法


[0001]本专利技术涉及自动化及机器人
，具体地涉及一种配网带电作业机器人电力线实时姿态估计方法。

技术介绍

[0002]在现有的机器人进行配网带电作业中，对于在室外强光下的电力线识别定位一直是一个问题。由于室外不同天气下光照强度不一致，使用RGB相机拍摄得到的是较为灰暗的图像，无法准确进行图像的目标电力线的识别分割。常用的导线分割方法有很多种，整体大致可以分为两类，一类是通过电力线周围背景的颜色和电力线颜色的区别进行阈值分割，基于颜色的区域生长的分割等；另一类是通过深度学习的方法进行分割。这两种方法较为简单，但受背景以及图片整体颜色影响较大，对电力线的识别定位还是不太准确。

技术实现思路

[0003]本专利技术实施例的目的是提供一种配网带电作业机器人电力线实时姿态估计方法，该方法可以实现对配电网场景的多电力线进行实时姿态估计。
[0004]为了实现上述目的，本专利技术实施例提供一种配网带电作业机器人电力线实时姿态估计方法，所述方法包括：
[0005]获取电力线的RGB图像和深度图；
[0006]根据所述RGB图像和所述深度图获取关于所述电力线的点云图；
[0007]将关于所述电力线的RGB图像输入至训练好的所述Mask R
‑
CNN模型中，以获取关于所述电力线的掩模；
[0008]获取所述电力线的掩模在所述RGB图像中的第一像素区域；
[0009]获取所述点云图中每个点云的第二像素区域；
[0010]将所述第一像素区域和所述第二像素区域进行匹配，得到与所述掩膜对应的点云以作为第一点云；
[0011]根据所述RGB图像判断所述电力线是否为直线；
[0012]在判断所述电力线为直线的情况下，通过RANSAC算法对所述第一点云进行拟合，以拟合成直线，且得到所述直线的单位空间向量；
[0013]获取所述掩模的第二重心；
[0014]将所述掩模的第二重心的像素点在所述第一点云的位置作为所述直线的位置，且所述直线的位置和所述电力线的位置相同。
[0015]可选地，在判断所述电力线不是直线的情况下，通过B样条曲线对所述第一点云进行拟合，以得到所述电力线的姿态。
[0016]可选地，在判断所述电力线不是直线的情况下，通过B样条曲线对所述第一点云进行拟合，以得到所述电力线的姿态包括：
[0017]获取关于所述电力线的第一点云；
[0018]将关于所述电力线的第一点云进行区域划分；
[0019]计算每个区域内所有的所述第一点云的第一重心；
[0020]将所述第一重心代表区域内所有的所述第一点云；
[0021]获取每个区域内的所述第一重心，将所述第一重心按照X轴方向排序；
[0022]将排序好的所述第一重心的坐标带入进1段3次的B样条曲线的公式(1)中确定控制点的三维坐标：
[0023][0024]其中，[x
i
,y
i
,z
i
]代表所述控制点P
i
(i＝0,1,2,...,n)的三维坐标，t为所述B样条曲线的单参数，且t在预设阈值内变动，X(t)、Y(t)、Y(t)为所述第一重心的三维坐标，F
j，k
(t)为所述B样条曲线的基函数，j为所述基函数的序号，k为所述基函数的次数，j∈[0，3]，k＝3；
[0025]根据所述控制点的三维坐标和公式(2)得到所述电力线的姿态：
[0026][0027]其中，p(t)为所述电力线的姿态。
[0028]可选地，获取所述掩模的第二重心包括：
[0029]获取所述掩模的灰度值；
[0030]根据公式(3)获取所述掩模的图像的零阶矩和一阶矩；
[0031][0032]其中，V(r，s)表示所述掩模的图像在(r，s)点上的灰度值，M
00
表示所述掩模的图像的零阶矩，M
10
、M
01
表示所述掩模的图像的一阶矩；
[0033]根据公式(4)求取所述掩模的第二重心：
[0034][0035]其中，(x
c
，y
c
)为所述掩模的第二重心。
[0036]可选地，所述方法包括：
[0037]获取不同条件下的所述电力线的图像；
[0038]构建初始Mask R
‑
CNN模型；
[0039]将所述电力线的图像输入至所述初始Mask R
‑
CNN模型中以对所述初始Mask R
‑
CNN模型进行训练。
[0040]可选地，获取不同条件下的所述电力线的图像包括：获取白天晴天各个时间段光照条件下的所述电力线的图像和在阴天弱光条件下所述电力线的图像。
[0041]可选地，所述方法包括：
[0042]获取关于所述电力线的第一点云；
[0043]获取通过所述RANSAC算法得到的直线的拟合中心线；
[0044]根据公式(5)获取所有所述第一点云到所述拟合中心线的平均距离：
[0045][0046]其中，是通过RANSAC算法得到的所述拟合中心线，M
l
(x
l
，y
l
，z
l
)是所述拟合中心线上的一个点，MAE为所有所述第一点云到所述拟合中心线的平均距离，是所述拟合中心线的单位空间向量，d
n
是点p
n
(x
pn
，y
pn
，z
pn
)到所述拟合中心线的距离；
[0047]根据所述第一点云到所述拟合中心线的平均距离和公式(6)获取所述电力线的直径：
[0048][0049]其中，D为所述电力线的直径。
[0050]可选地，所述电力线的RGB图像和深度图通过双目相机获取。
[0051]通过上述技术方案，本专利技术提供的一种配网带电作业机器人电力线实时姿态估计方法通过获取在同一帧下关于电力线的RGB图像和深度图，并根据RGB图像和深度图获取关于该电力线的点云图，在将该RGB图像输入至Mask R
‑
CNN模型后可以得到关于电力线的掩模，然后将该掩模和点云图匹配以得到关于电力线的点云，并将该关于电力线的点云进行拟合，以实现对电力线的姿态的估计。
[0052]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0053]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：
[0054]图1是根据本专利技术的一个实施方式的一种配网带电作业机器人电力线实时姿态估计方法的流程图；
[0055]图2是根据本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种配网带电作业机器人电力线实时姿态估计方法，其特征在于，所述方法包括：获取电力线的RGB图像和深度图；根据所述RGB图像和所述深度图获取关于所述电力线的点云图；将关于所述电力线的RGB图像输入至训练好的所述Mask R
‑
CNN模型中，以获取关于所述电力线的掩模；获取所述电力线的掩模在所述RGB图像中的第一像素区域；获取所述点云图中每个点云的第二像素区域；将所述第一像素区域和所述第二像素区域进行匹配，得到与所述掩膜对应的点云以作为第一点云；根据所述RGB图像判断所述电力线是否为直线；在判断所述电力线为直线的情况下，通过RANSAC算法对所述第一点云进行拟合，以拟合成直线，且得到所述直线的单位空间向量；获取所述掩模的第二重心；将所述掩模的第二重心的像素点在所述第一点云的位置作为所述直线的位置，且所述直线的位置和所述电力线的位置相同。2.根据权利要求1所述的方法，其特征在于，在判断所述电力线不是直线的情况下，通过B样条曲线对所述第一点云进行拟合，以得到所述电力线的姿态。3.根据权利要求2所述的方法，其特征在于，在判断所述电力线不是直线的情况下，通过B样条曲线对所述第一点云进行拟合，以得到所述电力线的姿态包括：获取关于所述电力线的第一点云；将关于所述电力线的第一点云进行区域划分；计算每个区域内所有的所述第一点云的第一重心；将所述第一重心代表区域内所有的所述第一点云；获取每个区域内的所述第一重心，将所述第一重心按照X轴方向排序；将排序好的所述第一重心的坐标带入进1段3次的B样条曲线的公式(1)中确定控制点的三维坐标：其中，[x
i
,y
i
,z
i
]代表所述控制点P
i
(i＝0,1,2,...,n)的三维坐标，t为所述B样条曲线的单参数，且t在预设阈值内变动，X(t)、Y(t)、Y(t)为所述第一重心的三维坐标，F
j,k
(t)为所述B样条曲线的基函数，j为所述基函数的序号,k为所述基函数的次数，j∈[0,3]，k＝3；根据所述控制点的三维坐标和公式(2)得到所述电力线的姿态：其中，p(t)为所述电力线的姿态。4....

【专利技术属性】
技术研发人员：邢应春，唐旭明，单晓锋，郭祥，刘强，董二宝，陈宇涛，王亚豪，柏光瑞，邱宇泽，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：